ปัญหาคอขวดไม่ได้อยู่ที่ขั้นตอนการสัมภาษณ์เลย
บทความทุกชิ้นเกี่ยวกับ AI และการวิจัยผู้ใช้เริ่มต้นด้วยประโยคเดียวกันเสมอ: การวิจัยนั้นช้า AI ช่วยให้เร็วขึ้น ประโยคแบบนั้นไม่ผิด แต่ก็ไม่แม่นยำพอที่จะใช้ไม่ได้ผลเมื่อคุณกำลังตัดสินใจว่าจะเปลี่ยนแปลงอะไรในเช้าวันจันทร์
นี่คือข้อมูลที่ถูกต้องกว่า การสัมภาษณ์แบบมีผู้ดำเนินรายการใช้เวลาหกสิบนาที และจะเป็นเช่นนั้นเสมอ เพราะผู้ถูกสัมภาษณ์ต้องพูดคุยเป็นเวลาหกสิบนาที สิ่งที่เคยใช้เวลาสี่วันคือทั้งหมด รอบ นั่นคือ การถอดเสียง การติดแท็ก การค้นหาช่วงเวลาที่ผู้เข้าร่วมสามคนพูดสิ่งเดียวกันด้วยคำศัพท์ที่แตกต่างกันสามแบบ และแปลงสิ่งนั้นให้เป็นสิ่งที่ผู้จัดการผลิตภัณฑ์สามารถนำไปใช้ได้ก่อนที่สปรินต์จะสิ้นสุดลง
นั่นคือจุดที่เวลาหมดไป และนั่นคือจุดที่แบบจำลองภาษาแข็งแกร่ง พวกมันเป็นตัวจับคู่รูปแบบในข้อความ การสังเคราะห์งานวิจัยคือปัญหาการจับคู่รูปแบบในข้อความ ความเหมาะสมนั้นเป็นเรื่องจริง
แต่คุณสมบัติเดียวกันที่ทำให้พวกมันเก่งในการสังเคราะห์ ก็ทำให้พวกมันอันตรายเช่นกัน แบบจำลองที่ค้นหารูปแบบจะค้นหารูปแบบไม่ว่าจะมีอยู่จริงหรือไม่ และมันจะอธิบายรูปแบบที่มันสร้างขึ้นเองด้วยความมั่นใจในระดับเดียวกับรูปแบบที่มีอยู่จริง ในการวิจัย แนวคิดที่ผิดอย่างมั่นใจนั้นแย่กว่าการไม่มีแนวคิดเลย เพราะแนวคิดที่ผิดนั้นจะถูกสร้างขึ้นมา
ดังนั้นคำถามจึงไม่ใช่ ว่า การใช้ AI ในการวิจัยผู้ใช้ ทุกคนทำกันอยู่แล้ว คำถามคือ คุณจะมอบหมายส่วนใดของกระบวนการให้ AI ทำ คุณจะตรวจสอบอะไรก่อนที่จะเชื่อถือผลลัพธ์ และอะไรที่คุณจะปฏิเสธการใช้ AI โดยสิ้นเชิง นั่นคือสิ่งที่บทความนี้จะกล่าวถึง
AI สมควรได้รับบทบาทที่แท้จริงในจุดใดบ้าง
เราวางแผนการใช้ AI ในกระบวนการวิจัยทีละขั้นตอน แทนที่จะมองว่าเป็นกระบวนการตัดสินใจเพียงครั้งเดียว แต่ละขั้นตอนมีระดับความเสี่ยงที่แตกต่างกันมาก
| ระยะ | AI ทำอะไรได้ดี | สิ่งที่มันทำผิดพลาด | กฎของเรา |
|---|---|---|---|
| การสรรหาและคัดกรอง | การร่างแบบสอบถามเบื้องต้น การตรวจจับคำตอบที่ขัดแย้งกันในแบบสอบถามเบื้องต้น การระบุผู้ตอบแบบสอบถามที่มีแนวโน้มเป็นมืออาชีพ | คัดกรองผู้เข้าร่วมที่มีความสามารถในการสื่อสารได้ดี และกำจัดผู้ใช้ที่รู้สึกไม่พอใจซึ่งเป็นสิ่งที่คุณต้องการมากที่สุด | ให้ความช่วยเหลือเท่านั้น คณะกรรมการชุดสุดท้ายจะได้รับการตรวจสอบและอนุมัติโดยบุคคลภายนอก |
| คู่มือการสนทนา | สร้างร่างแรกจากคำถามวิจัย เสนอประเด็นสำรวจเพิ่มเติม ตรวจสอบคำถามชี้นำ | สร้างคู่มือทั่วไปที่ใช้ทดสอบสิ่งที่ทราบอยู่แล้ว | โปรแกรมเร่งรัดการเขียนร่าง นักวิจัยจะเขียนใหม่ไม่น้อยกว่าครึ่งหนึ่ง |
| ปริมาณที่พอเหมาะ | การจดบันทึกแบบเรียลไทม์ การติดแท็กแบบสด การแนะนำคำถามเพิ่มเติมให้กับผู้ดูแลระบบ | ไม่สามารถอ่านความลังเล ความไม่สบายใจ หรือช่วงเวลาหยุดก่อนการโกหกอย่างสุภาพได้ | ไม่สามารถทำงานได้โดยอัตโนมัติ เป็นเครื่องมือสนับสนุนสำหรับผู้ดูแลระบบที่เป็นมนุษย์ |
| การถอดความ | การแยกเสียงผู้พูด การประทับเวลา การปรับแต่งเบื้องต้น | ความแม่นยำในการถอดเสียงภาษาตุรกีลดลงอย่างมากเมื่อมีคำศัพท์เฉพาะทาง ชื่อแบรนด์ และการสลับภาษา | ทำการทำงานอัตโนมัติ จากนั้นสุ่มตรวจสอบ 10% โดยเทียบกับเสียง |
| การเขียนโค้ดและการติดแท็ก | การนำคู่มือการเข้ารหัสที่มีอยู่มาใช้อย่างสม่ำเสมอในเอกสารถอดเสียงหลายร้อยฉบับได้อย่างรวดเร็ว | การสร้างรหัสใหม่ระหว่างการประมวลผลข้อมูล การรวมปัญหาที่แตกต่างกันเข้าไว้ในป้ายกำกับเดียวที่เข้าใจง่าย | ทำการทำงานอัตโนมัติด้วยคู่มือรหัสที่กำหนดไว้ตายตัวซึ่งเขียนโดยมนุษย์ |
| การสังเคราะห์ | การจัดกลุ่ม การเปิดเผยรูปแบบที่เชื่อมโยงผู้เข้าร่วม การร่างเรื่องเล่าเบื้องต้น | สับสนระหว่างความถี่กับความสำคัญ; เพิกเฉยต่อผู้เข้าร่วมประชุมที่ไม่เห็นด้วย | ฉบับร่างเท่านั้น ทุกธีมได้รับการตรวจสอบแหล่งที่มาอย่างละเอียดก่อนจัดส่ง |
| การวิเคราะห์ผลตอบรับอย่างต่อเนื่อง | รีวิวใน App Store, ตั๋วแจ้งปัญหา, คำตอบจากผู้ใช้จริงเกี่ยวกับ NPS, บันทึกการสนทนาจำนวนมหาศาลที่ทีมงานไม่สามารถอ่านได้ด้วยตนเอง | การให้คะแนนความรู้สึกนั้นตีความการเสียดสีและการพูดอ้อมค้อมทางวัฒนธรรมได้ไม่ดี | ระบบอัตโนมัติที่มีมูลค่าสูงพร้อมการตรวจสอบตัวอย่าง |
| อาคารโบราณวัตถุ | การสร้าง Persona, Journey Maps และ Opportunity Tree จากข้อมูลที่ได้รับการตรวจสอบแล้ว | สร้างสิ่งประดิษฐ์ที่ดูน่าเชื่อถือจากหลักฐานที่อ่อนแอหรือไม่มีอยู่เลย | อ้างอิงจากงานวิจัยที่ได้รับการตรวจสอบแล้วเท่านั้น ไม่ใช่จากความรู้ทั่วไปของแบบจำลองนั้น ๆ |
สองแถวในตารางนั้นมีค่ามากกว่าแถวที่เหลือรวมกัน
การเขียนโค้ดในระดับขนาดใหญ่ หากคุณมีคู่มือการเข้ารหัสที่มนุษย์เขียนขึ้น การนำคู่มือดังกล่าวไปใช้อย่างสม่ำเสมอในเอกสารถอดเสียง 40 ฉบับนั้นเป็นงานที่น่าเบื่อและต้องปฏิบัติตามกฎเกณฑ์อย่างเคร่งครัด ซึ่งเป็นงานที่แบบจำลองสามารถทำได้อย่างน่าเชื่อถือ และนี่คือส่วนที่ทำให้เสียเวลาไปมากที่สุด
การวิเคราะห์ผลตอบรับอย่างต่อเนื่อง บริษัทส่วนใหญ่มีรีวิวแอปใน App Store, ตั๋วสนับสนุน และแบบสอบถามนับพันรายการที่ไม่มีใครอ่านเลยนับตั้งแต่ได้รับมา นี่คือการใช้ AI ที่ให้ผลตอบแทนสูงสุดและมีความเสี่ยงต่ำที่สุดในสาขานี้ เพราะคุณไม่ได้เข้ามาแทนที่งานวิจัยที่มีอยู่แล้ว แต่คุณกำลังอ่านข้อมูลที่ถูกทิ้งไป เราจะกล่าวถึงเรื่องนี้อย่างละเอียดในบทความต่อไป AI สามารถเปลี่ยนความคิดเห็นของผู้ใช้ให้เป็นข้อมูลเชิงลึกที่นำไปใช้ได้จริงในการพัฒนาผลิตภัณฑ์ได้อย่างไร.
สี่โหมดความล้มเหลวที่เราพบเจออยู่เรื่อยๆ
นี่ไม่ใช่ความเสี่ยงเชิงทฤษฎี แต่เป็นสิ่งที่ผิดพลาดเกิดขึ้นจริงในโครงการต่างๆ โดยเรียงลำดับจากความถี่ในการตรวจพบมากที่สุดไปน้อยที่สุด
1. ความถี่ที่แฝงมาในรูปของความสำคัญ
หากขอให้แบบจำลองสรุปการสัมภาษณ์ยี่สิบครั้ง แบบจำลองจะเน้นสิ่งที่ถูกพูดถึงบ่อยที่สุด แต่คุณค่าของการวิจัยมักไม่ได้อยู่ที่คำตอบที่เป็นคำตอบยอดนิยม แต่จะอยู่ที่ผู้เข้าร่วมเพียงคนเดียวที่ละทิ้งขั้นตอนการสัมภาษณ์ไปโดยสิ้นเชิง หรือสองคนที่อธิบายวิธีการแก้ปัญหาแบบเดียวกันโดยอิสระ หรือกลุ่มที่ไม่ได้ดำเนินการไปถึงขั้นตอนที่คนอื่นๆ พูดถึงเลย
แบบจำลองที่สรุปผลการศึกษาเกี่ยวกับการชำระเงินจะบอกคุณว่า การเปิดเผยข้อมูลค่าจัดส่งเป็นประเด็นที่ถูกกล่าวถึงซ้ำๆ แต่จะไม่บอกคุณว่า ผู้เข้าร่วมเพียงสองคนที่ทำการซื้อเสร็จสมบูรณ์นั้น ต่างก็ล็อกอินเข้าสู่ระบบอยู่แล้ว ซึ่งเป็นผลการค้นพบที่แท้จริง และปรากฏในชุดข้อมูลเพียงแค่ในรูปแบบของการขาดหายไปเท่านั้น
การตรวจสอบของเรา: เราถามอย่างชัดเจนถึงความคิดเห็นส่วนน้อย “ผู้เข้าร่วมคนใดไม่เห็นด้วยกับฉันทามติที่เกิดขึ้น และพวกเขาพูดว่าอย่างไร” หากแบบจำลองไม่สามารถระบุชื่อผู้เข้าร่วมคนใดได้ เราจะถือว่าบทสรุปนั้นไม่สมบูรณ์ แทนที่จะเป็นหลักฐานแสดงถึงความเห็นพ้องต้องกัน
2. การคิดค้นอย่างคล่องแคล่ว
แบบจำลองสร้างคำพูดที่ฟังดูเหมือนกับสิ่งที่ผู้เข้าร่วมคนหนึ่งพูดจริง ๆ แต่กลับนำมาใช้เป็นคำพูดของผู้เข้าร่วมคนนั้นที่ไม่ได้พูดจริง ๆ ไม่บ่อยนัก แต่ก็บ่อยพอสมควร และความล้มเหลวนั้นมองไม่เห็นเมื่อตรวจสอบ เพราะคำพูดที่สร้างขึ้นมานั้นอ่านง่ายกว่าคำพูดจริง ๆ เพราะคนจริง ๆ มักพูดเป็นประโยคสั้น ๆ
การตรวจสอบของเรา: ทุกข้อความที่ส่งถึงลูกค้าจะมีหมายเลขอ้างอิงและเวลาที่บันทึกไว้ หากไม่พบในไฟล์เสียงต้นฉบับ จะไม่ถูกส่งไป นี่เป็นกฎตายตัว ไม่ใช่การตัดสินใจตามดุลพินิจ เพราะการตัดสินใจตามดุลพินิจนี่แหละคือสิ่งที่ล้มเหลวในกรณีนี้
3. การสังเคราะห์แบบประจบสอพลอ
ให้แบบจำลองได้รับสมมติฐานและข้อมูลของคุณ จากนั้นการสังเคราะห์จะสนับสนุนสมมติฐานของคุณ ให้แบบจำลองได้รับข้อมูลชุดเดียวกันแต่ใช้สมมติฐานตรงกันข้าม การสังเคราะห์ก็จะสนับสนุนสมมติฐานนั้น นี่คือรูปแบบความล้มเหลวที่แพงที่สุดในบริบทของการให้คำปรึกษา เพราะมันสร้างผลลัพธ์ที่ลูกค้าต้องการอย่างแท้จริง แต่ทำลายเหตุผลที่พวกเขาจ้างคุณไปเสียหมด
การตรวจสอบของเรา: คำสั่งสังเคราะห์จะไม่รวมสมมติฐานไว้ด้วย แบบจำลองจะได้รับชุดข้อมูลและคำถามวิจัยเท่านั้น เมื่อเราต้องการทดสอบสมมติฐาน เราจะดำเนินการทดสอบเป็นขั้นตอนแยกต่างหาก โดยให้ค้นหาหลักฐานที่แข็งแกร่งที่สุดในชุดข้อมูลนี้ กับ ข้อกล่าวอ้างต่อไปนี้"
4. ผู้ใช้สารสังเคราะห์
แอปพลิเคชันที่ถูกทำการตลาดอย่างมั่นใจที่สุด แต่มีเหตุผลรองรับน้อยที่สุด คือ การสร้างผู้เข้าร่วมจำลองและสัมภาษณ์พวกเขาแทนที่จะสัมภาษณ์คนจริง ๆ วิธีนี้สร้างบันทึกการสัมภาษณ์ที่ดูสมจริงได้อย่างรวดเร็ว แต่ความสมจริงนี่แหละคือปัญหา แบบจำลองที่ฝึกฝนจากอินเทอร์เน็ตจะบอกคุณได้ว่าบุคลิกของผู้เข้าร่วมเป็นอย่างไร เสียงเหมือนซึ่งเป็นการสรุปว่าคนเหล่านั้นถูกเขียนถึงอย่างไร ไม่ใช่ว่าพวกเขาประพฤติตัวอย่างไรเมื่อระบบตรวจสอบความถูกต้องของแบบฟอร์มของคุณปฏิเสธที่อยู่ของพวกเขาในการลองครั้งที่สาม
ผู้ใช้งานจำลองมีประโยชน์เพียงอย่างเดียวคือ การฝึกซ้อมแนวทางการสนทนาก่อนที่จะมีผู้เข้าร่วมจริง เราใช้ผู้ใช้งานจำลองเพื่อจุดประสงค์นั้น เราไม่ได้ใช้พวกเขาเป็นหลักฐาน และเราไม่ได้รายงานผลลัพธ์ของพวกเขาว่าเป็นผลการวิจัย หากผู้จำหน่ายเสนอโครงการวิจัยที่ไม่มีผู้เข้าร่วมจริง นั่นหมายความว่าพวกเขากำลังขายวิธีการที่แพงมากเพื่อยืนยันสิ่งที่คุณเชื่ออยู่แล้ว
ระเบียบปฏิบัติในการทำงานของเรา
นี่คือลำดับเหตุการณ์ที่เกิดขึ้นจริง ไม่ใช่ลำดับเหตุการณ์ในอุดมคติ
1. มนุษย์เป็นผู้เขียนคู่มือรหัสก่อน ก่อนที่แบบจำลองใดๆ จะเริ่มทำการวิเคราะห์ข้อมูล นักวิจัยจะอ่านบทสัมภาษณ์สามถึงห้าบท และสร้างกรอบการเข้ารหัสด้วยมือ กรอบนี้มาจากข้อมูลของการศึกษาครั้งนี้ ไม่ใช่จากระบบจำแนกประเภท UX ทั่วไป คุณภาพของทุกอย่างในขั้นตอนถัดไปได้รับอิทธิพลจากขั้นตอนนี้ ซึ่งเป็นเหตุผลว่าทำไมเราจึงไม่บีบอัดข้อมูลในขั้นตอนนี้
2. โมเดลนี้ใช้กรอบ และใช้เฉพาะกรอบเท่านั้น ใช้โค้ดบุ๊กแบบตายตัว ไม่มีหมวดหมู่ใหม่ระหว่างการทำงาน เมื่อโมเดลพบสิ่งที่ไม่ตรงกับขอบเขตของเฟรม โมเดลจะทำเครื่องหมายว่า "ไม่ได้จัดประเภท" แทนที่จะบังคับให้ตรงกับเฟรมนั้น กองข้อมูลที่ไม่ได้จัดประเภทมักจะเป็นผลลัพธ์ที่น่าสนใจที่สุดของการทำงานทั้งหมด
3. ทำการเข้ารหัสซ้ำกับตัวอย่าง 15% ข้อความถอดเสียงเดียวกันจะถูกเข้ารหัสโดยมนุษย์และโดยแบบจำลองอย่างอิสระ และเราจะวัดอัตราความไม่สอดคล้องกัน หากต่ำกว่า 10% เราจะดำเนินการต่อ หากสูงกว่า 20% แสดงว่าคู่มือการเข้ารหัสผิด ไม่ใช่แบบจำลอง — เราต้องกลับไปที่ขั้นตอนแรก อัตราความไม่สอดคล้องกันเป็นตัวบ่งชี้การวินิจฉัยของกรอบการทำงาน และการจัดการอัตราความไม่สอดคล้องกันในลักษณะนี้ช่วยประหยัดเวลาได้มากกว่าการจัดการมันในฐานะด่านตรวจสอบคุณภาพของเครื่องมือ
4. ร่างบทสรุปโดยไม่มีสมมติฐานในโจทย์ โมเดลนี้รับข้อมูลจากคลังข้อมูลและคำถามวิจัย จากนั้นจะสร้างกลุ่มข้อมูลและเรื่องราวเบื้องต้นขึ้นมา
5. ผ่านการตรวจสอบย้อนกลับแล้ว ทุกข้อกล่าวอ้างในร่างรายงานจะถูกเชื่อมโยงกับผู้เข้าร่วมอย่างน้อยสองคน พร้อมด้วยการประทับเวลา ข้อกล่าวอ้างที่ไม่สามารถตรวจสอบแหล่งที่มาได้จะถูกลบออก ไม่ใช่ลดทอนความสำคัญลง ข้อกล่าวอ้างที่ได้รับการสนับสนุนจากผู้เข้าร่วมเพียงคนเดียวจะถูกระบุว่าเป็นข้อสังเกตเดียว ซึ่งเป็นสิ่งที่ถูกต้องและมักมีคุณค่าในการรายงาน แต่ไม่ใช่ในฐานะหัวข้อหลัก
6. การตรวจสอบความถูกต้องโดยเปรียบเทียบกับข้อมูลพฤติกรรม พฤติกรรมที่กล่าวอ้างกับพฤติกรรมที่สังเกตได้นั้นแตกต่างกันอยู่เสมอ เราตรวจสอบผลการสัมภาษณ์กับบันทึกการสนทนาและข้อมูลฮีทแมป — การคลิกที่แสดงความโกรธ การคลิกที่ไม่มีผล จุดที่ผู้ใช้หยุดใช้งาน — ก่อนที่จะส่งให้ลูกค้า เมื่อผู้เข้าร่วมบอกว่าตัวกรองใช้งานได้ดี แต่บันทึกการสนทนาแสดงให้เห็นว่าพวกเขาเลิกใช้ตัวกรอง บันทึกการสนทนาจะเป็นฝ่ายชนะ นี่คือจุดที่งานวิจัยเชิงคุณภาพที่ขับเคลื่อนด้วย AI มีแนวโน้มที่จะผิดพลาดมากที่สุด เพราะข้อมูลพฤติกรรมไม่สนใจว่าเรื่องราวจะสอดคล้องกันมากน้อยเพียงใด
7. ผู้เขียนจดหมายแนะนำเป็นบุคคลทั่วไป สามารถรวบรวมข้อมูลได้ด้วยความช่วยเหลือ ส่วนว่าจะดำเนินการอย่างไรกับข้อมูลเหล่านั้นในองค์กรนี้ ภายใต้ข้อจำกัดและแผนงานนี้ เป็นการตัดสินใจของบุคคลที่เข้าร่วมการสัมภาษณ์
สิ่งที่เราไม่ทำให้เป็นระบบอัตโนมัติ
เราได้คัดเลือกรายชื่อแล้ว และเรายึดมั่นในรายชื่อนี้อย่างแน่วแน่
- การทำหน้าที่เป็นผู้ดำเนินรายการสัมภาษณ์ผู้ใช้ที่มีความเปราะบางหรืออยู่ในภาวะทุกข์ใจ การดูแลสุขภาพ ความยากลำบากทางการเงิน การวิจัยเกี่ยวกับการเข้าถึง หน้าที่ของผู้ดำเนินรายการในส่วนนี้ส่วนหนึ่งคือหน้าที่ในการดูแล ซึ่งเป็นสิ่งที่มอบหมายให้ผู้อื่นไม่ได้
- คำแนะนำ ดูขั้นตอนที่เจ็ด
- การประเมินการเข้าถึง เครื่องมืออัตโนมัติ — รวมถึงเครื่องมือของเราเองด้วย เครื่องมือตรวจสอบ WCAG — ตรวจจับปัญหาตามมาตรฐาน WCAG ได้ประมาณหนึ่งในสาม ส่วนที่เหลือต้องทดสอบด้วยตนเองโดยใช้เทคโนโลยีช่วยเหลือ ผู้จำหน่ายรายใดที่อ้างว่าครอบคลุมปัญหาทั้งหมดโดยอัตโนมัติ นั่นเป็นการอธิบายถึงการสแกน ไม่ใช่การตรวจสอบอย่างเป็นทางการ
- การตัดสินใจว่าจะไม่ค้นคว้าเรื่องใดบ้าง การกำหนดขอบเขตงานวิจัยเป็นขั้นตอนที่สร้างหรือทำลายคุณค่าของการวิจัยมากที่สุด และเป็นการสนทนาเชิงกลยุทธ์ ไม่ใช่การสรุปผล
หมายเหตุเกี่ยวกับการวิจัยภาษาตุรกี
แนวทางปฏิบัติส่วนใหญ่ที่เผยแพร่เกี่ยวกับการวิจัยที่ใช้ AI นั้นเขียนและตรวจสอบความถูกต้องเป็นภาษาอังกฤษ และช่องว่างด้านประสิทธิภาพนั้นมีอยู่จริงและไม่ค่อยมีการพูดถึง
การถอดเสียงภาษาตุรกีมีคุณภาพลดลงอย่างเห็นได้ชัดเมื่อกล่าวถึงชื่อแบรนด์ ศัพท์เฉพาะทาง และการสลับใช้ภาษาอังกฤษ-ตุรกี ซึ่งเป็นเรื่องปกติในทีมผลิตภัณฑ์และอีคอมเมิร์ซในอิสตันบูล การจำแนกความรู้สึกจัดการกับความหมายแฝงของภาษาตุรกีได้ไม่ดีนัก คำพูดสุภาพที่นำหน้าข้อร้องเรียนที่ร้ายแรงมักถูกตีความว่าเป็นกลางหรือเชิงบวกโดยตัวจำแนกที่ฝึกฝนมากับภาษาอังกฤษเป็นหลัก นอกจากนี้ โครงสร้างคำแบบรวมคำยังหมายความว่าวิธีการหาความถี่ของคำหลักในข้อมูลแบบสำรวจปลายเปิดนั้นนับจำนวนได้ต่ำกว่าความเป็นจริงอย่างมาก เนื่องจากแนวคิดเดียวปรากฏในรูปแบบที่ผันแปรได้หลายสิบแบบ ซึ่งตัวแยกคำถือว่าไม่เกี่ยวข้องกัน
ผลที่ตามมาในทางปฏิบัติ: เพิ่มอัตราการตรวจสอบการถอดเสียงให้สูงกว่า 10% ที่คุณใช้สำหรับภาษาอังกฤษ อย่าพึ่งพาการวิเคราะห์อารมณ์อัตโนมัติเป็นสัญญาณเดี่ยวๆ ในคลังข้อมูลภาษาตุรกี และตรวจสอบความถูกต้องของตัวจำแนกประเภทใดๆ บนตัวอย่างภาษาตุรกีที่ติดป้ายกำกับด้วยมือ ก่อนที่จะเชื่อถือผลลัพธ์ในปริมาณมาก เราดำเนินการชุดข้อมูลตรวจสอบความถูกต้องของเราเองด้วยเหตุผลนี้
วิธีสังเกตว่ามันทำงานอยู่หรือไม่
ความเร็วไม่ใช่ตัวชี้วัดที่ถูกต้อง ทุกคนเร็วขึ้นเรื่อยๆ คำถามคือผลลัพธ์ที่ได้จะคงอยู่ได้นานแค่ไหนเมื่อเผชิญกับความเป็นจริง มีสามตัวชี้วัดที่เราติดตามอยู่จริง:
อัตราการรอดชีวิตของ Insight จากผลการวิจัยที่ระบุไว้ในรายงาน มีสัดส่วนเท่าใดที่ยังคงถือว่าใช้ได้หลังจากผ่านไปหกเดือน? การวัดผลในลักษณะนี้เป็นเรื่องที่ยากลำบาก แต่ก็คุ้มค่ากับความยากลำบากนั้นทุกหยาดหยด
อัตราความไม่สอดคล้องกันระหว่างมนุษย์กับแบบจำลอง จากขั้นตอนที่สามข้างต้น ติดตามผลไปเรื่อยๆ ความไม่เห็นด้วยที่เพิ่มขึ้นมักหมายความว่าขอบเขตการวิจัยได้เปลี่ยนไปแล้ว แต่คู่มือการกำหนดรหัสยังคงเหมือนเดิม
ระยะเวลาตั้งแต่การสัมภาษณ์ครั้งสุดท้ายจนถึงสมมติฐานที่สามารถทดสอบได้ครั้งแรก นี่คือตัวเลขที่ AI สามารถเปลี่ยนแปลงได้อย่างแท้จริง หากการสังเคราะห์ข้อมูลเคยใช้เวลาแปดวันและตอนนี้ใช้เวลาเพียงสองวัน นั่นหมายถึงรอบการทดลองเพิ่มขึ้นสองรอบต่อไตรมาส ซึ่งเป็นกรณีทางธุรกิจที่แท้จริง และเป็นกรณีที่ดี เพียงแต่ไม่ใช่กรณีที่ผู้ขายส่วนใหญ่กล่าวถึง
ลึกขึ้น
บทความนี้เป็นภาพรวม บทความเสริมอีกสี่บทความจะกล่าวถึงแต่ละขั้นตอนโดยละเอียด:
- การสร้างตัวตนของผู้ใช้ตามข้อมูลด้วยปัญญาประดิษฐ์ — การสร้างตัวตนจากหลักฐานที่ได้รับการตรวจสอบแล้ว แทนที่จะใช้แบบจำลองพื้นฐาน
- จากข้อมูลสู่การตัดสินใจ: AI สามารถช่วยปรับปรุงกระบวนการสังเคราะห์ผลการวิจัยผู้ใช้ได้อย่างไร — ขั้นตอนการสังเคราะห์โดยละเอียด
- AI สามารถเปลี่ยนความคิดเห็นของผู้ใช้ให้เป็นข้อมูลเชิงลึกที่นำไปใช้ได้จริงในการพัฒนาผลิตภัณฑ์ได้อย่างไร — รีวิว ตั๋ว และข้อความแสดงความคิดเห็นจากผู้ใช้จริงในระดับขนาดใหญ่
- เพิ่มประสิทธิภาพการค้นหาผลิตภัณฑ์ด้วยการวิจัยผู้ใช้ที่ขับเคลื่อนด้วย AI — การนำทั้งหมดนี้ไปประยุกต์ใช้ภายในวงจรการค้นพบ
คำถามที่พบบ่อย
AI สามารถทดแทนการสัมภาษณ์ผู้ใช้ได้อย่างสมบูรณ์หรือไม่? ไม่เลย มันสามารถทดแทนงานบางส่วนที่เกี่ยวข้องกับการสัมภาษณ์ได้ เช่น การถอดเสียง การเข้ารหัส การสังเคราะห์ข้อมูลเบื้องต้น และช่วยให้คุณเตรียมการสัมภาษณ์ได้ดีขึ้น แต่ไม่สามารถสร้างหลักฐานเกี่ยวกับพฤติกรรมของคนได้ เพราะมันเข้าถึงพฤติกรรมเหล่านั้นไม่ได้ ผู้เข้าร่วมจำลองจะบอกคุณว่าคนเหล่านั้นถูกอธิบายอย่างไรในข้อความ ซึ่งเป็นคนละเรื่องกันและมักจะทำให้เข้าใจผิดได้
การวิจัยโดยใช้ AI ช่วยประหยัดเวลาได้มากแค่ไหนกันแน่? จากประสบการณ์ของเรา การประหยัดต้นทุนส่วนใหญ่เกิดขึ้นในขั้นตอนการสังเคราะห์และการเขียนโค้ด ซึ่งเป็นส่วนที่สำคัญมาก ส่วนงานภาคสนาม การสรรหาบุคลากร และการประสานงานกับผู้มีส่วนได้ส่วนเสียยังคงไม่เปลี่ยนแปลง ความคาดหวังที่เป็นไปได้สำหรับงานวิจัยที่มีการปรับเปลี่ยนวิธีการคือ ระยะเวลาหลังการทำงานภาคสนามจะสั้นลงอย่างมาก ในขณะที่ระยะเวลารวมของโครงการจะลดลงน้อยกว่ามาก เนื่องจากงานภาคสนามเป็นส่วนที่ใช้เวลานานที่สุดอยู่แล้ว
ผู้ใช้ซอฟต์แวร์สังเคราะห์มีความชอบธรรมบ้างหรือไม่? ในฐานะเครื่องมือฝึกซ้อมสำหรับคู่มือการสนทนาและวิธีการทดสอบความเหมาะสมของคำถามในแบบสำรวจ ใช่ แต่ในฐานะหลักฐานในข้อค้นพบทางวิจัย ไม่ใช่ ความแตกต่างนี้สำคัญมาก: อย่างหนึ่งเป็นเครื่องมือช่วยเตรียมการ อีกอย่างหนึ่งเป็นข้อมูลที่สร้างขึ้นมาโดยติดป้ายกำกับว่าเป็นข้อมูลวิจัย
ความเสี่ยงที่ใหญ่ที่สุดคืออะไร? มั่นใจ คล่องแคล่ว แต่ผลลัพธ์ผิดพลาด โดยเฉพาะอย่างยิ่งเวอร์ชันที่สอดคล้องกับสิ่งที่ทีมเชื่ออยู่แล้ว คำพูดที่แต่งขึ้นจะถูกจับได้ด้วยกฎการตรวจสอบย้อนกลับ การสังเคราะห์แบบประจบประแจงนั้นยากกว่า เพราะมันสร้างผลลัพธ์ที่ทุกคนพอใจ การป้องกันที่เชื่อถือได้เพียงอย่างเดียวคือการแยกสมมติฐานออกจากคำสั่งสังเคราะห์และทำการตรวจสอบแบบโต้แย้งอย่างชัดเจน
การวิจัยโดยใช้ AI ช่วยนั้นได้ผลดีในภาษาตุรกีเช่นกันหรือไม่? ไม่ใช่ว่าใช้งานได้ทันที ความแม่นยำในการถอดเสียง การจำแนกความรู้สึก และวิธีการวิเคราะห์ความถี่ของคำหลัก ล้วนลดลงเมื่อใช้กับภาษาตุรกีเมื่อเทียบกับภาษาอังกฤษ มันใช้งานได้และเราใช้มันทุกวัน แต่ต้องใช้จำนวนตัวอย่างที่สูงขึ้น ตัวจำแนกที่ได้รับการตรวจสอบแล้ว และนักวิจัยที่อ่านภาษานั้นได้
ต้องการความเห็นที่สองเกี่ยวกับกระบวนการวิจัยของคุณหรือไม่?
หากคุณกำลังดำเนินการวิจัยโดยใช้ AI และต้องการทราบว่าผลการค้นพบของคุณจะผ่านการตรวจสอบอย่างละเอียดหรือไม่ หรือคุณกำลังตัดสินใจว่าจะใช้ระบบอัตโนมัติกับส่วนใดและจะปกป้องส่วนใด เราจะตรวจสอบกระบวนการปัจจุบันของคุณและบอกคุณอย่างชัดเจนว่าความเสี่ยงอยู่ที่ใด







