เลือกการทดสอบการใช้งานแบบมีผู้ดูแล แบบไม่มีผู้ดูแล หรือแบบอะซิงโครนัส ตามการตัดสินใจที่คุณต้องการปิด

ทีมส่วนใหญ่เลือกวิธีการทดสอบการใช้งานโดยพิจารณาจากงบประมาณหรือความเคยชิน จากนั้นจึงพบว่าการทดสอบเหล่านั้นไม่สามารถตอบคำถามที่ตั้งไว้ได้ วิธีการนี้ไม่ใช่เรื่องของรสนิยม แต่ถูกกำหนดโดยการตัดสินใจที่คุณพยายามจะทำให้สำเร็จ คู่มือนี้จะให้แนวทางในการเลือกวิธีการทดสอบแบบมีผู้ดูแล แบบไม่มีผู้ดูแล และแบบอะซิงโครนัส โดยเน้นที่การตัดสินใจเป็นหลัก: ขนาดของกลุ่มตัวอย่างที่แต่ละวิธีรองรับ ต้นทุนและคุณภาพข้อมูลที่แท้จริงของแต่ละวิธี และกฎการถ่ายโอนข้อมูลที่จำกัดทางเลือกในตุรกีและสหภาพยุโรป คู่มือนี้เหมาะสำหรับทีมผลิตภัณฑ์ UX และ CRO ที่ทำการศึกษาเพียงไม่กี่ครั้งต่อปีและไม่สามารถเสียโอกาสใดๆ ไปได้ ก่อนอื่นมาดูตัวเลขการสอบเทียบกัน: ในการศึกษาของ Laura Faulkner ในปี 2003 กลุ่มตัวอย่างแบบสุ่มของผู้ใช้ห้าคนพบปัญหาที่ทราบแล้วโดยเฉลี่ย 85.5% แต่กลุ่มตัวอย่างที่แย่ที่สุดพบเพียง 55%

วิธีการทั้งสามวิธีได้รับการกำหนดไว้อย่างแม่นยำเพียงพอที่จะนำมาเปรียบเทียบกันได้

ควบคุมดูแลโดยผู้เชี่ยวชาญ นักวิจัยและผู้เข้าร่วมการวิจัยอยู่ร่วมกันในระหว่างการวิจัย ไม่ว่าจะพบกันตัวต่อตัวหรือผ่านทางโทรศัพท์ นักวิจัยกำหนดภารกิจ สังเกต และสอบถามพฤติกรรมของผู้เข้าร่วม ผลลัพธ์: พฤติกรรมที่สังเกตได้พร้อมคำอธิบาย

ไม่มีการกลั่นกรอง บันทึกไว้แล้ว ผู้เข้าร่วมทำการทดลองโดยลำพังตามภารกิจที่กำหนดไว้ ในขณะที่แพลตฟอร์มจะบันทึกหน้าจอ การคลิก และโดยปกติแล้วเสียงด้วย นักวิจัยจะวิเคราะห์บันทึกเหล่านั้นในภายหลัง ผลลัพธ์: พฤติกรรมโดยไม่มีคำอธิบาย

การรายงานตนเองแบบไม่พร้อมกัน ผู้เข้าร่วมทำการวิจัยด้วยตนเองและจดบันทึกสิ่งที่ผิดพลาด — ในรูปแบบบันทึกประจำวัน แบบฟอร์มแสดงความคิดเห็น หรือบันทึกการทำงาน ไม่มีการวิเคราะห์บันทึกใดๆ ผลลัพธ์: บันทึกของผู้เข้าร่วมเอง

การนำทั้งสามอย่างนี้มารวมกันเป็น "แบบมีการควบคุมเทียบกับแบบไม่มีการควบคุม" คือวิธีที่ตัวเลขที่กล่าวซ้ำกันอย่างกว้างขวางถูกนำไปใช้ผิดๆ ข้อค้นพบที่ว่าผู้ใช้รายงานปัญหาประมาณครึ่งหนึ่งของปัญหาที่นักวิจัยที่ได้รับการฝึกฝนสังเกตเห็นนั้น มาจาก... การศึกษาแบบรายงานตนเองซึ่งผู้เข้าร่วมได้บันทึกปัญหาด้วยตนเอง นั่นเป็นข้อเท็จจริงเกี่ยวกับการรายงานตนเองแบบไม่พร้อมกัน ไม่ใช่เกี่ยวกับการบันทึกการสนทนาแบบไม่ควบคุมที่นำมาวิเคราะห์โดยนักวิจัย เมื่อมีคนบอกว่าการสนทนาแบบไม่ควบคุมพบปัญหาได้ครึ่งหนึ่ง ให้ถามว่าพวกเขาหมายถึงข้อไหนในสองข้อนี้

เริ่มต้นจากการตัดสินใจ ไม่ใช่จากวิธีการ

เขียนประโยคที่คุณอยากจะพูดได้เมื่อการเรียนจบลง แล้วหาแถวที่ตรงกับประโยคนั้น

แถวสุดท้ายมีความสำคัญมากกว่าที่เห็น การทดสอบการใช้งานจะบอกคุณว่าอินเทอร์เฟซใช้งานได้หรือไม่ และมีจุดไหนที่ใช้งานไม่ได้ ไม่ใช่ผลกระทบต่อรายได้จากการเปลี่ยนแปลง การศึกษาที่มีผู้เข้าร่วมเพียงห้าคนเพื่อหาคำตอบสำหรับคำถามเกี่ยวกับตัวชี้วัดทางธุรกิจนั้นเป็นเครื่องมือที่ไม่เหมาะสม และคำตอบนั้นจะไม่ผ่านการตรวจสอบอย่างละเอียด

หน้าจอคำถามสี่ข้อ

หากตารางไม่มีคำถามของคุณ ให้เรียกใช้คำสั่งเหล่านี้ตามลำดับ คำตอบ "ใช่" ตัวแรกจะเป็นตัวตัดสิน

1. คุณจำเป็นต้องถาม "ทำไม" ในขณะที่เหตุการณ์กำลังเกิดขึ้นหรือไม่? ควบคุมโดยผู้ดูแลระบบ คุณไม่สามารถติดตั้งอุปกรณ์ตรวจวัดเพิ่มเติมลงในการบันทึกได้
2. ผู้เข้าร่วมจำเป็นต้องมีข้อมูลประจำตัว พื้นที่ทดลองใช้งาน เทคโนโลยีช่วยเหลือ หรืออุปกรณ์ที่คุณจัดหาให้หรือไม่? มีการควบคุมดูแล แพลตฟอร์มที่ไม่มีการควบคุมดูแลจะจัดการกับต้นแบบสาธารณะได้ดี แต่จะจัดการกับสภาพแวดล้อมที่มีการจำกัดการเข้าถึงได้ไม่ดี
3. คุณต้องการตัวเลขพร้อมช่วงความเชื่อมั่นหรือไม่? ไม่มีการควบคุมดูแล การอบรมแบบมีผู้ดูแล 8 ครั้ง ส่งผลให้อัตราการสำเร็จการอบรมมีช่วงกว้างมาก จนไม่สามารถแยก 50% ออกจาก 90% ได้
4. พฤติกรรมดังกล่าวเกิดขึ้นมากกว่าหนึ่งครั้งหรือไม่? การทำงานแบบอะซิงโครนัส การเริ่มต้นใช้งานที่ใช้เวลาตลอดทั้งสัปดาห์ หรือการจองที่ถูกยกเลิกและดำเนินการต่อ จะไม่สามารถทำเสร็จได้ภายในช่วงเวลา 60 นาที

ขนาดตัวอย่าง: แต่ละวิธีสามารถรองรับได้มากน้อยเพียงใด

กฎที่ว่า "ผู้ใช้ห้าคนก็เพียงพอแล้ว" มาจาก บทความของ Jakob Nielsen ปี 2000 และใช้ได้โดยเฉลี่ยเท่านั้น สำหรับการค้นพบปัญหา ในกระบวนการเดียว ฟอล์คเนอร์ทำการทดลองกับผู้เข้าร่วม 60 คน โดยใช้แอปพลิเคชันบันทึกเวลา บันทึกปัญหา 45 ข้อ จากนั้นสุ่มเลือกกลุ่มใหม่ 100 กลุ่มในแต่ละขนาด สิ่งที่ทุกคนลืมคือ การกระจายตัวของผลลัพธ์

อ่านมันในฐานะคำแถลงความเสี่ยง ไม่ใช่เป้าหมาย โดยปกติแล้วการทดสอบห้าครั้งจะช่วยให้พบปัญหาได้มากที่สุด และการทดสอบประมาณหนึ่งในยี่สิบครั้งจะทำให้คุณเชื่อว่าขั้นตอนการทำงานที่ผิดพลาดนั้นไม่เป็นไร — ยอมรับได้สำหรับต้นแบบ แต่ไม่ดีสำหรับการชำระเงินที่คุณกำลังจะเปิดใช้งาน สัดส่วนการทำงานของเราคือ: การทดสอบแบบมีผู้ดูแล 5 ถึง 8 ครั้งสำหรับการค้นหาปัญหาในขั้นตอนการทำงานเดียว 10 ถึง 12 ครั้งเมื่อมีการแยกย่อยตามกลุ่มหรืออุปกรณ์ และ 30 ครั้งขึ้นไปโดยไม่มีผู้ดูแลเมื่อผลลัพธ์ที่ได้คืออัตราค่าบริการมากกว่ารายการปัญหา

ต้นทุนและกำหนดการ: เงินถูกใช้ไปที่ไหนจริง ๆ

ต้นทุนที่ควบคุมได้ส่วนใหญ่เกี่ยวข้องกับตารางเวลาของนักวิจัย เช่น การนัดหมาย การไม่มาตามนัด การดำเนินการวิจัย และการวิเคราะห์ข้อมูล ส่วนต้นทุนที่ไม่ได้ควบคุมส่วนใหญ่เกิดจากการรับสมัครผู้เข้าร่วมมากเกินไป เพราะคุณต้องจ่ายเงินสำหรับผู้เข้าร่วมที่คุณตัดทิ้ง และอัตราการตัดทิ้งนั้นสูงกว่าที่งบประมาณส่วนใหญ่คาดการณ์ไว้

ใน การเปรียบเทียบแพลตฟอร์มการวิจัยห้าแพลตฟอร์มในวารสาร PLOS ONE ปี 2023 (N = 2,729) สัดส่วนของผู้ตอบแบบสอบถามที่ผ่านเกณฑ์คุณภาพโดยรวมอยู่ที่ 75.4% บน Prolific, 75.1% บน CloudResearch, 62.7% บน SONA, 59.1% บน Qualtrics และ 54.2% บน MTurk โดยมีค่าใช้จ่ายต่อผู้ตอบแบบสอบถามคุณภาพสูงตั้งแต่ 1.90 ถึง 8.17 ดอลลาร์สหรัฐ การศึกษาด้านคุณภาพและปริมาณ ปี 2026 วิธีการคัดกรองนั้นเข้มงวดกว่า: จากผู้เข้าร่วมที่ยินยอม 4,453 คน มีเพียง 15.97% เท่านั้นที่ยังคงเข้าร่วมหลังจากการคัดกรอง โดยการตรวจสอบความสนใจทำให้ผู้เข้าร่วม 27.13% ไม่ผ่านเกณฑ์ ในขณะที่คำถามตรวจจับบอทโดยตรงสามารถจับได้เพียง 3.48% เท่านั้น

ดังนั้น ขนาดของกลุ่มตัวอย่างในการศึกษาแบบไม่ใช้ผู้ดูแล ควรคำนวณจากจำนวนผู้เข้าร่วมที่ต้องการวิเคราะห์ หารด้วยอัตราการคงอยู่ของผู้เข้าร่วมที่คาดหวัง และควรใส่คำถามปลายเปิดอย่างน้อยหนึ่งข้อ และแบบตรวจสอบความสนใจอย่างน้อยหนึ่งข้อในทุกสคริปต์ เพราะการคัดกรองด้วยบอทราคาถูกนั้นไม่ได้ผล ส่วนการศึกษาแบบมีผู้ดูแลนั้นจะคัดกรองตัวเองได้: ใครก็ตามที่เข้าร่วมการสนทนาและพูดคุยกับคุณเป็นเวลา 45 นาที ก็คือคนคนหนึ่ง ไม่ว่าความจริงข้ออื่นจะเป็นอย่างไรก็ตาม

[ต้องการข้อมูลภายใน: จำนวนวันเฉลี่ยของ Switas นับตั้งแต่การบรรยายสรุปการรับสมัครจนถึงการทำเซสชั่นแรกเสร็จสมบูรณ์ และอัตราการคัดกรองที่เราสังเกตได้จากการศึกษาแบบไม่มีผู้ดูแลในภาษาตุรกี เพื่อใช้แทนตัวเลขทั่วไปของแพลตฟอร์มข้างต้น]

ชั้นข้อมูลตุรกีและสหภาพยุโรปที่สามารถเปลี่ยนแปลงตัวเลือกของคุณได้

แพลตฟอร์มที่ไม่มีการควบคุมจะบันทึกหน้าจอของผู้เข้าร่วม รวมถึงเสียงและใบหน้า และจัดเก็บไว้บนโครงสร้างพื้นฐานของผู้ให้บริการ ซึ่งโดยปกติจะอยู่นอกประเทศตุรกี และบ่อยครั้งอยู่นอกเขตเศรษฐกิจยุโรป (EEA) นั่นคือการถ่ายโอนข้อมูลส่วนบุคคลไปยังต่างประเทศ และตั้งแต่วันที่ 1 มิถุนายน 2024 กฎหมายตุรกีได้กำหนดให้ต้องดำเนินการผ่านกลไกที่กำหนดไว้

กฎหมายฉบับที่ 7499 (ราชกิจจานุเบกษาฉบับที่ 32487 วันที่ 12 มีนาคม 2024) ได้แก้ไขมาตรา 9 ของกฎหมายฉบับที่ 6698 การโอนเงินไปต่างประเทศจำเป็นต้องมีมติรับรองความเหมาะสมหรือมาตรการคุ้มครองที่ระบุไว้ เช่น กฎระเบียบขององค์กรที่มีผลผูกพันซึ่งได้รับการอนุมัติล่วงหน้า สัญญามาตรฐานที่เผยแพร่โดยหน่วยงานและแจ้งให้หน่วยงานทราบ หรือข้อตกลงเฉพาะที่หน่วยงานอนุมัติ ข้อยกเว้นต่างๆ รวมถึงการยินยอมโดยชัดแจ้งนั้นร่างขึ้นสำหรับการโอนเงินที่เกิดขึ้นเป็นครั้งคราวและไม่เกิดขึ้นซ้ำ ซึ่งโครงการวิจัยถาวรไม่เป็นเช่นนั้น หน้าเว็บของหน่วยงานเอง จากข้อมูลที่มีอยู่ ยังไม่มีประเทศใดได้รับการประกาศว่ามีความเหมาะสมเพียงพอ ดังนั้นในทางปฏิบัติ แพลตฟอร์มการทดสอบในต่างประเทศจึงอยู่ภายใต้สัญญามาตรฐานที่ใครบางคนต้องลงนามและแจ้งให้ทราบ

กฎที่เราใช้คือ: หากการศึกษาเก็บรวบรวมข้อมูลจากประสบการณ์ของผู้เข้าร่วม ข้อมูลลูกค้าจริง หรือข้อมูลประเภทพิเศษ ซึ่งเป็นเรื่องปกติในงานด้านสุขภาพและภาครัฐ การจัดเซสชันที่มีการควบคุมบนโครงสร้างพื้นฐานที่คุณควบคุมได้นั้นเป็นวิธีที่ปฏิบัติตามกฎได้รวดเร็วกว่า แม้ว่าการจัดเซสชันแบบไม่มีการควบคุมจะประหยัดกว่าก็ตาม สำหรับต้นแบบสาธารณะและงานจำลอง การใช้แพลตฟอร์มก็เหมาะสมแล้ว ผู้อ่านนอกประเทศตุรกีจะคุ้นเคยกับโครงสร้างนี้จากบทที่ 5 ของ GDPR แต่มีข้อแตกต่างที่สำคัญอย่างหนึ่งคือ ไม่มีข้อกำหนดด้านความเพียงพอที่บังคับใช้ ดังนั้นจึงไม่มีกรอบการทำงานแบบ EU-US ให้ยึดถือ

ก่อนที่คุณจะจองอะไรก็ตาม

• ประโยคตัดสินถูกเขียนลงไปแล้ว และคุณสามารถระบุข้อค้นพบที่จะเปลี่ยนแปลงประโยคตัดสินนั้นได้
• วิธีการนี้มาจากตารางหรือหน้าจอข้างต้น ไม่ใช่จากสิ่งที่คุณรันครั้งที่แล้ว
• ขนาดของกลุ่มตัวอย่างมีความเหมาะสมกับผลลัพธ์ที่ต้องการ เช่น รายการปัญหา หรืออัตราค่าบริการ
• แบบทดสอบแบบไม่มีการควบคุม: จำนวนผู้เข้าร่วมเป้าหมายหารด้วยอัตราการจดจำที่คาดหวัง; สคริปต์ประกอบด้วยคำถามปลายเปิดและการตรวจสอบความสนใจ
• มีการควบคุมดูแลเท่านั้น: งานที่มอบหมายเขียนขึ้นเพื่อให้ผู้เข้าร่วมไม่ต้องได้รับคำอธิบายเพิ่มเติม คำถามสอบถามเตรียมไว้แล้วแต่ไม่ชี้นำ
• การบันทึกข้อมูล สถานที่จัดเก็บ ระยะเวลาการเก็บรักษา และกลไกการถ่ายโอนข้อมูลจะต้องได้รับการตกลงกันก่อนการรับสมัคร
• มีคนเป็นเจ้าของปฏิทินการวิเคราะห์ การบันทึกที่ไม่ได้นำมาวิเคราะห์ก็เหมือนกับงานวิจัยที่ไม่มีการควบคุมดูแล ทำให้งานวิจัยเหล่านั้นไม่ได้ผล

จุดที่เกิดปัญหาคือ...

ตารางของฟอล์กเนอร์มาจากแอปพลิเคชันบันทึกเวลาทำงานที่มีปัญหาที่จัดหมวดหมู่ไว้ 45 ข้อ เส้นโค้งการค้นพบขึ้นอยู่กับความน่าจะเป็นที่ผู้เข้าร่วมโดยเฉลี่ยจะพบปัญหาโดยเฉลี่ย และความน่าจะเป็นนั้นจะลดลงในผลิตภัณฑ์ที่มีกระบวนการทำงานที่แตกแขนงออกไปมากมาย ให้ถือว่าตารางนี้เป็นค่าต่ำสุดสำหรับกระบวนการทำงานที่เรียบง่าย

คู่มือนี้ไม่ได้ครอบคลุมถึงกลไกการสรรหา การใช้เทคนิคการกลั่นกรอง การเปลี่ยนผลการค้นพบให้เป็นสมมติฐาน หรือการทดสอบความสอดคล้องด้านการเข้าถึง ซึ่งเป็นการตรวจสอบตามเกณฑ์มากกว่าการศึกษาด้านการใช้งาน

การสัมภาษณ์ที่ดำเนินการโดย AI ในปัจจุบันอยู่ระหว่างการสัมภาษณ์ที่มีผู้ดำเนินรายการและการสัมภาษณ์ที่ไม่มีผู้ดำเนินรายการ โดยทำการตลาดในฐานะที่เป็นการผสมผสานทั้งสองแบบเข้าด้วยกัน เรายังไม่เห็นหลักฐานการเปรียบเทียบวิธีการที่ตีพิมพ์เผยแพร่ในระดับมาตรฐานเดียวกับการศึกษาที่อ้างถึงในที่นี้ จนกว่าจะมีหลักฐานดังกล่าว ให้ถือว่าการสัมภาษณ์ที่ดำเนินการโดย AI เป็นเหมือนการทดสอบที่ไม่มีผู้ดำเนินรายการแต่มีสคริปต์ที่ดีกว่า และอย่าปล่อยให้การสัมภาษณ์ดังกล่าวมีผลต่อการตัดสินใจที่ขึ้นอยู่กับการสอบถามอย่างมีทักษะ

คำถามที่พบบ่อย

ผู้เข้าร่วมห้าคนเพียงพอจริงหรือ? โดยเฉลี่ยแล้ว ทีมงานห้าคนสามารถตรวจพบปัญหาได้ประมาณ 85% ในกระบวนการทำงานเดียว แต่ตัวอย่างที่แย่ที่สุดใน 100 ตัวอย่างที่ฟอล์คเนอร์ทำการทดสอบนั้น พบปัญหาเพียง 55% ซึ่งถือว่าเหมาะสมสำหรับต้นแบบ แต่ไม่เพียงพอสำหรับผลิตภัณฑ์ที่กำลังจะวางจำหน่าย

ฉันสามารถดำเนินการศึกษาวิจัยแบบมีผู้ดูแลจากระยะไกลได้หรือไม่? ใช่ และสำหรับงานวิจัยผลิตภัณฑ์ส่วนใหญ่ คุณควรทำเช่นนั้น การวิจัยแบบมีผู้ดูแลนั้นหมายถึงการที่นักวิจัยอยู่ร่วมด้วย ไม่ใช่เกี่ยวกับห้องวิจัย คุณจะสูญเสียบริบทของสภาพแวดล้อม แต่จะได้ขอบเขตการเข้าถึงที่กว้างขึ้น

ต้องมีผู้เข้าร่วมกี่คนถึงจะได้อัตราการสำเร็จตามเป้าหมาย? มากกว่าที่การศึกษาแบบควบคุมทั่วไปจะทำได้ ควรตัดสินใจก่อนว่าต้องการตรวจหาความแตกต่างระดับใด — การแยก 70% ออกจาก 85% นั้นต้องใช้กลุ่มตัวอย่างที่แตกต่างอย่างมากจากการแยก 30% ออกจาก 80% — จากนั้นจึงกำหนดขนาดกลุ่มตัวอย่างให้เหมาะสม และคาดว่าจะต้องคัดผู้เข้าร่วมการศึกษาออกไปประมาณหนึ่งในสี่

การทดสอบแบบไม่มีผู้ดูแลพบปัญหาได้น้อยกว่าการทดสอบแบบมีผู้ดูแลหรือไม่? การวิเคราะห์ข้อมูลจากการบันทึกการสนทนาโดยไม่มีผู้ควบคุมดูแล พบว่ามีปัญหาด้านพฤติกรรมที่คล้ายคลึงกัน แต่ไม่มีคำอธิบายใดๆ ตัวเลข "ปัญหาครึ่งหนึ่ง" นี้ใช้กับรูปแบบการรายงานตนเองที่ไม่มีใครเฝ้าดูการสนทนา

จำเป็นต้องได้รับความยินยอมอย่างชัดเจนก่อนบันทึกการประชุมหรือไม่? ไม่ว่าคุณจะเลือกใช้วิธีใด คุณก็จำเป็นต้องมีพื้นฐานทางกฎหมายและการแจ้งให้ทราบอย่างชัดเจน และในตุรกี ประเด็นเรื่องการโอนเงินไปต่างประเทศนั้นแยกต่างหากจากประเด็นเรื่องการบันทึกข้อมูล

ชุดงานที่ไม่มีการควบคุมควรมีความยาวนานเท่าใด? โดยทั่วไปจะใช้เวลาประมาณ 15 ถึง 20 นาที สคริปต์ที่ยาวเกินไปจะเพิ่มอัตราการออกจากโปรแกรม และเป็นการให้รางวัลแก่ผู้เข้าร่วมที่คุณต้องการคัดกรองออกนั่นเอง

ร่วมงานกับเรา

หากการตัดสินใจยังรอหลักฐานอยู่ และคุณไม่แน่ใจว่าข้อใดในสามข้อนี้จะช่วยตัดสินได้ เราสามารถร่วมวางแผนการศึกษาไปกับคุณได้ — วิธีการ ขนาดกลุ่มตัวอย่าง การสรรหาผู้เข้าร่วม และเอกสารการถ่ายโอนข้อมูล ดูเพิ่มเติมได้ที่นี่ บริการวิจัยผู้ใช้ของสวิตัส.

แหล่งที่มา

• ฟอล์กเนอร์, แอล. (2003). นอกเหนือจากสมมติฐานผู้ใช้ห้าคนแล้ววิธีการวิจัยพฤติกรรม 35(3), 379–383
• นีลเซ่น, เจ. (19 มีนาคม 2000). เหตุผลที่คุณต้องทดสอบกับผู้ใช้เพียง 5 คนก็เพียงพอแล้วนีลเซน นอร์แมน กรุ๊ป
• การวัดU. ผู้ใช้สามารถรายงานปัญหาการใช้งานด้วยตนเองได้หรือไม่? — สรุป Castillo (1998), Bruun และคณะ (2007), Andreasen และคณะ (2009)
• Douglas, Ewell & Brauer (14 มีนาคม 2023). คุณภาพข้อมูลในการวิจัยออนไลน์ที่เกี่ยวข้องกับมนุษย์PLOS ONE.
• การต่อสู้กับบอทและข้อมูลที่ไม่ถูกต้อง (11 เมษายน 2026). คุณภาพและปริมาณ, 60(4).
• คิซิเซล เวริเลรี โครุมะ คุรุมู Yurt Dışına Aktarım — กฎหมาย 6698 มาตรา 9 แก้ไขเพิ่มเติมโดยกฎหมาย 7499 (OG 32487, 12 มีนาคม 2024; มีผลบังคับใช้ 1 มิถุนายน 2024)