การประเมินการศึกษาแบบฮิวริสติก

การประเมินแบบฮิวริสติกเป็นวิธีการตรวจสอบโดยผู้เชี่ยวชาญ ซึ่งผู้เชี่ยวชาญจะตรวจสอบส่วนติดต่อผู้ใช้โดยเทียบกับหลักการใช้งานที่กำหนดไว้ และบันทึกว่าส่วนใดที่ละเมิดหลักการเหล่านั้น วิธีนี้ได้รับการพัฒนาโดย Jakob Nielsen และ Rolf Molich ในปี 1990 โดยออกแบบมาเพื่อเป็นทางเลือกที่รวดเร็วและต้นทุนต่ำกว่าการทดสอบผู้ใช้ ซึ่งสามารถค้นพบปัญหาการใช้งานได้เป็นจำนวนมากโดยไม่ต้องสรรหาผู้เข้าร่วม

ขั้นตอนของวิธีการมีความสำคัญมากกว่าชุดฮิวริสติกเฉพาะที่ใช้ ผู้ประเมินแต่ละคนจะตรวจสอบอินเทอร์เฟซอย่างอิสระ โดยทั่วไปจะทำการตรวจสอบสองรอบ รอบแรกเพื่อทำความคุ้นเคยกับขั้นตอนการทำงาน และรอบที่สองเพื่อตรวจสอบอย่างเป็นระบบ ผลการตรวจสอบจะถูกบันทึกไว้พร้อมกับหลักการที่ถูกละเมิด ตำแหน่ง และการประเมินความรุนแรงโดยพิจารณาจากความถี่ ผลกระทบ และความต่อเนื่อง ผลการตรวจสอบจะถูกนำมารวมกันก็ต่อเมื่อผู้ประเมินทุกคนทำการตรวจสอบเสร็จสิ้นอย่างอิสระแล้วเท่านั้น เนื่องจากหากมีการอภิปรายระหว่างการประเมินจะทำให้เกิดการบรรจบกันและลดความครอบคลุมลง งานวิจัยของนีลเซ่นเองชี้ให้เห็นว่า ผู้ประเมินสามถึงห้าคนสามารถระบุปัญหาได้เป็นส่วนใหญ่ ซึ่งกลุ่มผู้ประเมินขนาดใหญ่กว่าจะพบได้ และผลลัพธ์จะลดลงอย่างมากหากมีผู้ประเมินมากกว่านั้น

ข้อดีหลักๆ คือ ความเร็วและต้นทุน การประเมินกระบวนการทำงานที่สำคัญอย่างละเอียดสามารถทำได้ภายในไม่กี่วัน โดยไม่ต้องเสียเวลาในการสรรหาบุคลากร จัดตารางเวลา หรือจัดสรรงบประมาณสำหรับค่าตอบแทน และสามารถนำไปใช้กับงานที่ยังไม่เสร็จสมบูรณ์ รวมถึงแบบร่างและต้นแบบ นอกจากนี้ยังให้ผลลัพธ์ที่แสดงออกมาในรูปของหลักการที่กำหนดไว้ ซึ่งทำให้มีเหตุผลรองรับมากกว่าความคิดเห็นส่วนบุคคล และทำให้ง่ายต่อการอธิบายและชี้แจงต่อผู้มีส่วนได้ส่วนเสีย

ข้อจำกัดของวิธีการนี้ก็ได้รับการบันทึกไว้อย่างละเอียดเช่นกัน ผู้ตรวจสอบผู้เชี่ยวชาญไม่ใช่ผู้ใช้งานจริง พวกเขารู้จักธรรมเนียมการใช้งานอินเทอร์เฟซเป็นอย่างดี แต่ไม่ได้เผชิญกับความสับสนในด้านนั้นๆ หรือบริบททางอารมณ์ของลูกค้าตัวจริง และไม่สามารถระบุปัญหาที่เกิดขึ้นจากความไม่คุ้นเคยกับเนื้อหาได้อย่างน่าเชื่อถือ วิธีการนี้ยังก่อให้เกิดผลลัพธ์ที่ผิดพลาด คือการระบุการละเมิดที่ไม่ได้ส่งผลกระทบต่อผู้ใช้งานจริงอย่างมีนัยสำคัญ และมักจะระบุปัญหาที่ปรากฏให้เห็นมากเกินไป ในขณะที่ระบุความไม่สอดคล้องกันในเชิงแนวคิดที่ลึกซึ้งระหว่างผลิตภัณฑ์กับแบบจำลองทางความคิดของผู้ใช้งานน้อยเกินไป คุณภาพของผู้ประเมินมีผลต่อผลลัพธ์เป็นอย่างมาก วิธีการนี้จะดีได้ก็ต่อเมื่อผู้ที่นำไปใช้มีคุณภาพดีเท่านั้น

ด้วยเหตุผลเหล่านี้ การประเมินแบบฮิวริสติกจึงควรเข้าใจว่าเป็นส่วนเสริมของการทดสอบผู้ใช้มากกว่าการทดแทนการทดสอบผู้ใช้ ลำดับขั้นตอนที่ได้ผลดีคือ การให้ผู้เชี่ยวชาญตรวจสอบก่อน แก้ไขข้อผิดพลาดที่เห็นได้ชัด แล้วจึงนำเวอร์ชันที่ปรับปรุงแล้วไปให้ผู้ใช้จริงทดสอบ เพื่อไม่ให้เวลาในการทดสอบเสียไปกับปัญหาที่ผู้เชี่ยวชาญสามารถระบุได้ การทำในทางกลับกันจะทำให้เสียเวลาของผู้เข้าร่วมไปกับข้อบกพร่องที่ไม่ต้องทำการวิจัยเพื่อค้นพบ

การจัดระดับความรุนแรงสมควรได้รับความสนใจมากกว่าที่ได้รับอยู่เสมอ เพราะเป็นตัวกำหนดว่าผลลัพธ์นั้นสามารถนำไปใช้ได้หรือไม่ รายการปัญหา 40 ข้อที่ไม่มีการจัดลำดับความสำคัญนั้นยากต่อการดำเนินการ และมักจะได้รับการแก้ไขตามลำดับที่ง่ายที่สุด ซึ่งหมายความว่าปัญหาเล็กน้อยจะได้รับการแก้ไขในขณะที่ปัญหาที่ร้ายแรงยังคงอยู่ การจัดระดับปัญหาแต่ละข้อโดยพิจารณาจากจำนวนผู้ใช้ที่ได้รับผลกระทบ อุปสรรคที่เกิดขึ้น และความสามารถในการแก้ไขปัญหาเมื่อได้เรียนรู้แล้ว จะทำให้ได้ลำดับที่สอดคล้องกับผลกระทบทางธุรกิจ การเพิ่มการประมาณการความพยายามในการแก้ไขควบคู่ไปกับระดับความรุนแรง จะเปลี่ยนรายการนั้นให้กลายเป็นแผนงาน โดยแยกรายการที่มีความรุนแรงสูงแต่ใช้ความพยายามน้อย ซึ่งควรได้รับการแก้ไขทันที ออกจากรายการที่มีความรุนแรงสูงแต่ใช้ความพยายามมาก ซึ่งจำเป็นต้องบรรจุไว้ในแผนงาน

เนื่องจากผลลัพธ์ที่ได้คือรายการข้อบกพร่องที่จัดลำดับความสำคัญพร้อมระดับความรุนแรง จึงสามารถเชื่อมโยงโดยตรงกับรายการงานแก้ไข ซึ่งเป็นเหตุผลว่าทำไมจึงเป็นแกนหลักของระบบส่วนใหญ่ การตรวจสอบ UX ผลการค้นพบมักจะแยกออกเป็นสองส่วน คือ ส่วนที่สามารถแก้ไขได้ทันทีโดยไม่ต้องตรวจสอบความถูกต้อง เนื่องจากพฤติกรรมปัจจุบันนั้นมีข้อบกพร่อง และส่วนที่แสดงถึงทางเลือกในการออกแบบที่ควรค่าแก่การทดสอบ ซึ่งจะถูกบันทึกไว้ในรายการรอการทดลองต่อไป บริการ CRO วางแผนและดำเนินการตามแผนมากกว่าที่จะอาศัยเพียงดุลยพินิจของผู้เชี่ยวชาญเพียงอย่างเดียว