การทดสอบการใช้งาน (usability testing) คือวิธีการวิจัยที่ผู้ใช้จริงหรือตัวแทนของผู้ใช้พยายามทำงานเฉพาะอย่างให้สำเร็จโดยใช้ผลิตภัณฑ์ โปรโตไทป์ หรือเว็บไซต์ ขณะที่ผู้สังเกตการณ์บันทึกว่าพวกเขาทำสำเร็จที่ใด ติดขัดที่ใด และอธิบายประสบการณ์ของตนอย่างไร โดยทั่วไปด้วยการพูดความคิดออกมาขณะทำงาน (think aloud) ต่างจากแบบสำรวจหรือข้อมูลวิเคราะห์ที่รายงานสิ่งที่ผู้ใช้ทำหรือพูดภายหลัง การทดสอบการใช้งานสังเกตพฤติกรรมโดยตรงและในบริบท ทำให้เป็นหนึ่งในวิธีที่ตรงที่สุดในการระบุว่าอินเทอร์เฟซเข้าใจและใช้งานง่ายอย่างแท้จริงหรือไม่ แทนที่จะเป็นเพียงสิ่งที่ทีมผู้สร้างสันนิษฐานว่าเป็นเช่นนั้น
วิธีนี้สำคัญเพราะปัญหาของอินเทอร์เฟซที่มองไม่เห็นสำหรับผู้ออกแบบมักเห็นได้ชัดสำหรับผู้ใช้ครั้งแรก ช่องว่างที่มักอธิบายด้วยคำสาปของความรู้ (curse of knowledge) ซึ่งนักออกแบบและผู้มีส่วนได้ส่วนเสียที่คุ้นเคยกับผลิตภัณฑ์อย่างลึกซึ้งยากที่จะสังเกตเห็นความกำกวมที่ผู้ใช้ใหม่พบทันที งานวิจัยด้านการใช้งานที่ถูกอ้างอิงอย่างกว้างขวางพบว่าการทดสอบกับผู้เข้าร่วมเพียงห้าคนมักค้นพบปัญหาการใช้งานส่วนใหญ่ที่มีอยู่ในอินเทอร์เฟซหนึ่ง ๆ ซึ่งมักอ้างว่าประมาณ 85 เปอร์เซ็นต์ ซึ่งเป็นเหตุผลที่การทดสอบการใช้งานมักทำเป็นรอบเล็ก ๆ ที่วนซ้ำกับผู้เข้าร่วมจำนวนน้อย แทนที่จะเป็นการศึกษาขนาดใหญ่ ช่วยให้ทีมทดสอบ แก้ไข และทดสอบซ้ำได้อย่างรวดเร็ว แทนที่จะรอเก็บตัวอย่างขนาดใหญ่ก่อนทำการเปลี่ยนแปลงใด ๆ
การทดสอบการใช้งานดำเนินการได้หลายรูปแบบ ได้แก่ การทดสอบแบบมีผู้ดำเนินการ (moderated) ซึ่งผู้อำนวยการนำผู้เข้าร่วมทำงานแบบเรียลไทม์ ทั้งแบบพบหน้าหรือผ่านวิดีโอ และสามารถถามคำถามติดตามเพื่อชี้แจงช่วงที่สับสน การทดสอบระยะไกลแบบไม่มีผู้ดำเนินการ (unmoderated) ซึ่งผู้เข้าร่วมทำงานด้วยตนเองผ่านแพลตฟอร์มทดสอบ โดยบันทึกหน้าจอและเสียงไว้ทบทวนภายหลัง ให้การเก็บข้อมูลที่เร็วกว่าและถูกกว่า แต่แลกกับการไม่สามารถสอบถามปฏิกิริยาในขณะนั้นได้ และการทดสอบแบบเกอริลลา (guerrilla testing) ซึ่งเป็นแนวทางไม่เป็นทางการที่ต้นทุนต่ำในการเก็บฟีดแบ็กอย่างรวดเร็วจากผู้เข้าร่วมที่หาได้ เช่น เพื่อนร่วมงานหรือผู้ผ่านไปมา เป็นประโยชน์สำหรับการตรวจสอบในระยะเริ่มต้นเมื่อยังไม่จำเป็นต้องทำการศึกษาเต็มรูปแบบ โดยทั่วไปเซสชันทดสอบจะจัดโครงสร้างรอบสถานการณ์งานที่เฉพาะเจาะจงและสมจริง แทนการสำรวจแบบปลายเปิด และประเมินความสำเร็จด้วยมาตรวัด เช่น อัตราการทำงานสำเร็จ เวลาที่ใช้ต่องาน จำนวนข้อผิดพลาด และคะแนนความง่ายในการใช้งานเชิงอัตวิสัยของผู้เข้าร่วม ซึ่งมักเก็บผ่านเครื่องมือมาตรฐาน เช่น System Usability Scale
ความเข้าใจผิดที่พบบ่อยคือการคิดว่าการทดสอบการใช้งานและการทดสอบ A/B มีวัตถุประสงค์เดียวกัน ทั้งที่จริงตอบคำถามต่างกันในขั้นตอนที่ต่างกัน การทดสอบการใช้งานระบุว่าเหตุใดผู้ใช้จึงติดขัดกับอินเทอร์เฟซก่อนที่จะสร้างหรือเปิดตัวอย่างกว้างขวาง โดยทั่วไปบนโปรโตไทป์หรือการออกแบบที่ใช้งานจริงแล้วแต่ยังไม่ผ่านการตรวจสอบ ในขณะที่การทดสอบ A/B วัดว่าตัวแปรหลายแบบที่สร้างเสร็จแล้วตัวใดให้ผลดีกว่าในวงกว้างเมื่อมีทราฟฟิก ข้อผิดพลาดที่พบบ่อยในการทดสอบการใช้งานเองคือการคัดเลือกผู้เข้าร่วมที่ไม่เป็นตัวแทนของกลุ่มเป้าหมายจริง เช่น การทดสอบเวิร์กโฟลว์ซอฟต์แวร์องค์กรกับผู้เข้าร่วมที่ไม่คุ้นเคยกับกระบวนการทางธุรกิจเบื้องหลัง ซึ่งให้จุดเสียดทานที่ทำให้เข้าใจผิดซึ่งจะไม่ปรากฏกับผู้ใช้กลุ่มเป้าหมายจริง การชี้นำผู้เข้าร่วมด้วยคำใบ้หรือคำแนะนำระหว่างเซสชัน แทนที่จะปล่อยให้พวกเขาติดขัดและสังเกตความติดขัดนั้นอย่างตรงไปตรงมา เป็นอีกข้อผิดพลาดทั่วไปที่บั่นทอนความถูกต้องของผลการค้นพบ
ในงานที่ปรึกษาด้าน CRO และ UX การทดสอบการใช้งานมักใช้ทั้งเชิงวินิจฉัย เพื่อทำความเข้าใจว่าเหตุใดโฟลว์ที่มีอยู่จึงทำงานต่ำกว่าที่ควร และเชิงตรวจสอบก่อนเปิดตัวการออกแบบใหม่อย่างกว้างขวาง โดยทดสอบโปรโตไทป์ใหม่กับกลุ่มผู้ใช้ตัวแทนกลุ่มเล็กเพื่อจับปัญหาการใช้งานสำคัญก่อนที่จะผูกพันทรัพยากรการพัฒนาและการทดสอบกับการทดสอบ A/B เต็มรูปแบบ ผลการค้นพบจากการทดสอบการใช้งานมักถูกสังเคราะห์เป็นรายการปัญหาที่จัดลำดับความสำคัญ โดยมักเรียงตามความรุนแรงและจำนวนผู้เข้าร่วมที่พบแต่ละปัญหา ซึ่งจากนั้นป้อนตรงเข้าสู่การเปลี่ยนแปลงการออกแบบหรือสมมติฐานการทดลองที่ประกอบเป็นแผนงานการเพิ่มประสิทธิภาพที่กว้างขึ้นของลูกค้า
ตัวอย่างที่เป็นรูปธรรมแสดงประสิทธิภาพของวิธีนี้ ทีมที่ทดสอบหน้าการตั้งค่าบัญชีที่ออกแบบใหม่กับผู้เข้าร่วมห้าคนอาจสังเกตว่าสี่ในห้าคนหาตัวเลือกเปลี่ยนการตั้งค่าการแจ้งเตือนไม่พบ โดยแต่ละคนค้นหาในตำแหน่งที่ผิดที่เดียวกันภายในอินเทอร์เฟซอย่างเป็นอิสระต่อกัน ข้อค้นพบเดียวที่สอดคล้องกันสูงนี้ ซึ่งได้จากการทดสอบรอบเล็กที่ต้นทุนต่ำ มักเพียงพอเป็นเหตุผลในการย้ายการตั้งค่าก่อนเปิดตัว โดยไม่ต้องทำการศึกษาที่ใหญ่และใช้เวลานานกว่าเพื่อยืนยันสิ่งที่สังเกตแล้วว่าล้มเหลวอย่างต่อเนื่องและซ้ำ ๆ กับผู้เข้าร่วมเกือบทุกคนที่ทดสอบ
