Hầu hết các nhóm chọn phương pháp kiểm thử khả năng sử dụng dựa trên ngân sách hoặc thói quen, sau đó phát hiện ra rằng các buổi kiểm thử không thể trả lời câu hỏi đã thúc đẩy họ lựa chọn. Phương pháp không phải là vấn đề sở thích; nó được quyết định bởi quyết định mà bạn đang cố gắng đưa ra. Hướng dẫn này cung cấp cho bạn cách tiếp cận ưu tiên quyết định để lựa chọn giữa kiểm thử có người điều phối, không có người điều phối và không đồng bộ: quy mô mẫu mà mỗi phương pháp hỗ trợ, chi phí và thực tế về chất lượng dữ liệu của mỗi phương pháp, và các quy tắc chuyển giao dữ liệu hạn chế sự lựa chọn ở Thổ Nhĩ Kỳ và EU. Hướng dẫn này dành cho các nhóm sản phẩm, UX và CRO, những người thực hiện một vài nghiên cứu mỗi năm và không thể lãng phí bất kỳ nghiên cứu nào. Trước tiên, một con số hiệu chỉnh: trong nghiên cứu năm 2003 của Laura Faulkner, các mẫu ngẫu nhiên gồm năm người dùng đã tìm thấy trung bình 85.5% các vấn đề đã biết, nhưng mẫu năm người dùng tệ nhất chỉ tìm thấy 55%.
Ba phương pháp này được định nghĩa đủ chính xác để có thể so sánh.
Đã được kiểm duyệt. Nhà nghiên cứu và người tham gia cùng tham gia buổi nghiên cứu, trực tiếp hoặc qua điện thoại. Nhà nghiên cứu đặt ra nhiệm vụ, quan sát và đặt câu hỏi. Kết quả: hành vi quan sát được kèm theo lời giải thích.
Không qua kiểm duyệt, đã được ghi âm. Người tham gia thực hiện một mình một loạt nhiệm vụ được lập trình sẵn trong khi một nền tảng ghi lại màn hình, các cú nhấp chuột và thường cả âm thanh. Một nhà nghiên cứu sẽ phân tích các bản ghi này sau đó. Kết quả đầu ra: hành vi không có lời giải thích.
Tự báo cáo không đồng bộ. Người tham gia làm việc một mình và ghi lại những gì đã xảy ra sai sót — một dạng nhật ký nghiên cứu, một biểu mẫu phản hồi, một bài tập được ghi chú. Không có bản ghi nào được phân tích. Kết quả đầu ra: chính là lời kể của người tham gia.
Việc gộp ba yếu tố này thành "được kiểm duyệt so với không được kiểm duyệt" là cách mà một con số được lặp đi lặp lại rộng rãi bị áp dụng sai. Phát hiện cho thấy người dùng báo cáo khoảng một nửa số vấn đề mà một nhà nghiên cứu được đào tạo quan sát được xuất phát từ... nghiên cứu tự báo cáoTrong đó, người tham gia tự ghi lại các vấn đề. Đó là sự thật về báo cáo tự đánh giá không đồng bộ, chứ không phải về các phiên ghi âm không được điều phối và được nhà nghiên cứu phân tích. Khi ai đó nói rằng phương pháp không được điều phối tìm ra một nửa số vấn đề, hãy hỏi họ đang nói đến loại vấn đề nào trong hai loại đó.
Hãy bắt đầu từ quyết định, chứ không phải từ phương pháp.
Hãy viết ra câu mà bạn muốn có thể nói sau khi hoàn thành việc học, rồi tìm dòng tương ứng.
| Quyết định bạn cần đưa ra là đóng cửa | Bằng chứng kết luận điều đó. | Phương pháp |
|---|---|---|
| Tại sao mọi người lại bỏ cuộc ở bước này? | Hành vi cộng với lý do đằng sau nó | Quản lý |
| Liệu người ta đã hiểu được khái niệm này chưa? | Khả năng hiểu được kiểm tra thông qua chính lời lẽ của người dùng. | Quản lý |
| Liệu tính năng này có hoạt động với trình đọc màn hình không? | Quan sát việc sử dụng bởi những người dùng hàng ngày. | Quản lý |
| Liệu mọi người có thể hoàn thành nhiệm vụ X mà không cần trợ giúp không? | Tỷ lệ hoàn thành kèm theo khoảng tin cậy | Không qua kiểm duyệt, đã được ghi âm. |
| Bố cục nào ít gây ra lỗi hơn? | Một thước đo so sánh ở kích thước mẫu đủ lớn để phân biệt chúng. | Không qua kiểm duyệt, đã được ghi âm. |
| Một tuần sử dụng thực tế sẽ như thế nào? | Các mục nhập lặp lại qua nhiều ngày | Nhật ký không đồng bộ |
| Thay đổi nào giúp chúng ta kiếm được nhiều tiền hơn? | Thử nghiệm trực tiếp trên lưu lượng giao thông thực tế | Không có đáp án nào trong ba đáp án trên — hãy chạy thử nghiệm A/B. |
Hàng cuối cùng quan trọng hơn vẻ bề ngoài của nó. Kiểm tra khả năng sử dụng cho bạn biết liệu giao diện có thể được sử dụng hay không và nó có vấn đề ở đâu, chứ không phải là tác động doanh thu của một thay đổi. Một nghiên cứu với năm người được yêu cầu giải quyết một câu hỏi về chỉ số kinh doanh là công cụ không phù hợp, và câu trả lời của nó sẽ không vượt qua được giai đoạn sàng lọc.
Bài kiểm tra sàng lọc bốn câu hỏi
Nếu bảng không chứa câu hỏi của bạn, hãy chạy các câu hỏi này theo thứ tự. Câu trả lời "có" đầu tiên sẽ quyết định kết quả.
- Bạn có cần phải hỏi "tại sao" trong khi điều đó đang xảy ra không? Đã được kiểm duyệt. Bạn không thể gắn thêm đầu dò vào bản ghi âm sau khi đã ghi xong.
- Người tham gia có cần thông tin đăng nhập, môi trường thử nghiệm, công nghệ hỗ trợ hoặc thiết bị do bạn cung cấp không? Được kiểm duyệt. Các nền tảng không được kiểm duyệt xử lý tốt môi trường công khai nhưng lại hoạt động kém hiệu quả trong môi trường khép kín.
- Bạn có cần một con số kèm theo khoảng tin cậy không? Không có người điều phối. Tám phiên có người điều phối tạo ra tỷ lệ hoàn thành với khoảng cách quá lớn đến mức không thể phân biệt được 50% với 90%.
- Hành vi đó có diễn ra trong nhiều hơn một lần ngồi không? Không đồng bộ. Quá trình hướng dẫn nhân viên mới kéo dài cả tuần, hoặc một đặt chỗ bị hủy bỏ rồi được tiếp tục, sẽ không phù hợp với một phiên 60 phút.
Kích thước mẫu: mỗi phương pháp có thể hỗ trợ được bao nhiêu.
Quy tắc "năm người dùng là đủ" xuất phát từ... Bài báo năm 2000 của Jakob Nielsen và chỉ đúng ở mức trung bình, đối với việc phát hiện vấn đề, trong một quy trình duy nhất. Faulkner đã cho 60 người tham gia sử dụng ứng dụng chấm công, lập danh mục 45 vấn đề, sau đó lấy mẫu ngẫu nhiên 100 nhóm ở mỗi quy mô. Sự phân tán là điều mà mọi người thường quên.
| Người dùng | Tỷ lệ phần trăm trung bình các vấn đề được tìm thấy | Mẫu tệ nhất trong 100 lần rút thăm. |
|---|---|---|
| 5 | 85.5% | 55% |
| 10 | 94.7% | 82% |
| 20 | 98.4% | 95% |
| 30 | 99.0% | 97% |
| 50 | 100% | 98% |
Hãy xem đây là một bản cảnh báo rủi ro, chứ không phải là mục tiêu. Thông thường, năm phiên sẽ giúp phát hiện hầu hết các vấn đề, và chỉ khoảng một trong hai mươi lần chạy khiến bạn tin rằng một quy trình bị lỗi vẫn ổn — chấp nhận được đối với bản nguyên mẫu, nhưng lại tệ đối với bản kiểm tra mà bạn sắp triển khai. Phân bổ thời gian làm việc của chúng tôi: 5 đến 8 phiên có người điều phối để tìm ra vấn đề trên một quy trình duy nhất, 10 đến 12 phiên khi quy trình phân nhánh theo phân khúc hoặc thiết bị, 30 phiên trở lên không có người điều phối khi sản phẩm đầu ra là tỷ lệ lỗi chứ không phải danh sách vấn đề.
Chi phí và tiến độ: tiền thực sự được chi vào đâu
Chi phí được kiểm soát chủ yếu là do lịch trình của nhà nghiên cứu — lên lịch, người tham gia vắng mặt, buổi nghiên cứu, rồi đến phân tích. Chi phí không được kiểm soát chủ yếu là do tuyển dụng quá nhiều người tham gia, vì bạn phải trả tiền cho những người tham gia bị loại bỏ, và tỷ lệ loại bỏ này cao hơn hầu hết các dự toán.
Trong một So sánh năm nền tảng nghiên cứu của PLOS ONE năm 2023 (N = 2,729), tỷ lệ người trả lời đáp ứng tiêu chuẩn chất lượng tổng hợp là 75.4% trên Prolific, 75.1% trên CloudResearch, 62.7% trên SONA, 59.1% trên Qualtrics và 54.2% trên MTurk, với chi phí cho mỗi người trả lời chất lượng cao dao động từ 1.90 đô la đến 8.17 đô la. Nghiên cứu năm 2026 về Chất lượng & Số lượng Phương pháp này khắt khe hơn: trong số 4,453 người tham gia đồng ý, chỉ có 15.97% được giữ lại sau quá trình sàng lọc, trong đó kiểm tra sự chú ý loại bỏ 27.13% và các câu hỏi phát hiện bot rõ ràng chỉ bắt được 3.48%.
Vì vậy, hãy tính toán quy mô các nghiên cứu không có người điều phối dựa trên số lượng cần phân tích, chia cho tỷ lệ duy trì dự kiến, và đưa ít nhất một câu hỏi mở và một bài kiểm tra sự chú ý vào mỗi kịch bản, bởi vì các bộ lọc tự động rẻ tiền không hiệu quả. Một phiên có người điều phối tự sàng lọc chính nó: một người tham gia cuộc gọi và nói chuyện với bạn trong 45 phút, dù thế nào đi nữa, cũng là một con người.
[CẦN DỮ LIỆU NỘI BỘ: Số ngày trung bình của Switas từ khi nhận được thông báo tuyển dụng đến khi hoàn thành phiên đầu tiên, và tỷ lệ loại bỏ người tham gia mà chúng tôi quan sát được trong các nghiên cứu không có người điều phối bằng tiếng Thổ Nhĩ Kỳ, để thay thế các số liệu chung của nền tảng ở trên.]
Lớp thông tin về Thổ Nhĩ Kỳ và EU có thể ghi đè lên lựa chọn của bạn.
Một nền tảng không được kiểm duyệt sẽ ghi lại màn hình của người tham gia, thường cả giọng nói và khuôn mặt của họ, và lưu trữ chúng trên cơ sở hạ tầng của nhà cung cấp, thường nằm ngoài Thổ Nhĩ Kỳ và thường xuyên nằm ngoài Khu vực Kinh tế Châu Âu (EEA). Đó là việc chuyển dữ liệu cá nhân ra nước ngoài, và kể từ ngày 1 tháng 6 năm 2024, luật pháp Thổ Nhĩ Kỳ quy định việc chuyển dữ liệu đó thông qua một bộ cơ chế cố định.
Luật 7499 (Công báo số 32487, ngày 12 tháng 3 năm 2024) đã sửa đổi Điều 9 của Luật 6698. Việc chuyển giao ra nước ngoài hiện nay cần có quyết định về tính đầy đủ hoặc một biện pháp bảo vệ được liệt kê: các quy tắc doanh nghiệp ràng buộc được phê duyệt trước, một hợp đồng tiêu chuẩn do Cơ quan có thẩm quyền công bố và thông báo cho Cơ quan đó, hoặc một cam kết riêng biệt được Cơ quan đó phê duyệt. Các căn cứ ngoại lệ, bao gồm cả sự đồng ý rõ ràng, được soạn thảo cho các chuyển giao ngẫu nhiên, không thường xuyên — mà một chương trình nghiên cứu thường trực không phải là loại hình này. Như vậy Trang riêng của cơ quan chức năng Theo hồ sơ, chưa có quốc gia nào được tuyên bố là đủ điều kiện, vì vậy trên thực tế, một nền tảng thử nghiệm nước ngoài hoạt động dựa trên một hợp đồng tiêu chuẩn mà ai đó phải ký và thông báo.
Nguyên tắc chúng tôi áp dụng: nếu nghiên cứu thu thập thông tin từ chính người tham gia, dữ liệu khách hàng thực tế hoặc thông tin thuộc danh mục đặc biệt — thường xuyên trong lĩnh vực y tế và khu vực công — thì các phiên được kiểm duyệt trên cơ sở hạ tầng do bạn kiểm soát sẽ là con đường tuân thủ ngắn hơn, ngay cả khi hình thức không kiểm duyệt rẻ hơn. Đối với một nguyên mẫu công khai và một nhiệm vụ tổng hợp, phương án sử dụng nền tảng là phù hợp. Người đọc bên ngoài Thổ Nhĩ Kỳ sẽ nhận ra cấu trúc này từ Chương V của GDPR, với một điểm khác biệt đáng chú ý: không có quyết định về tính đầy đủ nào có hiệu lực, vì vậy không có khuôn khổ kiểu EU-Mỹ nào để dựa vào.
Trước khi bạn đặt bất cứ thứ gì
- Câu kết luận đã được viết ra, và bạn có thể nêu tên phát hiện nào sẽ làm thay đổi câu kết luận đó.
- Phương pháp này được lấy từ bảng hoặc hình ảnh phía trên, chứ không phải từ đoạn mã bạn đã chạy lần trước.
- Kích thước mẫu được xác định dựa trên kết quả đầu ra: danh sách vấn đề hoặc tỷ lệ.
- Chỉ áp dụng cho hình thức không có người điều phối: số lượng mục tiêu (n) chia cho tỷ lệ ghi nhớ dự kiến; kịch bản có một câu hỏi mở và một bài kiểm tra sự chú ý.
- Chỉ có người điều phối: nhiệm vụ được viết sao cho người tham gia không cần giải thích; các câu hỏi gợi ý được chuẩn bị nhưng không mang tính dẫn dắt.
- Việc ghi nhận, địa điểm lưu trữ, thời hạn lưu giữ và cơ chế chuyển giao được thống nhất trước khi tuyển dụng.
- Ai đó nắm giữ lịch phân tích; các bản ghi âm chưa được phân tích là lý do tại sao các nghiên cứu không được kiểm duyệt lại không mang lại kết quả gì.
Điểm mấu chốt nằm ở đây.
Bảng của Faulkner xuất phát từ một ứng dụng chấm công với 45 vấn đề được liệt kê. Đường cong khám phá phụ thuộc vào xác suất trung bình một người tham gia gặp phải một vấn đề trung bình, và xác suất đó giảm đi trong một sản phẩm có nhiều luồng phân nhánh. Hãy coi bảng này như mức sàn cho một luồng đơn giản.
Hướng dẫn này không đề cập đến cơ chế tuyển dụng, kỹ thuật điều phối, chuyển đổi kết quả thành giả thuyết hoặc kiểm tra tuân thủ khả năng truy cập, vốn là một cuộc kiểm tra dựa trên các tiêu chí chứ không phải là một nghiên cứu về khả năng sử dụng.
Phỏng vấn có sự điều phối của AI hiện nằm giữa hình thức phỏng vấn có người điều phối và không có người điều phối, được quảng cáo là sự kết hợp của cả hai. Chúng tôi chưa thấy bằng chứng so sánh phương pháp nào được công bố đạt tiêu chuẩn như các nghiên cứu được trích dẫn ở đây. Cho đến khi có bằng chứng đó, hãy coi phiên phỏng vấn có sự điều phối của AI như một phiên thử nghiệm không có người điều phối với kịch bản tốt hơn, và đừng để nó đưa ra quyết định phụ thuộc vào kỹ năng đặt câu hỏi.
FAQ
Năm người tham gia liệu có đủ không? Trung bình, năm người tìm ra khoảng 85% vấn đề trong một quy trình duy nhất, nhưng mẫu tệ nhất trong số 100 mẫu năm người của Faulkner chỉ tìm ra 55%. Con số này có thể chấp nhận được đối với một nguyên mẫu, nhưng lại quá thấp đối với bất kỳ sản phẩm nào bạn sắp tung ra thị trường.
Tôi có thể tiến hành một nghiên cứu có người điều phối từ xa được không? Đúng vậy, và đối với hầu hết các công việc nghiên cứu sản phẩm, bạn nên làm như vậy. Việc điều phối tập trung vào sự hiện diện của nhà nghiên cứu, chứ không phải vào không gian xung quanh. Bạn sẽ mất đi bối cảnh môi trường nhưng lại tiếp cận được nhiều đối tượng hơn.
Tôi cần bao nhiêu người tham gia để đạt được tỷ lệ hoàn thành? Điều này vượt quá khả năng của một nghiên cứu có người điều chỉnh. Trước tiên, hãy xác định sự khác biệt bạn cần phát hiện — việc phân biệt 70% với 85% đòi hỏi một mẫu khác biệt rất nhiều so với việc phân biệt 30% với 80% — sau đó hãy tính toán quy mô mẫu và dự kiến sẽ loại bỏ một phần tư số người tham gia.
Liệu việc kiểm thử không có người điều phối có phát hiện ra ít vấn đề hơn so với kiểm thử có người điều phối? Các phiên thảo luận không có người điều phối được ghi âm và phân tích bởi một nhà nghiên cứu cho thấy một loạt các vấn đề về hành vi tương tự nhưng không có lời giải thích nào. Con số "một nửa số vấn đề" áp dụng cho các hình thức tự báo cáo mà không có ai theo dõi phiên thảo luận.
Chúng ta có cần sự đồng ý rõ ràng để ghi âm một buổi họp không? Dù chọn phương pháp nào, bạn cũng cần có cơ sở pháp lý và thông báo rõ ràng, và ở Thổ Nhĩ Kỳ, vấn đề chuyển giao ra nước ngoài là hoàn toàn riêng biệt với vấn đề ghi nhận.
Thời lượng của một bộ bài tập không có người điều phối nên là bao lâu? Thông thường, thời lượng từ 15 đến 20 phút. Kịch bản dài hơn sẽ làm tăng tỷ lệ bỏ cuộc và chỉ thưởng cho những người tham gia mà bạn muốn loại bỏ.
Làm việc với chúng tôi
Nếu quyết định đang chờ bằng chứng và bạn không chắc chắn yếu tố nào trong ba yếu tố này sẽ giải quyết được vấn đề, chúng tôi có thể cùng bạn lập kế hoạch nghiên cứu – phương pháp, cỡ mẫu, tuyển chọn đối tượng và các thủ tục giấy tờ chuyển giao dữ liệu. Xem thêm Dịch vụ nghiên cứu người dùng Switas.
nguồn
- Faulkner, L. (2003). Vượt ra ngoài giả định năm người dùng. Phương pháp nghiên cứu hành vi, 35(3), 379–383.
- Nielsen, J. (19 tháng 3 năm 2000). Tại sao bạn chỉ cần thử nghiệm với 5 người dùng?Tập đoàn Nielsen Norman.
- Đo U. Người dùng có thể tự báo cáo các vấn đề về khả năng sử dụng không? — tóm tắt Castillo (1998), Bruun et al. (2007), Andreasen và cộng sự. (2009).
- Douglas, Ewell & Brauer (14 tháng 3 năm 2023). Chất lượng dữ liệu trong nghiên cứu trực tuyến trên đối tượng con người.PLOS ONE.
- Đối phó với bot và dữ liệu xấu (11 tháng 4 năm 2026). Chất lượng & Số lượng, 60(4).
- Kişisel Verileri Koruma Kurumu, Yurt Dışına Aktarım — Điều 9 Luật 6698 được sửa đổi bởi Luật 7499 (OG 32487, ngày 12 tháng 3 năm 2024; có hiệu lực từ ngày 1 tháng 6 năm 2024).
