Bốn cách để xác định quy mô một nghiên cứu khả năng sử dụng, và khi nào quy tắc năm người dùng không còn hiệu lực.

Một người trong nhóm của bạn nói rằng năm người dùng là đủ. Họ đang trích dẫn một mô hình từ năm 1993, và họ không nêu rõ các tham số của nó. Trong nghiên cứu năm 2003 của Laura Faulkner, việc chọn ngẫu nhiên năm người tham gia từ một nhóm 60 người đã tìm thấy từ 55% đến 99% các vấn đề đã biết trong cùng một giao diện, với cùng các nhiệm vụ và cùng một người điều hành. Con số bạn nhận được phụ thuộc vào người tham gia thực sự.

Hướng dẫn này dành cho các nhà nghiên cứu, quản lý sản phẩm và trưởng nhóm CRO (Tổ chức nghiên cứu hợp đồng) cần phải bảo vệ số lượng người tham gia tuyển chọn trước khi bắt đầu một nghiên cứu. Sau khi đọc xong, bạn sẽ có thể chọn một trong bốn phương pháp xác định cỡ mẫu, nêu rõ giả định mà phương pháp đó dựa trên, và cho biết con số đó mang lại cho bạn mức độ bao phủ vấn đề như thế nào. Hướng dẫn này sẽ không khuyên bạn nên thử nghiệm trên nhiều người hơn. Nó sẽ cho bạn biết khi nào con số năm là một câu trả lời có thể bảo vệ được và khi nào đó chỉ là một phỏng đoán.

Con số năm người dùng xuất phát từ đâu?

Nielsen và Landauer đã mô hình hóa quá trình phát hiện vấn đề như sau: N x (1 - (1 - p)^n): với N các vấn đề trong thiết kế, p xác suất mà bất kỳ người tham gia nào gặp phải một vấn đề nhất định, và n Thưa các thành viên, tỷ lệ các vấn đề mà các bạn gặp phải là bao nhiêu? 1 - (1 - p)^nHọ đo được giá trị p trung bình là 0.31 trên toàn bộ tập dữ liệu. Ở mức p = 0.31, năm người tham gia đạt được độ bao phủ 84.4%. Đó là nguồn gốc của câu nói "năm người dùng tìm ra 85% vấn đề".

Có hai điều bị bỏ sót trong cách kể lại. Thứ nhất, việc làm tròn: ở p = 0.31, bạn cần sáu người tham gia để đạt được 85%, chứ không phải năm. Thứ hai, và quan trọng hơn, p không phải là hằng số tự nhiên. Virzi đo được 0.32, Lewis đo được 0.16 trên một hệ thống khác, và Spool và Schroeder vẫn phát hiện ra những vấn đề nghiêm trọng xuất hiện sau khi hàng chục người tham gia thực hiện các nhiệm vụ thương mại điện tử mở. Phiên bản trung thực của tuyên bố này có điều kiện. Đây là những gì năm, mười và hai mươi người tham gia tìm thấy ở bốn tỷ lệ xảy ra vấn đề:

Hãy đọc hàng cuối cùng trước cuộc họp lập kế hoạch tiếp theo của bạn. Những vấn đề khiến quầy thanh toán bị sập thường không phải là những vấn đề mà bốn trong năm người vấp phải. Những vấn đề đó đã được khắc phục từ nhiều năm trước rồi.

Phương pháp 1: cố định năm lần, lặp lại thường xuyên

Thử nghiệm với năm người tham gia, sửa lỗi tìm thấy, rồi thử nghiệm thêm năm người nữa ở phiên bản tiếp theo. Luận điểm của Nielsen chưa bao giờ là năm người tham gia là đủ về mặt thống kê. Luận điểm của ông là người dùng cận biên có giá trị thấp hơn người dùng trung bình. nghiên cứu.

Sử dụng khi: Bạn đang liên tục cải tiến một thiết kế vẫn đang thay đổi hàng tuần, giao diện còn khá mới nên hầu hết các vấn đề đều phổ biến (p cao), và bạn thực sự có thể phát hành các bản sửa lỗi giữa các vòng cải tiến.

Nó bị lỗi khi: Nghiên cứu này là một cuộc kiểm toán một lần duy nhất mà bạn sẽ không lặp lại, kết quả sẽ được chuyển đến các bên liên quan, những người sẽ coi "chúng tôi không tìm thấy thêm vấn đề nào khác" là bằng chứng về chất lượng, hoặc sản phẩm đã hoàn thiện và các vấn đề còn lại là hiếm gặp theo định nghĩa.

Phương pháp 2: xác định kích thước từ mục tiêu khám phá

Đảo ngược mô hình. Chọn độ phủ bạn cần (P) và tỷ lệ xuất hiện bạn mong đợi (p), sau đó giải. n = ln(1 - P) / ln(1 - p).

Sử dụng khi: Nghiên cứu này có mục đích tuân thủ, pháp lý hoặc chuẩn bị cho việc ra mắt sản phẩm và bạn cần nêu rõ phạm vi bao phủ bằng văn bản, hoặc khi bạn đang tìm kiếm một loại lỗi tần suất thấp cụ thể như đường dẫn phục hồi lỗi.

Nó bị lỗi khi: Bạn không có cơ sở nào cho p. Việc chọn 0.31 chỉ vì đó là giá trị trung bình được công bố cũng giống như việc chọn số năm, khoác lên mình một công thức như một bộ trang phục.

Phương pháp 3: ước tính p từ vòng đầu tiên của bạn, sau đó điều chỉnh kích thước.

Đây là phương pháp mặc định mà chúng tôi sử dụng, vì nó thay thế dự đoán bằng dữ liệu của chính bạn.

1. Tiến hành vòng thử nghiệm đầu tiên với năm người. Ghi lại mọi vấn đề khác nhau và đánh dấu những người tham gia nào giải quyết được.
2. Tính giá trị p quan sát được bằng cách lấy trung bình cộng của (số người tham gia giải quyết vấn đề / số người tham gia hoàn thành) trên tất cả các vấn đề khác nhau.
3. Giảm bớt giá trị đó. Các mẫu ban đầu nhỏ thường đánh giá quá cao p, bởi vì những vấn đề chỉ có một người gặp phải là những vấn đề mà bạn chưa gặp. Hertzum và Jacobsen đã ghi nhận sự thổi phồng này. Một cách khắc phục thiết thực là loại bỏ những vấn đề mà chỉ một người tham gia gặp phải khỏi tử số khi ước tính lại.
4. Nhập giá trị p đã điều chỉnh vào bảng trên với mục tiêu độ phủ của bạn và tuyển dụng số lượng người chênh lệch.

Các điểm cần cân nhắc: nếu hệ số p giảm xuống trên 0.25, hãy dừng lại ở mức 5 đến 8 người tham gia và dành phần ngân sách còn lại cho một nghiên cứu thứ hai về một quy trình khác. Nếu hệ số p nằm giữa 0.10 và 0.25, hãy mở rộng lên 12 đến 18 người tham gia. Nếu hệ số p dưới 0.10, có lẽ nhiệm vụ của bạn quá mở hoặc phân khúc quá rộng, và việc thêm người tham gia sẽ không khắc phục được vấn đề. Hãy xem xét lại phạm vi trước khi tuyển thêm người tham gia.

Nó bị lỗi khi: Bạn không thể tuyển người tham gia từng bước một, hoặc nghiên cứu được điều hành bởi những người khác nhau qua các vòng, điều này làm thay đổi những gì được ghi nhận là một vấn đề riêng biệt.

Phương pháp 4: phân loại theo kích thước dựa trên phân đoạn hành vi

Mô hình này giả định chỉ có một nhóm dân số. Hầu hết các sản phẩm trong khu vực này không có nhóm dân số duy nhất. Một nhà bán lẻ Thổ Nhĩ Kỳ bán hàng trong nước, xuyên biên giới sang EU và vùng Vịnh có ít nhất ba nhóm khách hàng với các mô hình tư duy khác nhau, kỳ vọng thanh toán khác nhau, và trong trường hợp vùng Vịnh là giao diện từ phải sang trái. Hướng dẫn của Nielsen ở đây là 3 đến 4 người tham gia mỗi nhóm đối với hai nhóm, và 3 người mỗi nhóm đối với ba nhóm trở lên. Đó là mức tối thiểu, không phải mục tiêu, và điều đó có nghĩa là một "nghiên cứu năm người dùng" trên ba phân khúc thực chất là ba nghiên cứu thiếu tính hiệu quả.

Hai quy tắc đáng áp dụng trước khi viết bản phỏng vấn sơ tuyển:

• Phân khúc dựa trên hành vi, không phải dựa trên đặc điểm nhân khẩu học. Người mua nhà lần đầu và người mua nhà nhiều lần gặp phải những vấn đề khác nhau. Độ tuổi 25-34 và 35-44 thường không gặp phải vấn đề tương tự.
• Nếu bạn bán hàng vào thị trường EU, hãy xem người dùng công nghệ hỗ trợ là một phân khúc riêng biệt. Đạo luật về khả năng tiếp cận của châu Âu đã được áp dụng cho các dịch vụ thương mại điện tử hướng đến người tiêu dùng kể từ ngày 28 tháng 6 năm 2025, và một mẫu chỉ gồm những người nhìn thấy bình thường không thể cho bạn biết liệu bạn có tuân thủ hay không. Những người tham gia sử dụng trình đọc màn hình và chỉ sử dụng bàn phím sẽ gặp phải một loại vấn đề mà không có bất kỳ số lượng người tham gia nhìn thấy bình thường nào có thể phát hiện ra.

Phương pháp nào phù hợp với nghiên cứu của bạn?

Ví dụ đã làm việc

Ví dụ này chỉ mang tính minh họa, không phải là trường hợp khách hàng cụ thể. Giả sử bạn đang thực hiện nghiên cứu quy mô trang thanh toán cho một nhà bán lẻ thời trang tầm trung của Thổ Nhĩ Kỳ, chỉ phục vụ khách hàng nội địa, thiết kế lại đã được triển khai. Phương pháp 1 bị loại bỏ vì thiết kế đã được đưa vào sử dụng, và Phương pháp 2 cần ứng dụng mà bạn không có, vì vậy: Phương pháp 3 được thực hiện dựa trên Phương pháp 4.

Hai phân khúc hành vi, khách hàng thanh toán không đăng nhập và khách hàng mua lại đã đăng nhập, mỗi phân khúc gồm bốn người tham gia. Vòng một tạo ra 19 vấn đề khác nhau, trong đó 11 vấn đề chỉ được một người tham gia nhìn thấy. Giá trị p thô là 0.28; sau khi loại bỏ các trường hợp đơn lẻ khỏi tử số, giá trị này giảm xuống khoảng 0.17. Với mục tiêu độ phủ 90% và p = 0.17, bảng cho thấy cần 14 người tham gia. Bạn đã có 8 người, vì vậy bạn tuyển thêm 6 người nữa, ưu tiên cho phân khúc có kết quả ít rõ ràng hơn.

Tổng cộng: 14 người tham gia, có lý do bằng văn bản cho số lượng này. [INTERNAL DATA NEEDED: observed p values from Switas's own e-commerce checkout studies, to replace the illustrative 0.17 with a benchmark range by vertical.]

Điểm mấu chốt nằm ở đây.

Mô hình nhị thức giả định các vấn đề là độc lập và p ổn định giữa các người tham gia. Cả hai điều này đều không đúng. Một nhãn gây nhầm lẫn có thể dẫn đến ba lỗi tiếp theo, và một người tham gia thông thạo các mẫu giao diện người dùng trên thị trường sẽ gặp phải một tập hợp vấn đề khác so với người không thông thạo. Hãy coi các con số trên như công cụ lập kế hoạch, chứ không phải là phép đo. Woolrych, Cockton và Caulton đều lập luận rằng một giá trị p duy nhất không phản ánh chính xác một quần thể được tạo thành từ các nhóm nhỏ.

Hướng dẫn này cũng không bao gồm:

• So sánh định lượng. Nếu bạn muốn có tỷ lệ thành công nhiệm vụ kèm theo khoảng tin cậy, bạn đang trả lời một câu hỏi khác. Hãy lên kế hoạch với ít nhất 20 người tham gia, và nhiều hơn nếu khoảng thời gian giữa các lần đo ngắn.
• Phân loại thẻ và kiểm tra cây. Nielsen đề xuất ít nhất 15 người dùng cho mỗi nhóm. Phương pháp tính toán để phát hiện vấn đề không áp dụng trong trường hợp này.
• Theo dõi ánh mắt. Khoảng 39 người tham gia để tạo bản đồ nhiệt ổn định.
• Thử nghiệm A/B. Kích thước mẫu ở đó có sức mạnh thống kê đối với một chỉ số chuyển đổi, chứ không phải để phát hiện vấn đề. Công thức khác nhau, logic khác nhau.

Một hạn chế nữa đáng được đề cập: thiết kế nhiệm vụ đưa p đi xa hơn n. Năm người tham gia vào một nhiệm vụ rõ ràng, thực tế sẽ tìm ra nhiều thông tin hơn mười hai người tham gia vào một nhiệm vụ mơ hồ. Nếu cuộc thảo luận về quy mô của bạn dài hơn cuộc thảo luận về việc viết nhiệm vụ, thì tỷ lệ đó không đúng.

FAQ

Quy tắc năm người dùng có sai không?
Không, điều đó phụ thuộc vào điều kiện. Nó chỉ đúng khi tỷ lệ xảy ra sự cố gần 0.31 và mục tiêu độ phủ gần 85%. Ngoài những điều kiện đó, nó hoạt động kém hiệu quả hơn mong đợi, và không có điều gì trong công trình nghiên cứu gốc khẳng định điều ngược lại.

Làm sao tôi có thể ước tính p trước khi chạy bất kỳ chương trình nào?
Hầu hết các trường hợp đều không thể, đó là lý do tại sao Phương pháp 3 tồn tại. Nếu bạn bắt buộc phải đoán, hãy sử dụng 0.30 cho giao diện mới hoặc đã thay đổi nhiều và 0.15 cho giao diện đã hoàn thiện, sau đó điều chỉnh lại sau vòng đầu tiên.

Việc kiểm tra có người hướng dẫn so với kiểm tra không có người hướng dẫn có làm thay đổi kết quả không?
Không phải vấn đề toán học, nhưng nó thay đổi những gì được coi là vấn đề. Các phiên thảo luận không được điều phối thường bỏ sót nguyên nhân dẫn đến thất bại, điều này làm tăng số lượng các vấn đề khác nhau và làm giảm giá trị p quan sát được.

Nếu tôi chỉ có thể tuyển được năm người thì sao?
Hãy thực hiện năm lần thử nghiệm và báo cáo mức độ bao phủ một cách trung thực, thay vì chỉ báo cáo danh sách vấn đề là đã hoàn tất. Hãy cho biết những phân đoạn nào bạn chưa bao phủ. Một nghiên cứu quy mô nhỏ với những hạn chế đã nêu rõ là hữu ích; một nghiên cứu quy mô nhỏ nhưng được trình bày là toàn diện thì không.

Tôi có cần thêm người tham gia cho việc kiểm tra khả năng tiếp cận không?
Bạn cần những người tham gia khác nhau. Người dùng công nghệ hỗ trợ là một phân khúc hành vi riêng biệt với số lượng tối thiểu từ 3 đến 4 người, chứ không phải là phần bổ sung cho một mẫu hiện có.

Liệu những người tham gia ảo do trí tuệ nhân tạo tạo ra có thể thay thế một phần mẫu nghiên cứu này không?
Họ có thể giúp bạn luyện tập các nhiệm vụ và bài kiểm tra sàng lọc. Họ không thể đưa ra tỷ lệ xảy ra vấn đề, bởi vì p là một thuộc tính của hành vi thực tế trong một quần thể thực. Đừng đưa các phiên giả lập vào mẫu số.

Liệu công thức tính toán tương tự có áp dụng cho các sản phẩm B2B hoặc sản phẩm dành cho khu vực công?
Về mặt toán học thì đúng, nhưng khâu tuyển dụng thì không. Các phân khúc B2B hẹp và khu vực công thường chỉ giới hạn ở sáu hoặc tám người tham gia có thể tiếp cận được, trong trường hợp đó, hãy nêu rõ giới hạn này như một hạn chế của nghiên cứu chứ không phải giả vờ rằng con số đó được lựa chọn ngẫu nhiên.

Hãy áp dụng điều này vào nghiên cứu tiếp theo của bạn.

Hãy xem xét nghiên cứu mà bạn sắp trình bày tóm tắt, ghi rõ phương pháp nào trong bốn phương pháp bạn đang sử dụng và giá trị p bạn đang giả định, rồi đưa cả hai vào kế hoạch nghiên cứu. Nếu cả hai đều không được ghi lại, đó chính là kết quả nghiên cứu. Nếu bạn muốn việc xác định cỡ mẫu, sàng lọc và thiết kế phân đoạn được thực hiện hộ bạn, Hãy trao đổi với Switas về vòng nghiên cứu tiếp theo của bạn..

nguồn

• Nielsen, J. và Landauer, TK (1993). Một mô hình toán học về việc tìm ra các vấn đề về khả năng sử dụng. INTERCHI '93, 206-213.
• Faulkner, L. (2003). Vượt ra ngoài giả định năm người dùng: lợi ích của việc tăng kích thước mẫu trong thử nghiệm khả năng sử dụng. Phương pháp nghiên cứu hành vi, công cụ và máy tính, 35(3), 379-383.
• Spool, J. và Schroeder, W. (2001). Kiểm thử trang web: năm người dùng là chưa đủ. Tóm tắt mở rộng CHI '01.
• Sauro, J. Lịch sử ngắn gọn về con số kỳ diệu 5 trong kiểm thử khả năng sử dụng. MeasuringU.
• Sauro, J. Kích thước mẫu cho các nghiên cứu về khả năng sử dụng: một kích thước không phù hợp với tất cả. MeasuringU.
• Nielsen, J. Tại sao bạn chỉ cần thử nghiệm với 5 người dùng. Nielsen Norman Group.
• Nielsen, J. Cần bao nhiêu người dùng thử nghiệm trong một nghiên cứu về khả năng sử dụng? Nielsen Norman Group.
• Chỉ thị (EU) 2019/882 về các yêu cầu về khả năng tiếp cận đối với sản phẩm và dịch vụ (Đạo luật về khả năng tiếp cận của châu Âu), tóm tắt EUR-Lex.