Seseorang di tim Anda mengatakan lima pengguna sudah cukup. Mereka mengutip model tahun 1993, dan mereka tidak mengutip parameternya. Dalam studi Laura Faulkner tahun 2003, pengambilan sampel acak lima peserta dari kumpulan 60 peserta menemukan antara 55% dan 99% dari masalah yang diketahui pada antarmuka yang sama, dengan tugas yang sama dan moderator yang sama. Jumlah yang Anda dapatkan bergantung pada siapa yang datang.
Panduan ini ditujukan untuk peneliti, manajer produk, dan pimpinan CRO yang harus mempertahankan jumlah peserta penelitian sebelum studi dimulai. Pada akhirnya, Anda akan dapat memilih salah satu dari empat metode penentuan ukuran sampel, menyatakan asumsi yang mendasarinya, dan menjelaskan apa yang Anda dapatkan dari jumlah tersebut dalam hal cakupan masalah. Panduan ini tidak akan menyarankan Anda untuk menguji lebih banyak orang. Panduan ini akan memberi tahu Anda kapan angka lima merupakan jawaban yang dapat dipertahankan dan kapan itu hanya perkiraan.
Dari mana angka lima pengguna itu berasal?
Nielsen dan Landauer memodelkan penemuan masalah sebagai N x (1 - (1 - p)^n): dengan N masalah dalam desain, p probabilitas bahwa setiap peserta akan mengenai masalah tertentu, dan n Para peserta, persentase masalah yang Anda temukan adalah 1 - (1 - p)^nMereka mengukur nilai p rata-rata sebesar 0.31 di seluruh kumpulan data mereka. Pada p = 0.31, lima peserta mencapai cakupan 84.4%. Dari situlah muncul pernyataan "lima pengguna menemukan 85% masalah".
Dua hal diabaikan dalam penyampaian ulang. Pertama, pembulatan: pada p = 0.31 Anda membutuhkan enam peserta untuk mencapai 85%, bukan lima. Kedua, dan yang lebih penting, p bukanlah konstanta alam. Virzi mengukur 0.32, Lewis mengukur 0.16 pada sistem yang berbeda, dan Spool dan Schroeder menemukan masalah serius yang masih muncul setelah puluhan peserta pada tugas e-commerce terbuka. Versi jujur dari klaim tersebut bersifat kondisional. Berikut adalah apa yang ditemukan oleh lima, sepuluh, dan dua puluh peserta pada empat tingkat kemunculan masalah:
| Tingkat kemunculan masalah (p) | Ditemukan dengan 5 | Ditemukan dengan 10 | Ditemukan dengan 20 |
|---|---|---|---|
| 0.31 (rata-rata Nielsen dan Landauer) | 84% | 98% | 99.9% |
| 0.16 (Lewis) | 58% | 83% | 97% |
| 0.10 (masalah yang jarang terjadi) | 41% | 65% | 88% |
| 0.05 (masalah langka dan sangat serius) | 23% | 40% | 64% |
Bacalah baris paling bawah sebelum rapat perencanaan Anda berikutnya. Masalah yang menggagalkan proses pembayaran biasanya bukanlah masalah yang membuat empat dari lima orang tersandung. Masalah-masalah itu sudah diperbaiki bertahun-tahun yang lalu.
Metode 1: lima langkah tetap, diulang sering
Jalankan dengan lima peserta, perbaiki apa yang Anda temukan, jalankan lima peserta lagi pada versi berikutnya. Argumen Nielsen bukanlah bahwa lima peserta secara statistik sudah cukup. Argumennya adalah bahwa pengguna marginal bernilai kurang dari pengguna marginal lainnya. belajar.
Gunakan saat: Anda sedang melakukan iterasi pada desain yang masih berubah setiap minggu, antarmuka cukup baru sehingga sebagian besar masalah bersifat umum (p tinggi), dan Anda benar-benar dapat mengirimkan perbaikan di antara putaran pengembangan.
Hal ini gagal ketika: Studi ini merupakan audit sekali jalan yang tidak akan Anda ulangi, temuannya akan disampaikan kepada para pemangku kepentingan yang akan menganggap "kami tidak menemukan hal lain" sebagai bukti kualitas, atau produk tersebut sudah matang dan masalah yang tersisa jarang terjadi.
Metode 2: ukuran dari tujuan penemuan
Balikkan modelnya. Pilih cakupan yang Anda butuhkan (P) dan tingkat kejadian yang Anda harapkan (p), lalu selesaikan. n = ln(1 - P) / ln(1 - p).
| Sasaran cakupan | p = 0.31 | p = 0.16 | p = 0.10 | p = 0.05 |
|---|---|---|---|---|
| 85% | 6 | 11 | 19 | 37 |
| 90% | 7 | 14 | 22 | 45 |
| 95% | 9 | 18 | 29 | 59 |
Gunakan saat: Studi ini memiliki tujuan kepatuhan, hukum, atau gerbang peluncuran, dan Anda perlu menyatakan cakupannya secara tertulis, atau ketika Anda mencari kelas kegagalan frekuensi rendah tertentu seperti jalur pemulihan kesalahan.
Hal ini gagal ketika: Anda tidak memiliki dasar untuk p. Memilih 0.31 karena itu adalah rata-rata yang dipublikasikan sama saja dengan menebak angka lima, menggunakan rumus sebagai kedok.
Metode 3: perkirakan p dari putaran pertama Anda sendiri, lalu ubah ukurannya.
Ini adalah metode yang kami gunakan secara default, karena metode ini menggantikan tebakan dengan data Anda sendiri.
- Lakukan putaran awal yang terdiri dari lima soal. Catat setiap masalah yang berbeda dan tandai peserta mana yang berhasil menyelesaikannya.
- Hitung nilai p yang diamati sebagai rata-rata dari (peserta yang berhasil menyelesaikan masalah / peserta yang mencoba menyelesaikan masalah) di semua masalah yang berbeda.
- Kurangi nilainya. Sampel awal yang kecil secara sistematis melebih-lebihkan p, karena masalah yang hanya dialami oleh satu orang adalah masalah yang belum Anda temui. Hertzum dan Jacobsen mendokumentasikan inflasi ini. Koreksi praktisnya adalah dengan menghilangkan masalah yang hanya dialami oleh satu peserta dari pembilang saat melakukan estimasi ulang.
- Masukkan nilai p yang telah dikempiskan ke dalam tabel di atas sesuai target cakupan Anda dan rekrut selisihnya.
Titik pengambilan keputusan: jika nilai p yang dideflasi berada di atas 0.25, hentikan pada lima hingga delapan peserta dan alokasikan sisa anggaran untuk studi kedua dengan alur yang berbeda. Jika nilainya antara 0.10 dan 0.25, perluas menjadi 12 hingga 18 peserta. Jika nilainya di bawah 0.10, tugas Anda mungkin terlalu terbuka atau segmen Anda terlalu luas, dan penambahan peserta tidak akan memperbaiki keduanya. Lakukan penyesuaian ruang lingkup sebelum merekrut peserta baru.
Hal ini gagal ketika: Anda tidak dapat merekrut secara bertahap, atau penelitian dimoderasi oleh orang yang berbeda di setiap putaran, yang mengubah apa yang dicatat sebagai masalah yang berbeda.
Metode 4: ukuran berdasarkan segmen perilaku
Model ini mengasumsikan satu populasi. Sebagian besar produk di wilayah ini tidak memiliki satu populasi pun. Peritel Turki yang menjual produk secara domestik, lintas batas ke Uni Eropa dan ke negara-negara Teluk, memiliki setidaknya tiga kelompok dengan model mental yang berbeda, ekspektasi pembayaran yang berbeda, dan dalam kasus negara-negara Teluk, antarmuka kanan-ke-kiri. Panduan Nielsen di sini adalah 3 hingga 4 peserta per kelompok pada dua kelompok, dan 3 peserta per kelompok pada tiga kelompok atau lebih. Itu adalah batas minimum, bukan target, dan itu berarti "studi lima pengguna" di tiga segmen sebenarnya adalah tiga studi yang kurang memadai.
Dua aturan yang perlu diterapkan sebelum Anda menulis teks penapisan:
- Lakukan segmentasi berdasarkan perilaku, bukan berdasarkan demografi. Pembeli pertama kali dan pembeli berulang menghadapi masalah yang berbeda. Usia 25-34 dan 35-44 biasanya tidak mengalami masalah yang sama.
- Perlakukan pengguna teknologi bantu sebagai segmen tersendiri jika Anda menjual produk ke Uni Eropa. Undang-Undang Aksesibilitas Eropa telah berlaku untuk layanan e-commerce yang berinteraksi langsung dengan konsumen sejak 28 Juni 2025, dan sampel yang hanya terdiri dari orang yang dapat melihat tidak dapat memberi tahu Anda apakah Anda mematuhinya. Peserta yang hanya menggunakan pembaca layar dan keyboard menemukan jenis masalah yang tidak akan terungkap meskipun ada tambahan peserta yang dapat melihat.
Metode mana yang sesuai dengan penelitian Anda?
| Jika ini benar | penggunaan | Tipikal n |
|---|---|---|
| Iterasi mingguan, desain masih terus berkembang. | Metode 1 | 5 per putaran |
| Audit satu kali dengan klaim pertanggungan tertulis. | Metode 2 | 11-29 |
| Anda dapat merekrut secara bertahap dan menginginkan jumlah yang paling murah dan dapat dipertahankan. | Metode 3 | 5, lalu ubah ukurannya |
| Dua atau lebih kelompok perilaku yang berbeda | Metode 4 | Minimal 3-4 orang per kelompok. |
| Anda membutuhkan metrik dengan interval kepercayaan, bukan daftar masalah. | Tidak satupun | 20+ (lihat di bawah) |
Contoh yang dikerjakan
Contoh ini bersifat ilustratif, bukan kasus klien. Katakanlah Anda sedang menentukan ukuran studi proses pembayaran untuk pengecer fesyen Turki kelas menengah, hanya untuk lalu lintas domestik, dengan desain ulang yang sudah berjalan. Metode 1 tidak dapat digunakan karena desain sudah diluncurkan, dan Metode 2 membutuhkan aplikasi yang belum Anda miliki, jadi: Metode 3 didahului oleh Metode 4.
Dua segmen perilaku, pembayaran sebagai tamu dan pembeli berulang yang masuk, masing-masing empat peserta. Putaran pertama menghasilkan 19 masalah berbeda, 11 di antaranya dilihat oleh tepat satu peserta. Nilai p mentah adalah 0.28; setelah menghilangkan masalah tunggal dari pembilang, nilainya turun menjadi sekitar 0.17. Dengan target cakupan 90% dan p = 0.17, tabel menunjukkan 14. Anda memiliki 8, jadi Anda merekrut 6 lagi, dengan bobot lebih besar pada segmen dengan temuan yang lebih sedikit.
Total: 14 peserta, dengan alasan tertulis untuk jumlah tersebut. [INTERNAL DATA NEEDED: observed p values from Switas's own e-commerce checkout studies, to replace the illustrative 0.17 with a benchmark range by vertical.]
Di sinilah letak kesalahannya
Model binomial mengasumsikan bahwa masalah bersifat independen dan bahwa p stabil di antara para peserta. Keduanya tidak benar. Satu label yang membingungkan menyebabkan tiga kegagalan hilir, dan peserta yang fasih dalam pola UI pasar menghadapi serangkaian masalah yang berbeda daripada peserta yang tidak. Perlakukan angka-angka di atas sebagai alat perencanaan, bukan pengukuran. Woolrych, Cockton, dan Caulton semuanya berpendapat bahwa satu nilai p saja tidak mewakili populasi yang terdiri dari sub-kelompok.
Panduan ini juga tidak mencakup:
- Pembandingan kuantitatif. Jika Anda menginginkan tingkat keberhasilan tugas dengan interval kepercayaan, Anda menjawab pertanyaan yang berbeda. Rencanakan setidaknya 20 peserta, dan lebih banyak lagi untuk interval yang lebih sempit.
- Pengelompokan kartu dan pengujian pohon. Nielsen menyarankan setidaknya 15 per kelompok pengguna. Matematika penemuan masalah tidak berlaku.
- Pelacakan mata. Sekitar 39 peserta untuk peta panas yang stabil.
- Tes A/B. Ukuran sampel di sana memiliki kekuatan statistik pada metrik konversi, bukan penemuan masalah. Rumus yang berbeda, logika yang berbeda.
Satu batasan lagi yang perlu disebutkan: desain tugas mendorong p lebih jauh daripada n. Lima peserta pada tugas yang tajam dan realistis akan menemukan lebih banyak peserta daripada dua belas peserta pada tugas yang samar. Jika percakapan Anda tentang penentuan jumlah peserta lebih panjang daripada percakapan Anda tentang penulisan tugas, rasionya salah.
FAQ (Pertanyaan Umum)
Apakah aturan lima pengguna itu salah?
Tidak, itu bersyarat. Hal ini berlaku pada tingkat kejadian masalah mendekati 0.31 dan target cakupan mendekati 85%. Di luar kondisi tersebut, hasilnya kurang memuaskan, dan tidak ada klaim lain dalam karya aslinya.
Bagaimana cara saya memperkirakan p sebelum saya menjalankan apa pun?
Anda sebagian besar tidak bisa, itulah sebabnya Metode 3 ada. Jika Anda harus menebak, gunakan 0.30 untuk antarmuka baru atau yang mengalami perubahan besar dan 0.15 untuk antarmuka yang sudah mapan, lalu koreksi setelah putaran pertama.
Apakah pengujian yang dimoderasi versus yang tidak dimoderasi mengubah jumlahnya?
Bukan soal matematikanya, tetapi hal itu mengubah apa yang dianggap sebagai masalah. Sesi tanpa moderasi cenderung melewatkan penyebab di balik kegagalan, yang meningkatkan jumlah masalah yang berbeda dan menurunkan persentase masalah yang diamati.
Bagaimana jika saya hanya bisa merekrut lima orang?
Lakukan lima kali pengujian, dan laporkan cakupan secara jujur daripada melaporkan daftar masalah sebagai lengkap. Sebutkan segmen mana yang tidak Anda cakup. Studi yang ukurannya kecil dengan batasan yang dinyatakan bermanfaat; studi yang ukurannya kecil namun disajikan sebagai studi yang menyeluruh tidak bermanfaat.
Apakah saya memerlukan lebih banyak peserta untuk pengujian aksesibilitas?
Anda membutuhkan partisipan yang berbeda. Pengguna teknologi bantu merupakan segmen perilaku terpisah dengan ambang batas minimal 3 hingga 4, bukan tambahan pada sampel yang sudah ada.
Bisakah partisipan sintetis yang dihasilkan AI menggantikan sebagian dari sampel ini?
Mereka dapat membantu Anda melatih tugas dan penyaringan. Mereka tidak dapat menghasilkan tingkat kejadian masalah, karena p adalah properti dari perilaku nyata dalam populasi nyata. Jangan memasukkan sesi sintetis ke dalam penyebut.
Apakah rumus matematika yang sama berlaku untuk produk B2B atau sektor publik?
Secara matematis memang memungkinkan. Namun, perekrutannya tidak. Segmen B2B dan sektor publik yang sempit seringkali hanya mampu menjangkau enam atau delapan peserta, dalam hal ini nyatakan batasan tersebut sebagai keterbatasan studi, alih-alih berpura-pura bahwa angka tersebut dipilih.
Lakukan hal ini pada studi Anda berikutnya.
Ambil studi yang akan Anda jelaskan secara singkat, tuliskan metode mana dari empat metode yang Anda gunakan dan nilai p yang Anda asumsikan, lalu masukkan keduanya ke dalam rencana penelitian. Jika keduanya tidak tercatat, itulah temuannya. Jika Anda lebih suka penentuan ukuran sampel, penyaringan, dan desain segmentasi ditangani untuk Anda, Bicaralah dengan Switas tentang putaran penelitian Anda selanjutnya..
sumber
- Nielsen, J. dan Landauer, TK (1993). Model matematika untuk menemukan masalah kegunaan. INTERCHI '93, 206-213.
- Faulkner, L. (2003). Melampaui asumsi lima pengguna: manfaat peningkatan ukuran sampel dalam pengujian kegunaan. Metode Penelitian Perilaku, Instrumen, & Komputer, 35(3), 379-383.
- Spool, J. dan Schroeder, W. (2001). Pengujian situs web: lima pengguna sama sekali tidak cukup. Abstrak Tambahan CHI '01.
- Sauro, J. Sejarah singkat angka ajaib 5 dalam pengujian kegunaan. MeasuringU.
- Sauro, J. Ukuran sampel untuk studi kegunaan: satu ukuran tidak cocok untuk semua. MeasuringU.
- Nielsen, J. Mengapa Anda hanya perlu melakukan pengujian dengan 5 pengguna. Nielsen Norman Group.
- Nielsen, J. Berapa banyak pengguna uji dalam studi kegunaan? Nielsen Norman Group.
- Direktif (UE) 2019/882 tentang persyaratan aksesibilitas untuk produk dan layanan (Undang-Undang Aksesibilitas Eropa), ringkasan EUR-Lex.







