Sebagian besar tim memilih metode pengujian kegunaan berdasarkan anggaran atau kebiasaan, kemudian menemukan bahwa sesi tersebut tidak dapat menjawab pertanyaan yang memicu pengujian. Metode ini bukan soal selera; metode ini ditentukan oleh keputusan yang ingin Anda ambil. Panduan ini memberi Anda cara pengambilan keputusan pertama untuk memilih antara pengujian yang dimoderasi, tidak dimoderasi, dan asinkron: ukuran sampel yang didukung masing-masing, biaya dan realitas kualitas data masing-masing, dan aturan transfer data yang membatasi pilihan di Turki dan Uni Eropa. Panduan ini ditujukan untuk tim produk, UX, dan CRO yang menjalankan beberapa studi per tahun dan tidak mampu menyia-nyiakan satu studi pun. Angka kalibrasi pertama: dalam studi Laura Faulkner tahun 2003, sampel acak lima pengguna menemukan rata-rata 85.5% masalah yang diketahui, tetapi sampel lima pengguna terburuk menemukan 55%.
Ketiga metode tersebut, yang didefinisikan secara cukup tepat untuk dibandingkan.
Dimoderasi. Peneliti dan partisipan berada dalam sesi bersama, secara langsung atau melalui panggilan video. Peneliti menetapkan tugas, mengamati, dan mengajukan pertanyaan pendahuluan. Hasil: perilaku yang diamati ditambah penjelasan.
Tidak dimoderasi, direkam. Partisipan bekerja sendiri melalui serangkaian tugas yang telah ditentukan sementara sebuah platform merekam layar, klik, dan biasanya audio. Peneliti kemudian menganalisis rekaman tersebut. Hasil: perilaku tanpa penjelasan.
Pelaporan mandiri asinkron. Peserta bekerja sendiri dan mencatat apa yang salah — sebuah studi buku harian, formulir umpan balik, tugas yang diberi anotasi. Tidak ada rekaman yang dianalisis. Hasil: catatan peserta sendiri.
Menggabungkan ketiga hal ini menjadi "dimoderasi vs tidak dimoderasi" adalah bagaimana satu angka yang banyak diulang disalahgunakan. Temuan bahwa pengguna melaporkan sekitar setengah dari masalah yang diamati oleh peneliti terlatih berasal dari studi laporan diri, di mana para peserta mendokumentasikan masalah sendiri. Itu adalah fakta tentang pelaporan diri asinkron, bukan tentang sesi yang direkam tanpa moderasi yang dianalisis oleh seorang peneliti. Ketika seseorang mengatakan bahwa sesi tanpa moderasi menemukan setengah dari masalah, tanyakan yang mana dari kedua hal tersebut yang mereka maksud.
Mulailah dari keputusan, bukan dari metode.
Tuliskan kalimat yang ingin Anda ucapkan setelah studi selesai, lalu temukan barisnya.
| Keputusan yang perlu Anda ambil untuk menutup | Bukti yang menutup kemungkinan tersebut | metode |
|---|---|---|
| Mengapa orang-orang menyerah pada langkah ini? | Perilaku beserta alasan di baliknya | Moderated |
| Apakah konsep ini dipahami sama sekali? | Pemahaman diuji dengan menggunakan kata-kata pengguna sendiri. | Moderated |
| Apakah ini berfungsi dengan pembaca layar? | Penggunaan yang diamati oleh orang-orang yang menggunakannya setiap hari | Moderated |
| Bisakah orang menyelesaikan tugas X tanpa bantuan? | Tingkat penyelesaian dengan interval kepercayaan | Tidak dimoderasi, direkam |
| Tata letak mana yang menghasilkan lebih sedikit kesalahan? | Metrik perbandingan pada ukuran sampel yang dapat membedakan keduanya. | Tidak dimoderasi, direkam |
| Seperti apa tampilan penggunaan nyata selama seminggu? | Entri berulang antar hari | Buku harian asinkron |
| Perubahan mana yang menghasilkan lebih banyak uang bagi kita? | Eksperimen langsung pada lalu lintas nyata | Tidak satupun dari ketiganya — jalankan uji A/B. |
Baris terakhir lebih penting daripada yang terlihat. Pengujian kegunaan memberi tahu Anda apakah antarmuka dapat digunakan dan di mana letak kegagalannya, bukan dampak pendapatan dari suatu perubahan. Studi yang melibatkan lima orang yang diminta untuk menyelesaikan pertanyaan metrik bisnis bukanlah instrumen yang tepat, dan jawabannya tidak akan bertahan dalam alur penjualan.
Seleksi empat pertanyaan
Jika tabel tidak memuat pertanyaan Anda, jalankan langkah-langkah ini secara berurutan. Jawaban "ya" pertama akan menentukan.
- Apakah Anda perlu bertanya "mengapa" saat hal itu sedang terjadi? Dimoderasi. Anda tidak dapat memasang probe pada rekaman.
- Apakah peserta memerlukan kredensial, lingkungan uji coba (sandbox), teknologi bantu, atau perangkat yang Anda sediakan? Dimoderasi. Platform yang tidak dimoderasi menangani prototipe publik dengan baik dan lingkungan tertutup dengan buruk.
- Apakah Anda memerlukan angka beserta interval kepercayaannya? Tidak dimoderasi. Delapan sesi yang dimoderasi menghasilkan tingkat penyelesaian dengan interval yang sangat lebar sehingga tidak dapat memisahkan 50% dari 90%.
- Apakah perilaku tersebut berlangsung lebih dari satu kali duduk? Asinkron. Proses orientasi yang berlangsung selama seminggu, atau pemesanan yang dibatalkan dan dilanjutkan kembali, tidak akan muat dalam sesi 60 menit.
Ukuran sampel: apa yang dapat didukung oleh setiap metode.
Aturan "lima pengguna sudah cukup" berasal dari Artikel Jakob Nielsen tahun 2000 dan hanya berlaku secara rata-rata, untuk penemuan masalah, dalam satu alur. Faulkner menjalankan aplikasi pencatatan waktu dengan 60 peserta, mengkatalogkan 45 masalah, kemudian mengambil sampel ulang 100 kelompok acak pada setiap ukuran. Sebaran inilah yang sering dilupakan semua orang.
| pengguna | Persentase rata-rata masalah yang ditemukan | Sampel terburuk dari 100 kali pengambilan sampel |
|---|---|---|
| 5 | 85.5% | 55% |
| 10 | 94.7% | 82% |
| 20 | 98.4% | 95% |
| 30 | 99.0% | 97% |
| 50 | 100% | 98% |
Bacalah ini sebagai pernyataan risiko, bukan target. Lima sesi biasanya mengungkap sebagian besar masalah, dan kira-kira satu dari dua puluh percobaan membuat Anda percaya bahwa alur yang rusak itu baik-baik saja — dapat diterima untuk prototipe, tetapi buruk untuk produk yang akan Anda luncurkan. Pembagian kerja kami: 5 hingga 8 sesi yang dimoderasi untuk penemuan pada satu alur, 10 hingga 12 sesi ketika bercabang berdasarkan segmen atau perangkat, 30 sesi atau lebih yang tidak dimoderasi ketika hasil akhirnya adalah penilaian, bukan daftar masalah.
Biaya dan kalender: ke mana uang itu sebenarnya dialokasikan
Biaya yang terkendali sebagian besar terkait dengan jadwal peneliti — penjadwalan, ketidakhadiran, sesi, dan kemudian analisis. Biaya yang tidak terkendali sebagian besar disebabkan oleh perekrutan berlebihan, karena Anda membayar untuk peserta yang kemudian Anda singkirkan, dan tingkat penolakan tersebut lebih besar daripada yang diasumsikan dalam sebagian besar anggaran.
Di sebuah Perbandingan lima platform penelitian oleh PLOS ONE tahun 2023 (N = 2,729), persentase responden yang memenuhi standar kualitas gabungan adalah 75.4% di Prolific, 75.1% di CloudResearch, 62.7% di SONA, 59.1% di Qualtrics, dan 54.2% di MTurk, dengan biaya per responden berkualitas tinggi berkisar antara $1.90 hingga $8.17. A Studi tahun 2026 tentang Kualitas & Kuantitas lebih ketat: dari 4,453 peserta yang setuju, 15.97% dipertahankan setelah penyaringan, dengan pengecekan perhatian mendiskualifikasi 27.13% sementara pertanyaan deteksi bot eksplisit hanya menangkap 3.48%.
Jadi, sesuaikan ukuran studi yang tidak dimoderasi dengan jumlah yang perlu Anda analisis dibagi dengan tingkat retensi yang diharapkan, dan sertakan setidaknya satu pertanyaan terbuka dan satu pengecekan perhatian di setiap skrip, karena penyaringan bot murahan tidak efektif. Sesi yang dimoderasi menyaring dirinya sendiri: seseorang yang bergabung dalam panggilan dan berbicara dengan Anda selama 45 menit, terlepas dari apa pun yang benar, adalah seorang manusia.
[DATA INTERNAL YANG DIBUTUHKAN: Median hari Switas dari pengarahan rekrutmen hingga sesi pertama yang selesai, dan tingkat penolakan yang kami amati pada studi berbahasa Turki yang tidak dimoderasi, untuk menggantikan angka platform umum di atas.]
Lapisan Turki dan Uni Eropa yang dapat mengesampingkan pilihan Anda
Platform yang tidak dimoderasi merekam layar peserta, seringkali suara dan wajah mereka, dan menyimpannya di infrastruktur vendor yang biasanya berada di luar Turki dan seringkali di luar EEA. Itu adalah transfer data pribadi ke luar negeri, dan sejak 1 Juni 2024 hukum Turki mengarahkan transfer tersebut melalui serangkaian mekanisme yang telah ditetapkan.
Undang-Undang 7499 (Lembaran Negara 32487, 12 Maret 2024) mengubah Pasal 9 Undang-Undang 6698. Transfer ke luar negeri sekarang memerlukan keputusan kecukupan atau perlindungan yang tercantum: aturan perusahaan yang mengikat dan disetujui sebelumnya, kontrak standar yang diterbitkan oleh Otoritas dan diberitahukan kepadanya, atau perjanjian khusus yang disetujuinya. Alasan pengecualian, termasuk persetujuan eksplisit, dirancang untuk transfer insidental dan tidak berulang — yang bukan merupakan program penelitian tetap. Karena Halaman resmi pihak berwenang Berdasarkan catatan, belum ada negara yang dinyatakan memadai, sehingga dalam praktiknya platform pengujian asing bergantung pada kontrak standar yang harus ditandatangani dan diberitahukan oleh seseorang.
Aturan yang kami terapkan: jika studi tersebut mengumpulkan data pribadi peserta, data pelanggan sebenarnya, atau informasi kategori khusus — hal yang rutin dalam pekerjaan di bidang kesehatan dan sektor publik — sesi yang dimoderasi pada infrastruktur yang Anda kendalikan adalah jalur kepatuhan yang lebih singkat, bahkan ketika sesi tanpa moderasi lebih murah. Untuk prototipe publik dan tugas sintetis, jalur platform sudah cukup. Pembaca di luar Turki akan mengenali strukturnya dari Bab V GDPR, dengan satu perbedaan yang cukup signifikan: tidak ada keputusan kecukupan yang berlaku, sehingga tidak ada kerangka kerja ala Uni Eropa-AS yang dapat dijadikan acuan.
Sebelum Anda memesan apa pun
- Kalimat keputusan dituliskan, dan Anda dapat menyebutkan temuan yang akan mengubahnya.
- Metode tersebut berasal dari tabel atau layar di atas, bukan dari apa yang Anda jalankan terakhir kali.
- Ukuran sampel dibenarkan berdasarkan hasil yang diharapkan: daftar masalah atau tingkat keberhasilan.
- Hanya untuk yang tidak dimoderasi: target n dibagi dengan retensi yang diharapkan; skrip memiliki pertanyaan terbuka dan pengecekan perhatian.
- Hanya dimoderasi: tugas-tugas ditulis sedemikian rupa sehingga peserta tidak memerlukan penjelasan; pertanyaan-pertanyaan pendukung disiapkan tetapi tidak mengarahkan.
- Perekaman, lokasi penyimpanan, periode retensi, dan mekanisme transfer disepakati sebelum perekrutan.
- Seseorang memiliki kendali atas kalender analisis; rekaman yang tidak dianalisis adalah alasan mengapa studi yang tidak dimoderasi tidak menghasilkan apa pun.
Di sinilah letak kesalahannya
Tabel Faulkner berasal dari satu aplikasi lembar waktu dengan 45 masalah yang dikatalogkan. Kurva penemuan bergantung pada seberapa besar kemungkinan peserta rata-rata akan menemui masalah rata-rata, dan probabilitas itu menurun dalam produk dengan banyak alur percabangan. Anggap tabel tersebut sebagai batas bawah untuk alur sederhana.
Panduan ini tidak membahas mekanisme perekrutan, teknik moderasi, mengubah temuan menjadi hipotesis, atau pengujian kesesuaian aksesibilitas, yang merupakan audit terhadap kriteria dan bukan studi kegunaan.
Wawancara yang dimoderasi AI kini berada di antara wawancara yang dimoderasi dan yang tidak dimoderasi, dipasarkan sebagai kombinasi keduanya. Kami belum melihat bukti perbandingan metode yang dipublikasikan dengan standar studi yang dikutip di sini. Sampai bukti tersebut ada, perlakukan sesi yang dimoderasi AI sebagai pengujian yang tidak dimoderasi dengan skrip yang lebih baik, dan jangan biarkan hal itu memengaruhi keputusan yang bergantung pada kemampuan bertanya yang terampil.
FAQ (Pertanyaan Umum)
Apakah lima peserta benar-benar cukup? Rata-rata, lima orang menemukan sekitar 85% masalah dalam satu alur kerja, tetapi sampel terburuk dari 100 sampel lima orang yang dilakukan Faulkner hanya menemukan 55%. Cukup memadai untuk prototipe, tetapi kurang memadai untuk produk yang akan segera dirilis.
Bisakah saya menjalankan studi yang dimoderasi dari jarak jauh? Ya, dan untuk sebagian besar pekerjaan produk, Anda memang harus melakukannya. Moderasi adalah tentang kehadiran seorang peneliti, bukan tentang ruangan. Anda kehilangan konteks lingkungan dan mendapatkan jangkauan yang lebih luas.
Berapa banyak peserta yang saya butuhkan agar tingkat penyelesaiannya tercapai? Lebih dari yang mampu dilakukan oleh studi yang dimoderasi. Tentukan perbedaan yang perlu Anda deteksi terlebih dahulu — memisahkan 70% dari 85% membutuhkan sampel yang sangat berbeda daripada memisahkan 30% dari 80% — kemudian sesuaikan ukurannya dan perkirakan untuk membuang seperempat dari peserta yang direkrut.
Apakah pengujian tanpa moderasi menemukan lebih sedikit masalah dibandingkan dengan pengujian yang dimoderasi? Sesi yang direkam tanpa moderator dan dianalisis oleh seorang peneliti menemukan serangkaian masalah perilaku yang serupa tetapi tanpa penjelasan. Angka "setengah dari masalah" berlaku untuk format laporan diri di mana tidak ada yang mengamati sesi tersebut.
Apakah kita memerlukan persetujuan eksplisit untuk merekam sesi? Anda memerlukan dasar hukum dan pemberitahuan yang jelas, apa pun metode yang Anda pilih, dan di Turki, masalah transfer ke luar negeri terpisah dari masalah perekaman.
Berapa lama durasi yang ideal untuk sebuah tugas yang tidak dimoderasi? Biasanya 15 hingga 20 menit. Naskah yang lebih panjang meningkatkan angka putus sekolah dan justru memberi penghargaan kepada peserta yang ingin Anda saring.
Bekerja dengan kami
Jika keputusan masih menunggu bukti dan Anda tidak yakin mana dari ketiga pilihan ini yang akan menentukan, kami dapat merencanakan studi bersama Anda — metode, ukuran sampel, perekrutan, dan dokumen transfer data. Lihat Layanan riset pengguna Switas.
sumber
- Faulkner, L. (2003). Di luar asumsi lima penggunaMetode Penelitian Perilaku, 35(3), 379–383.
- Nielsen, J. (19 Maret 2000). Mengapa Anda Hanya Perlu Menguji dengan 5 PenggunaNielsen Norman Group.
- MengukurU. Apakah Pengguna Dapat Melaporkan Sendiri Masalah Kegunaan? — merangkum Castillo (1998), Bruun dkk. (2007), Andreasen dkk. (2009).
- Douglas, Ewell & Brauer (14 Maret 2023). Kualitas data dalam penelitian daring yang melibatkan subjek manusia.PLOS ONE.
- Memerangi bot dan data yang buruk (11 April 2026). Kualitas & Kuantitas, 60(4).
- Kişisel Verileri Koruma Kurumu, Yurt Dışına Aktarım — Undang-Undang 6698 Pasal 9 sebagaimana diubah oleh Undang-Undang 7499 (OG 32487, 12 Maret 2024; berlaku mulai 1 Juni 2024).
