Çoğu ekip, kullanılabilirlik testi yöntemini bütçe veya alışkanlık nedeniyle seçer, ardından oturumların kendilerini harekete geçiren soruyu yanıtlayamadığını keşfeder. Yöntem bir zevk meselesi değildir; kapatmaya çalıştığınız karara bağlıdır. Bu kılavuz, denetimli, denetimsiz ve eşzamansız testler arasında seçim yapmanız için öncelikle karar odaklı bir yol sunar: her birinin desteklediği örneklem büyüklüğü, her birinin maliyet ve veri kalitesi gerçekliği ve Türkiye ve AB'de seçimi kısıtlayan veri aktarım kuralları. Yılda birkaç çalışma yürüten ve birini bile boşa harcamayı göze alamayan ürün, UX ve CRO ekipleri içindir. Öncelikle bir kalibrasyon rakamı: Laura Faulkner'ın 2003 tarihli çalışmasında, beş kullanıcıdan oluşan rastgele örnekler ortalama olarak bilinen sorunların %85.5'ini bulurken, en kötü beş kullanıcılı örneklem %55'ini bulmuştur.
Üç yöntem, karşılaştırmayı sağlayacak kadar kesin bir şekilde tanımlanmıştır.
Moderasyon yapıldı. Araştırmacı ve katılımcı, yüz yüze veya telefon görüşmesi yoluyla birlikte oturumda bulunurlar. Araştırmacı görevler belirler, gözlemler ve sorular sorar. Çıktı: gözlemlenen davranış ve açıklaması.
Denetimsiz, kayıt altına alınmış. Katılımcı, önceden belirlenmiş bir görev setini tek başına yerine getirirken, bir platform ekran görüntüsünü, tıklamaları ve genellikle sesi kaydeder. Bir araştırmacı daha sonra kayıtları analiz eder. Çıktı: Açıklama yapılmamış davranış.
Asenkron öz bildirim. Katılımcı tek başına çalışır ve yanlış giden şeyleri not alır — bir günlük çalışması, bir geri bildirim formu, notlandırılmış bir görev. Hiçbir kayıt analiz edilmez. Çıktı: katılımcının kendi anlatımı.
Bu üçünü "denetimli ve denetimsiz" olarak bir araya getirmek, yaygın olarak tekrarlanan bir rakamın yanlış uygulanmasına yol açar. Kullanıcıların, eğitimli bir araştırmacının gözlemlediği sorunların yaklaşık yarısını bildirmesi bulgusu şuradan kaynaklanmaktadır: öz bildirim çalışmalarıKatılımcıların sorunları kendileri belgelediği bir durum söz konusu. Bu, eşzamansız öz bildirimle ilgili bir gerçektir, bir araştırmacı tarafından analiz edilen, denetimsiz kaydedilmiş oturumlarla ilgili değil. Birisi denetimsiz yöntemlerin sorunların yarısını bulduğunu söylediğinde, hangisini kastettiğini sorun.
Yöntemden değil, karardan başlayın.
Çalışma bittiğinde söyleyebilmek istediğiniz cümleyi yazın, ardından ilgili satırı bulun.
| Kapatmanız gereken karar | Konuyu kapatan kanıt | Yöntem |
|---|---|---|
| İnsanlar neden bu aşamada pes ediyor? | Davranış ve bunun ardındaki mantık | Denetlenen |
| Bu kavram hiç anlaşılıyor mu? | Anlama düzeyi, kullanıcının kendi kelimeleriyle ölçülmüştür. | Denetlenen |
| Bu, ekran okuyucu ile çalışıyor mu? | Birini günlük olarak kullanan kişiler tarafından gözlemlenen kullanım | Denetlenen |
| İnsanlar X görevini yardımsız tamamlayabilir mi? | Güven aralığı ile birlikte tamamlama oranı | Denetimsiz, kayıtlı |
| Hangi düzenleme daha az hata üretir? | Onları birbirinden ayırabilecek örneklem büyüklüğünde karşılaştırmalı bir ölçüt | Denetimsiz, kayıtlı |
| Bir haftalık gerçek kullanım nasıl görünüyor? | Günler arası tekrarlanan girişler | Asenkron günlük |
| Hangi değişiklik bize daha çok para kazandırır? | Gerçek trafik üzerinde canlı bir deney | Üçünden hiçbiri değil — A/B testi yapın |
Son satır göründüğünden daha önemlidir. Kullanılabilirlik testi, bir arayüzün kullanılıp kullanılamayacağını ve nerede başarısız olduğunu gösterir, bir değişikliğin gelir üzerindeki etkisini değil. Beş kişilik bir çalışma grubuyla yapılan ve bir iş metriği sorusunu çözmeyi amaçlayan bir araştırma yanlış bir araçtır ve cevabı satış hunisiyle temas ettiğinde geçerliliğini yitirecektir.
Dört soruluk ekran
Tabloda sorunuz yer almıyorsa, bunları sırayla çalıştırın. İlk "evet" yanıtı belirleyici olacaktır.
- Olay yaşanırken "neden" diye sormanız gerekiyor mu? Denetimli. Kayda sonradan bir prob ekleyemezsiniz.
- Katılımcının kimlik bilgilerine, bir sanal ortama, yardımcı teknolojiye veya sizin temin edeceğiniz bir cihaza ihtiyacı var mı? Denetimli. Denetimsiz platformlar halka açık prototipleri iyi yönetirken, kısıtlı erişimli ortamları kötü yönetir.
- Güven aralığı eklenmiş bir sayıya mı ihtiyacınız var? Denetimsiz. Sekiz denetimli oturum, %50 ile %90'ı birbirinden ayırmanın mümkün olmadığı kadar geniş bir aralıkta bir tamamlama oranı üretir.
- Bu davranış birden fazla oturumda mı devam ediyor? Asenkron. Bir haftaya yayılan bir oryantasyon süreci veya iptal edilip yeniden başlatılan bir rezervasyon, 60 dakikalık bir oturuma sığmaz.
Örneklem boyutu: Her yöntemin destekleyebileceği miktar.
"Beş kullanıcı yeterlidir" kuralı şuradan geliyor: Jakob Nielsen'in 2000 tarihli makalesi Ve bu, sorun tespiti için yalnızca tek bir akışta ortalama olarak geçerlidir. Faulkner, zaman çizelgesi uygulamasıyla 60 katılımcıyı çalıştırdı, 45 sorunu katalogladı, ardından her boyutta 100 rastgele grubu yeniden örnekledi. Herkesin unuttuğu şey ise dağılımdır.
| Kullanıcılar | Bulunan sorunların ortalama yüzdesi | 100 çekimde en kötü örnek |
|---|---|---|
| 5 | 85.5% | 55% |
| 10 | 94.7% | 82% |
| 20 | 98.4% | 95% |
| 30 | 99.0% | 97% |
| 50 | 100% | 98% |
Bunu bir hedef değil, bir risk bildirimi olarak okuyun. Beş oturum genellikle sorunların çoğunu ortaya çıkarır ve yaklaşık yirmi oturumdan birinde bozuk bir akışın sorunsuz olduğuna inanmanıza neden olur; bu, bir prototip için kabul edilebilir, ancak göndermek üzere olduğunuz bir test için kötüdür. Çalışma dağılımımız şu şekildedir: Tek bir akış üzerinde keşif için 5 ila 8 denetimli oturum, segment veya cihaza göre dallanma olduğunda 10 ila 12 oturum, teslim edilecek şey bir sorun listesi yerine bir oran olduğunda 30 veya daha fazla denetimsiz oturum.
Maliyet ve takvim: paranın gerçekte nereye gittiği
Kontrollü maliyet çoğunlukla araştırmacının takviminden kaynaklanır: planlama, gelmeyenler, oturum ve ardından analiz. Kontrolsüz maliyet ise çoğunlukla aşırı katılımcı bulmaktan kaynaklanır, çünkü eleme yaptığınız katılımcılar için ödeme yaparsınız ve bu eleme oranı çoğu bütçenin varsaydığından daha yüksektir.
İçinde 2023 PLOS ONE'da beş araştırma platformunun karşılaştırılması (N = 2,729), birleşik kalite standardını karşılayan katılımcıların oranı Prolific'te %75.4, CloudResearch'te %75.1, SONA'da %62.7, Qualtrics'te %59.1 ve MTurk'te %54.2 idi; yüksek kaliteli katılımcı başına maliyet ise 1.90 ila 8.17 dolar arasında değişiyordu. Kalite ve Miktar alanında 2026 yılında yapılan bir çalışma. Daha sert bir değerlendirme söz konusu: Onay veren 4,453 katılımcıdan yalnızca %15.97'si tarama sonrasında çalışmaya devam etti; dikkat kontrolü %27.13'ünü eledi ve açıkça bot tespiti soruları yalnızca %3.48'ini yakaladı.
Bu nedenle, analiz etmeniz gereken sayıyı beklenen katılım oranına bölerek denetimsiz çalışmaların boyutunu belirleyin ve her senaryoya en az bir açık uçlu soru ve bir dikkat kontrolü ekleyin, çünkü ucuz bot taramaları işe yaramaz. Denetimli bir oturum kendi kendini tarar: bir aramaya katılan ve sizinle 45 dakika konuşan biri, diğer her şey doğru olsa bile, bir insandır.
[DAHİLİ VERİLER GEREKLİ: Yukarıdaki genel platform rakamlarının yerine, Switas'ın işe alım brifinginden ilk tamamlanan oturuma kadar geçen ortalama gün sayısı ve Türkçe dilindeki denetimsiz çalışmalarda gözlemlediğimiz eleme oranı.]
Seçiminizi geçersiz kılabilen Türkiye ve AB katmanı
Denetimsiz bir platform, katılımcının ekranını, genellikle sesini ve yüzünü kaydediyor ve bunu genellikle Türkiye dışında ve sıklıkla Avrupa Ekonomik Alanı dışında bulunan tedarikçi altyapısında saklıyor. Bu, kişisel verilerin yurt dışına aktarılması anlamına geliyor ve 1 Haziran 2024'ten itibaren Türk yasaları bu verileri belirli bir mekanizma seti üzerinden yönlendiriyor.
7499 sayılı Kanun (Resmi Gazete 32487, 12 Mart 2024), 6698 sayılı Kanun'un 9. maddesini yeniden düzenledi. Yurtdışına yapılan transferler artık yeterlilik kararı veya listelenmiş bir güvence gerektiriyor: önceden onaylanmış bağlayıcı kurumsal kurallar, Kurum tarafından yayınlanan ve kendisine bildirilen standart bir sözleşme veya Kurumun onayladığı özel bir taahhüt. Açık rıza da dahil olmak üzere istisnai gerekçeler, kalıcı bir araştırma programı gibi olmayan, tesadüfi ve tekrarlanmayan transferler için hazırlanmıştır. Kurumun kendi sayfası Kayıtlara göre, henüz hiçbir ülke yeterli ilan edilmedi, bu nedenle pratikte yabancı bir test platformu, birilerinin imzalaması ve bildirmesi gereken standart bir sözleşmeye tabidir.
Uyguladığımız kural şudur: Eğer çalışma katılımcının kendi anlatımını, gerçek müşteri verilerini veya özel kategori bilgilerini (sağlık ve kamu sektörü çalışmalarında rutin olan) içeriyorsa, kontrolünüzdeki altyapıda denetimli oturumlar, denetimsiz oturumlar daha ucuz olsa bile, uyumluluk için daha kısa bir yoldur. Kamuoyuna açık bir prototip ve sentetik bir görev için platform yolu uygundur. Türkiye dışındaki okuyucular, GDPR Bölüm V'ten yapıyı tanıyacaklardır, ancak önemli bir fark var: Yeterlilik kararı yürürlükte değil, bu nedenle dayanılacak AB-ABD tarzı bir çerçeve yok.
Herhangi bir şey rezervasyonu yapmadan önce
- Karar cümlesi yazılı olarak kaydedilmiştir ve siz de bu kararı değiştirecek bulguyu belirtebilirsiniz.
- Yöntem, bir önceki çalıştırmanızdan değil, yukarıdaki tablodan veya ekrandan alındı.
- Örneklem büyüklüğü, elde edilecek sonuçla (örneğin sorun listesi veya oran) karşılaştırılarak belirlenir.
- Sadece denetimsiz: hedef n, beklenen elde tutma oranına bölünmüş; senaryoda açık uçlu bir soru ve dikkat kontrolü var.
- Sadece moderatör eşliğinde: Görevler, katılımcının açıklamaya ihtiyaç duymayacağı şekilde yazılmıştır; sorular hazırlanmıştır ancak yönlendirici değildir.
- Kayıt, depolama yeri, saklama süresi ve transfer mekanizması işe alım öncesinde kararlaştırıldı.
- Analiz takviminin sahibi birileri; analiz edilmemiş kayıtlar, denetimsiz çalışmaların hiçbir sonuç vermemesinin nedenidir.
Bu durumun bozulduğu nokta
Faulkner'ın tablosu, 45 kayıtlı sorunu olan bir zaman çizelgesi uygulamasından geliyor. Keşif eğrileri, ortalama bir katılımcının ortalama bir sorunla karşılaşma olasılığına bağlıdır ve bu olasılık, birçok dallanan akışa sahip bir üründe düşer. Tabloyu basit bir akış için taban değer olarak düşünün.
Bu kılavuz, işe alım mekaniği, moderasyon tekniği, bulguları hipotezlere dönüştürme veya erişilebilirlik uygunluk testi (kullanılabilirlik çalışması yerine kriterlere göre yapılan bir denetim) konularını kapsamamaktadır.
Yapay zekâ destekli görüşmeler artık hem kontrollü hem de kontrolsüz görüşmeler arasında yer alıyor ve her ikisinin birleşimi olarak pazarlanıyor. Burada alıntılanan çalışmaların standardında yayınlanmış yöntem karşılaştırma kanıtı görmedik. Bu kanıt mevcut olana kadar, yapay zekâ destekli bir görüşmeyi daha iyi bir senaryoya sahip kontrolsüz bir test olarak değerlendirin ve yetenekli sorgulamaya bağlı bir kararı etkilemesine izin vermeyin.
SSS
Beş katılımcı gerçekten yeterli mi? Ortalama olarak beş kişi tek bir akışta sorunların yaklaşık %85'ini buluyor, ancak Faulkner'ın beş kişiden oluşan 100 örneğinin en kötüsü %55 oranında sorun tespit etti. Bir prototip için makul, ancak piyasaya sürmek üzere olduğunuz herhangi bir şey için yetersiz.
Uzaktan denetimli bir araştırma yürütebilir miyim? Evet, ve çoğu ürün çalışması için de öyle yapmalısınız. Moderatörlü çalışma, bir araştırmacının orada bulunmasıyla ilgilidir, bir odayla değil. Çevresel bağlamı kaybedersiniz ama erişim alanınızı genişletirsiniz.
Projenin tamamlanma oranına ulaşması için kaç katılımcıya ihtiyacım var? Bir moderasyon çalışmasının karşılayabileceğinden daha fazlası. Öncelikle tespit etmeniz gereken farkı belirleyin — %70'i %85'ten ayırmak, %30'u %80'den ayırmaktan çok farklı bir örneklem gerektirir — ardından buna göre örneklem büyüklüğünü belirleyin ve katılımcıların dörtte birini elemek zorunda kalacağınızı varsayın.
Denetimsiz testler, denetimli testlere göre daha az sorun mu ortaya çıkarıyor? Bir araştırmacı tarafından analiz edilen, denetimsiz kaydedilmiş oturumlarda benzer bir dizi davranışsal sorun bulunmuştur, ancak herhangi bir açıklama bulunamamıştır. "Sorunların yarısı" ifadesi, oturumu kimsenin izlemediği öz bildirim formatları için geçerlidir.
Bir oturumu kaydetmek için açık onaya ihtiyacımız var mı? Hangi yöntemi seçerseniz seçin, yasal bir dayanağa ve açık bir bildirime ihtiyacınız var ve Türkiye'de yurtdışına transfer sorunu, kayıt sorunundan ayrı bir konudur.
Denetimsiz bir görev kümesi ne kadar uzun olmalıdır? Genellikle 15 ila 20 dakika sürer. Daha uzun senaryolar, katılımcı kaybını artırır ve tam olarak elemek istediğiniz katılımcıları ödüllendirir.
Bizimle çalışmak
Eğer bir karar kanıt bekliyorsa ve bu üç seçenekten hangisinin kararınızı vereceğinden emin değilseniz, çalışma planını sizinle birlikte oluşturabiliriz — yöntem, örneklem boyutu, katılımcıların seçimi ve veri aktarım evrakları. Bkz. Switas kullanıcı araştırma hizmetleri.
kaynaklar
- Faulkner, L. (2003). Beş kullanıcılı varsayımın ötesindeDavranış Araştırma Yöntemleri, 35(3), 379–383.
- Nielsen, J. (19 Mart 2000). Neden Sadece 5 Kullanıcıyla Test Etmeniz Gerekiyor?Nielsen Norman Grubu.
- ÖlçmeU. Kullanıcılar Kullanılabilirlik Sorunlarını Kendileri Bildirebilir mi? — Castillo (1998), Bruun ve diğerleri özetleniyor. (2007), Andreasen ve ark. (2009).
- Douglas, Ewell ve Brauer (14 Mart 2023). Çevrimiçi insan denekli araştırmalarda veri kalitesiPLOS BİR.
- Botlarla ve hatalı verilerle mücadele (11 Nisan 2026). Kalite ve Miktar, 60(4).
- Kişisel Verileri Koruma Kurumu, Yurt Dışına Aktarım — 7499 sayılı Kanunla değiştirilen 6698 sayılı Kanun'un 9. maddesi (Resmi Gazete 32487, 12 Mart 2024; yürürlüğe giriş tarihi 1 Haziran 2024).
