Większość zespołów wybiera metodę testowania użyteczności ze względu na budżet lub nawyk, a następnie odkrywa, że sesje nie mogą odpowiedzieć na pytanie, które je skłoniło. Metoda nie jest kwestią gustu; jest ustalana przez decyzję, którą próbujesz zamknąć. Ten przewodnik przedstawia sposób podejmowania decyzji, który pozwala najpierw wybrać między testowaniem moderowanym, niemoderowanym i asynchronicznym: wielkość próby, którą obsługuje każda z nich, realia kosztów i jakości danych w każdej z nich oraz zasady transferu danych, które ograniczają wybór w Turcji i UE. Jest on przeznaczony dla zespołów produktowych, UX i CRO, które przeprowadzają kilka badań rocznie i nie mogą sobie pozwolić na zmarnowanie jednego. Najpierw liczba kalibracyjna: w badaniu Laury Faulkner z 2003 roku losowe próbki pięciu użytkowników wykryły średnio 85.5% znanych problemów, ale najgorsze losowanie pięciu użytkowników wykryło 55%.
Trzy metody, zdefiniowane na tyle precyzyjnie, aby można je było porównać
Moderowane. Badacz i uczestnik uczestniczą w sesji razem, osobiście lub telefonicznie. Badacz wyznacza zadania, obserwuje i bada. Wynik: zaobserwowane zachowanie wraz z wyjaśnieniem.
Niemoderowane, nagrywane. Uczestnik pracuje samodzielnie nad zadaniem ze skryptu, podczas gdy platforma przechwytuje ekran, kliknięcia i zazwyczaj dźwięk. Nagrania są później analizowane przez badacza. Wynik: zachowanie bez wyjaśnienia.
Asynchroniczna samoocena. Uczestnik pracuje samodzielnie i zapisuje, co poszło nie tak — badanie w dzienniku, formularz opinii, zadanie z adnotacjami. Żadne nagranie nie jest analizowane. Wynik: własna relacja uczestnika.
Łączenie tych trzech kategorii w kategorie „moderowane i niemoderowane” to sposób, w jaki ta sama często powtarzana liczba jest błędnie stosowana. Odkrycie, że użytkownicy zgłaszają około połowę problemów obserwowanych przez wykwalifikowanego badacza, wynika z… badania samoopisowe, w których uczestnicy sami dokumentowali problemy. To fakt dotyczący asynchronicznego samozgłaszania, a nie nagranych, niemoderowanych sesji analizowanych przez badacza. Kiedy ktoś mówi, że niemoderowane sesje wykrywają połowę problemów, zapytaj, które z tych dwóch określeń ma na myśli.
Zacznij od decyzji, nie od metody
Zapisz zdanie, które chcesz móc wypowiedzieć po zakończeniu nauki, a następnie znajdź wiersz.
| Decyzja, którą musisz zamknąć | Dowód, który to zamyka | Metoda wykonania |
|---|---|---|
| Dlaczego ludzie rezygnują na tym etapie? | Zachowanie i jego uzasadnienie | moderowane |
| Czy ta koncepcja jest w ogóle zrozumiała? | Badanie zrozumienia na podstawie słów użytkownika | moderowane |
| Czy to działa z czytnikiem ekranu? | Obserwowane użycie przez osoby używające go codziennie | moderowane |
| Czy ludzie mogą wykonać zadanie X bez pomocy? | Współczynnik ukończenia z przedziałem ufności | Niemoderowane, nagrywane |
| Który układ powoduje mniej błędów? | Metryka porównawcza w próbie, która może je rozdzielić | Niemoderowane, nagrywane |
| Jak wygląda tydzień rzeczywistego użytkowania? | Powtarzające się wpisy w ciągu kilku dni | Dziennik asynchroniczny |
| Która zmiana przyniesie nam więcej pieniędzy? | Eksperyment na żywo na prawdziwym ruchu | Żadna z trzech opcji — przeprowadź test A/B |
Ostatni wiersz jest ważniejszy, niż się wydaje. Testy użyteczności pokazują, czy interfejs jest użyteczny i gdzie zawodzi, a nie jaki jest wpływ zmiany na przychody. Badanie przeprowadzone na pięciu osobach w celu rozstrzygnięcia pytania o metrykę biznesową to niewłaściwe narzędzie, a jego odpowiedź nie przetrwa kontaktu z lejkiem sprzedażowym.
Ekran z czterema pytaniami
Jeśli tabela nie zawiera Twojego pytania, uruchom je po kolei. Decyduje pierwsza odpowiedź „tak”.
- Czy musisz pytać „dlaczego”, gdy to się dzieje? Moderowane. Nie można modyfikować sondy w nagraniu.
- Czy uczestnik potrzebuje danych uwierzytelniających, środowiska testowego, technologii wspomagającej lub urządzenia, które Państwo zapewnią? Moderowane. Platformy niemoderowane dobrze radzą sobie z publicznym prototypem, ale gorzej z zamkniętym środowiskiem.
- Czy potrzebujesz liczby z dołączonym przedziałem ufności? Niemoderowane. Osiem moderowanych sesji generuje wskaźnik ukończenia z tak szerokim przedziałem, że nie jest w stanie oddzielić 50% od 90%.
- Czy zachowanie obejmuje więcej niż jedno posiedzenie? Asynchronicznie. Wdrożenie w ciągu tygodnia lub porzucona i wznowiona rezerwacja nie zmieszczą się w 60-minutowej sesji.
Wielkość próby: co może obsłużyć każda metoda
Zasada „pięciu użytkowników wystarczy” pochodzi z Artykuł Jakoba Nielsena z 2000 roku i sprawdza się tylko średnio, w przypadku wykrywania problemów, w jednym przepływie. Faulkner przeprowadził badanie z udziałem 60 uczestników w aplikacji do ewidencji czasu pracy, skatalogował 45 problemów, a następnie ponownie przeprowadził losowanie 100 grup dla każdego rozmiaru. To właśnie rozrzut jest tym, o czym wszyscy zapominają.
| użytkownicy | Średni % znalezionych problemów | Najgorsza próbka w 100 losowaniach |
|---|---|---|
| 5 | 85.5% | 55% |
| 10 | 94.7% | 82% |
| 20 | 98.4% | 95% |
| 30 | 99.0% | 97% |
| 50 | 100% | 98% |
Potraktuj to jako stwierdzenie ryzyka, a nie cel. Pięć sesji zazwyczaj ujawnia większość błędów, a mniej więcej jedna na dwadzieścia sesji sprawia, że uważasz, że zepsuty przepływ jest w porządku — akceptowalny dla prototypu, ale zły dla finalizacji zamówienia, którą wkrótce wyślesz. Nasz podział pracy: 5 do 8 moderowanych sesji na potrzeby odkrycia jednego przepływu, 10 do 12, gdy rozgałęzia się on według segmentu lub urządzenia, 30 lub więcej sesji niemoderowanych, gdy wynikiem jest stawka, a nie lista problemów.
Koszt i kalendarz: na co tak naprawdę trafiają pieniądze
Koszt moderowany to głównie kalendarz badacza – planowanie, nieobecności, sesja, a następnie analiza. Koszt niemoderowany to głównie nadrekrutacja, ponieważ płacisz za uczestników, których odrzucasz, a wskaźnik odrzuceń jest wyższy niż zakłada większość budżetów.
W Porównanie pięciu platform badawczych PLOS ONE z 2023 r. (N = 2,729) odsetek respondentów spełniających łączny poziom jakości wyniósł 75.4% w Prolific, 75.1% w CloudResearch, 62.7% w SONA, 59.1% w Qualtrics i 54.2% w MTurk, przy czym koszt na respondenta wysokiej jakości wahał się od 1.90 do 8.17 USD. Studia 2026 w zakresie jakości i ilości jest bardziej rygorystyczny: spośród 4,453 uczestników, którzy wyrazili zgodę, 15.97% pozostało w badaniu po wstępnym badaniu, przy czym sprawdzanie uwagi dyskwalifikowało 27.13%, a pytania mające na celu wyraźne wykrycie botów wykryły jedynie 3.48%.
Dlatego skaluj niemoderowane badania tak, aby odpowiadały liczbie, którą musisz przeanalizować, podzielonej przez oczekiwany wskaźnik retencji, i umieść co najmniej jedno pytanie otwarte i jeden test uwagi w każdym skrypcie, ponieważ tanie testy botów nie działają. Moderowana sesja sama się testuje: ktoś, kto dołącza do rozmowy i rozmawia z tobą przez 45 minut, jest, niezależnie od innych faktów, człowiekiem.
[POTRZEBNE DANE WEWNĘTRZNE: Mediana dni od krótkiego spotkania rekrutacyjnego do pierwszej ukończonej sesji według Switas oraz zaobserwowany przez nas wskaźnik wykluczeń w przypadku niemoderowanych studiów w języku tureckim, w celu zastąpienia powyższych ogólnych danych dotyczących platformy.]
Warstwa Turcji i UE, która może zastąpić Twój wybór
Platforma niemoderowana rejestruje ekran uczestnika, często jego głos i twarz, i przechowuje je w infrastrukturze dostawcy, zazwyczaj poza Turcją, a często poza EOG. Jest to transfer danych osobowych za granicę, a od 1 czerwca 2024 r. tureckie prawo przewiduje stały zestaw mechanizmów.
Ustawa nr 7499 (Dziennik Urzędowy 32487 z 12 marca 2024 r.) przepisała artykuł 9 ustawy nr 6698. Transfery za granicę wymagają obecnie decyzji o adekwatności lub wymienionego zabezpieczenia: wiążących reguł korporacyjnych zatwierdzonych z wyprzedzeniem, standardowej umowy opublikowanej przez Urząd i przekazanej mu lub indywidualnego zobowiązania zatwierdzonego przez Urząd. Wyjątkowe przesłanki, w tym wyraźna zgoda, są opracowywane dla incydentalnych, jednorazowych transferów – którymi stały program badawczy nie jest. Ponieważ Własna strona urzędu W dokumentach nie stwierdzono jeszcze, aby jakikolwiek kraj został uznany za odpowiedni, więc w praktyce zagraniczna platforma testowa działa na podstawie standardowej umowy, którą ktoś musi podpisać i powiadomić.
Zasada, którą stosujemy: jeśli badanie obejmuje konto uczestnika, rzeczywiste dane klientów lub informacje specjalnej kategorii – rutynowe w ochronie zdrowia i pracy w sektorze publicznym – moderowane sesje dotyczące kontrolowanej przez Ciebie infrastruktury stanowią krótszą ścieżkę do zgodności, nawet jeśli niemoderowane są tańsze. W przypadku publicznego prototypu i zadania syntetycznego, platforma jest w porządku. Czytelnicy spoza Turcji rozpoznają strukturę z rozdziału V RODO, z jedną istotną różnicą: nie obowiązuje żadna decyzja dotycząca adekwatności, więc nie ma ram prawnych w stylu UE-USA, na których można by się oprzeć.
Zanim cokolwiek zarezerwujesz
- Wyrok orzekający zostaje zapisany, a Ty możesz podać ustalenie, które mogłoby go zmienić.
- Metoda pochodzi z tabeli lub ekranu powyżej, a nie z tego, co uruchomiłeś ostatnio.
- Wielkość próby jest uzasadniana na podstawie produktu końcowego: listy problemów lub stawki.
- Tylko bez moderacji: docelowy n podzielony przez oczekiwaną retencję; skrypt zawiera pytanie otwarte i sprawdza uwagę.
- Tylko moderowane: zadania napisane w taki sposób, że uczestnik nie potrzebuje wyjaśnień; sondy przygotowane, ale nie prowadzące.
- Zasady rejestrowania, miejsca przechowywania, okresu retencji i mechanizmu transferu ustalane są przed rekrutacją.
- Ktoś jest właścicielem kalendarza analiz; nieanalizowane nagrania są przyczyną tego, że niemoderowane badania nie przynoszą żadnych rezultatów.
Gdzie to się psuje
Tabela Faulknera pochodzi z jednej aplikacji do ewidencji czasu pracy, zawierającej 45 skatalogowanych problemów. Krzywe odkrycia zależą od prawdopodobieństwa, z jakim przeciętny uczestnik napotka przeciętny problem, a prawdopodobieństwo to spada w przypadku produktu z wieloma rozgałęzionymi przepływami. Potraktuj tabelę jako podstawę prostego przepływu.
W niniejszym przewodniku nie omówiono mechanizmów rekrutacji, technik moderacji, przekształcania ustaleń w hipotezy ani testowania zgodności dostępności, które jest audytem kryteriów, a nie badaniem użyteczności.
Wywiady moderowane przez sztuczną inteligencję plasują się obecnie pomiędzy wywiadami moderowanymi a niemoderowanymi, reklamowane jako połączenie obu metod. Nie widzieliśmy opublikowanych dowodów porównujących metody na poziomie cytowanych tu badań. Dopóki takie dowody nie powstaną, traktuj sesję moderowaną przez sztuczną inteligencję jako niemoderowane testy z lepszym scenariuszem i nie pozwól, aby decyzja zależała od fachowego sondowania.
FAQ
Czy pięciu uczestników to naprawdę wystarczająco dużo? Średnio pięciu użytkowników znajduje około 85% problemów w jednym przepływie, ale najgorszy ze 100 pięcioosobowych próbek Faulknera znalazł 55%. Rozsądne rozwiązanie dla prototypu, ale skąpe dla wszystkiego, co zamierzasz wypuścić.
Czy mogę przeprowadzić moderowane badanie zdalnie? Tak, i w przypadku większości prac produktowych tak właśnie powinno być. Moderacja polega na obecności badacza, a nie na pomieszczeniu. Tracisz kontekst środowiskowy, a zyskujesz zasięg.
Ilu uczestników jest potrzebnych, aby osiągnąć wskaźnik ukończenia kursu? Więcej niż pozwala na to badanie moderowane. Najpierw określ różnicę, którą chcesz wykryć – oddzielenie 70% od 85% wymaga zupełnie innej próby niż oddzielenie 30% od 80% – a następnie dostosuj ją do wielkości próby i licz się z odrzuceniem jednej czwartej rekrutów.
Czy testy niemoderowane wykrywają mniej problemów niż testy moderowane? Nagrane, niemoderowane sesje analizowane przez badacza ujawniają porównywalny zestaw problemów behawioralnych, ale brak wyjaśnień. Wartość „połowa problemów” odnosi się do formatów samooceny, w których nikt nie obserwuje sesji.
Czy potrzebujemy wyraźnej zgody na nagrywanie sesji? Niezależnie od wybranej metody, potrzebna jest podstawa prawna i jasne powiadomienie. W Turcji kwestia transferu za granicę jest oddzielona od kwestii rejestracji.
Jak długi powinien być zestaw zadań niemoderowanych? Zazwyczaj trwa od 15 do 20 minut. Dłuższe scenariusze zwiększają liczbę osób rezygnujących z nauki i nagradzają dokładnie tych uczestników, których chcesz wykluczyć.
Współpracuj z Varso
Jeśli decyzja jest w toku i nie masz pewności, która z tych trzech opcji ją rozstrzygnie, możemy wspólnie z Tobą określić zakres badania – metodę, wielkość próby, rekrutację i dokumentację dotyczącą transferu danych. Zobacz Usługi badawcze użytkowników Switas.
Źródła
- Faulkner, L. (2003). Poza założeniem pięciu użytkownikówMetody badań behawioralnych, 35(3), 379–383.
- Nielsen, J. (19 marca 2000). Dlaczego należy przeprowadzać testy tylko z udziałem 5 użytkowników. Grupa Nielsen Norman.
- Pomiar U. Czy użytkownicy mogą sami zgłaszać problemy z użytecznością? — podsumowując Castillo (1998), Bruun i in. (2007), Andreasen i in. (2009).
- Douglas, Ewell & Brauer (14 marca 2023). Jakość danych w internetowych badaniach z udziałem ludzi. PROSZĘ PIERWSZY.
- Walka z botami i błędnymi danymi (11 kwietnia 2026). Jakość i ilość, 60(4).
- Kişisel Verileri Koruma Kurumu, Yurt Dışına Aktarım — Ustawa 6698 Art. 9 ze zmianami wprowadzonymi przez ustawę 7499 (OG 32487 z dnia 12 marca 2024 r.; obowiązuje od 1 czerwca 2024 r.).
