A legtöbb csapat költségvetés vagy szokás alapján választ használhatósági tesztelési módszert, majd rájön, hogy a munkamenetek nem tudják megválaszolni a kérdést, ami felvetette őket. A módszer nem ízlés kérdése; azt a döntés határozza meg, amelyet meg akarunk zárni. Ez az útmutató egy döntésalapú módszert mutat be a moderált, a moderálatlan és az aszinkron tesztelés közötti választáshoz: az egyes módszerek által támogatott minta mérete, az egyes módszerek költsége és adatminősége, valamint az adatátviteli szabályok, amelyek korlátozzák a választást Törökországban és az EU-ban. Termék-, UX- és CRO-csapatoknak szól, akik évente néhány tanulmányt végeznek, és nem engedhetik meg maguknak, hogy egyet is elpazaroljanak. Először is egy kalibrációs szám: Laura Faulkner 2003-as tanulmányában öt felhasználóból álló véletlenszerű minták átlagosan az ismert problémák 85.5%-át találták, de a legrosszabb öt felhasználós mintavétel 55%-ot talált.
A három módszer, elég pontosan definiálva ahhoz, hogy összehasonlítható legyen
Moderált. A kutató és a résztvevő együtt vesznek részt a foglalkozáson, személyesen vagy telefonon keresztül. A kutató feladatokat tűz ki, figyel és vizsgál. Kimenet: megfigyelt viselkedés plusz magyarázat.
Moderálás nélkül, rögzített. A résztvevő egyedül dolgozik egy szkriptelt feladatsoron, miközben egy platform rögzíti a képernyőképet, a kattintásokat és általában a hangfelvételeket. A kutató később elemzi a felvételeket. Kimenet: viselkedés magyarázat nélkül.
Aszinkron önbevallás. A résztvevő egyedül dolgozik, és leírja, mi ment rosszul – naplóbejegyzést készít, visszajelző lapot készít, jegyzetekkel ellátott feladatot készít. A felvételt nem elemzik. Kimenet: a résztvevő saját beszámolója.
Ha ezt a hármat „moderált vs. moderálatlan” kategóriába soroljuk, akkor egy széles körben ismétlődő adatot alkalmaznak félre. Az a megállapítás, hogy a felhasználók nagyjából a képzett kutatók által megfigyelt problémák felét jelentik, abból származik, hogy önbevallásos tanulmányok, ahol a résztvevők maguk dokumentálták a problémákat. Ez az aszinkron önbevallásra igaz, nem a kutató által elemzett, rögzített, moderálatlan munkamenetekre. Amikor valaki azt mondja, hogy a moderálás nélküli módszer a problémák felét találja meg, kérdezd meg, hogy a kettő közül melyikre gondol.
A döntéssel kezdd, ne a módszerrel
Írd le azt a mondatot, amelyet a tanulás befejezése után ki szeretnél tudni mondani, majd keresd meg a hozzá tartozó sort.
| A döntés, amire szükséged van a bezáráshoz | Bizonyíték, ami lezárja | Módszer |
|---|---|---|
| Miért hagyják fel az emberek ebben a lépésben? | Viselkedés és a mögötte álló indoklás | moderált |
| Érthető ez a koncepció egyáltalán? | A felhasználó saját szavaival vizsgált szövegértés | moderált |
| Ez működik képernyőolvasóval? | Naponta használók által megfigyelt használat | moderált |
| El tudják-e végezni az emberek az X feladatot segítség nélkül? | Befejezési arány konfidenciaintervallummal | Nem moderált, rögzített |
| Melyik elrendezés okoz kevesebb hibát? | Egy összehasonlító mutató egy olyan mintaelemszámnál, amely képes elkülöníteni őket | Nem moderált, rögzített |
| Hogyan néz ki egy hétnyi valódi használat? | Ismétlődő bejegyzések napokon keresztül | Aszinkron napló |
| Melyik változás hoz nekünk több pénzt? | Élő kísérlet valós forgalomban | Egyik a három közül – futtasson A/B tesztet |
Az utolsó sor fontosabb, mint amilyennek látszik. A használhatósági tesztelés azt mutatja meg, hogy egy felület használható-e, és hol hibásodik, nem pedig azt, hogy egy változás milyen bevételre gyakorolt hatást fejt ki. Egy ötfős tanulmány, amelyet egy üzleti metrikával kapcsolatos kérdés megválaszolására kértek fel, nem megfelelő eszköz, és a válasza nem éli túl a tölcsérrel való kapcsolatot.
A négykérdéses képernyő
Ha a táblázat nem tartalmazza a kérdésedet, futtasd le őket sorban. Az első „igen” dönt.
- Meg kell kérdezned a „miértet”, miközben történik? Moderált. Nem lehet utólag vizsgálatot végezni egy felvételen.
- Szüksége van a résztvevőnek hitelesítő adatokra, tesztkörnyezetre, segítő technológiára vagy az Ön által biztosított eszközre? Moderált. A moderálatlan platformok jól kezelik a nyilvános prototípusokat, és rosszul a zárt környezeteket.
- Szükséged van egy számra, amelyhez konfidenciaintervallum tartozik? Moderálatlan. Nyolc moderált munkamenet után a befejezési arány olyan széles intervallummal rendelkezik, hogy az nem tud különbséget tenni az 50% és a 90% között.
- A viselkedés egynél több ülést is átfog? Aszinkron. Egy héten átívelő beiratkozás, vagy egy félbehagyott és folytatott foglalás nem fér bele egy 60 perces foglalkozásba.
Mintaméret: amit az egyes módszerek támogatnak
Az „öt felhasználó elég” szabály innen származik Jakob Nielsen 2000-es cikke és egyetlen folyamatban, a problémafeltáráshoz csak átlagosan érvényes. Faulkner 60 résztvevőt futtatott le egy munkaidő-nyilvántartó alkalmazáson, katalogizált 45 problémát, majd minden méretnél újramintavételezett 100 véletlenszerű csoportot. A szórást mindenki elfelejti.
| felhasználók | A talált problémák átlagos százalékos aránya | Legrosszabb minta 100 húzásból |
|---|---|---|
| 5 | 85.5% | 55% |
| 10 | 94.7% | 82% |
| 20 | 98.4% | 95% |
| 30 | 99.0% | 97% |
| 50 | 100% | 98% |
Kockázatfeltáró nyilatkozatként, ne célként értelmezzük. Öt munkamenet általában feltárja a hibák nagy részét, és nagyjából huszadik futtatás után úgy gondoljuk, hogy a hibás folyamat rendben van – elfogadható egy prototípusnál, rossz egy kiszállítani kívánt pénztárnál. A munkafelosztásunk a következő: 5-8 moderált munkamenet egyetlen folyamat felderítéséhez, 10-12, ha szegmens vagy eszköz szerint elágazik, és 30 vagy több moderálatlan munkamenet, ha a szállítandó érték egy arány, nem pedig egy problémalista.
Költség és naptár: mire megy el a pénz valójában
A moderált költség többnyire a kutató naptárát jelenti – ütemezés, távolmaradások, a foglalkozás, majd az elemzés. A moderálatlan költség többnyire túlreprezentált, mivel fizetsz azokért a résztvevőkért, akiket elvetsz, és ez a selejtezési arány nagyobb, mint amit a legtöbb költségvetés feltételez.
egy 2023-as PLOS ONE öt kutatási platform összehasonlítása (N = 2,729), a kombinált minőségi küszöbnek megfelelő válaszadók aránya 75.4% volt a Prolific, 75.1% a CloudResearch, 62.7% a SONA, 59.1% a Qualtrics és 54.2% az MTurk platformon, a magas színvonalú válaszadónkénti költség pedig 1.90 és 8.17 dollár között mozgott. 2026-os tanulmány a Minőség és Mennyiség kategóriában durvább: a 4,453 beleegyező résztvevőből 15.97%-ot megtartottak a szűrés után, a figyelemfelkeltések 27.13%-ot kizártak, míg a kifejezetten botészlelő kérdések csak 3.48%-ot fogtak fel.
Tehát a moderálatlan tanulmányok méretét az elemzendő számnak megfelelően határozd meg, osztva a várható megtartási aránnyal, és minden szkriptbe tegyél legalább egy nyitott kérdést és egy figyelemfelkeltő tesztet, mert az olcsó botokkal végzett szűrések nem működnek. Egy moderált munkamenet önmagát szűri: valaki, aki csatlakozik egy híváshoz és 45 percig beszélget veled, – bármi más is igaz – személy.
[SZÜKSÉGES BELSŐ ADATOK: A fenti általános platformadatok helyett a toborzási megbízástól az első befejezett konzultációig eltelt Switas-napok mediánja, valamint a török nyelvű, moderálatlan tanulmányok esetében megfigyelt kiszűrési arányunk.]
A Törökország és az EU réteg, amely felülírhatja a választásodat
Egy moderálatlan platform rögzíti a résztvevő képernyőjét, gyakran a hangját és az arcát, és azt általában Törökországon és gyakran az EGT-n kívüli szolgáltatói infrastruktúrán tárolja. Ez személyes adatok külföldre történő továbbítását jelenti, és 2024. június 1. óta a török törvények ezeket a folyamatokat egy rögzített mechanizmusokon keresztül irányítják.
A 7499. törvény (Hivatalos Közlöny 32487. szám, 2024. március 12.) átírta a 6698. törvény 9. cikkét. A külföldi adattovábbításokhoz mostantól megfelelőségi határozatra vagy felsorolt biztosítékra van szükség: előzetesen jóváhagyott kötelező erejű vállalati szabályokra, a Hatóság által közzétett és a Hatóságnak bejelentett szabványszerződésre, vagy az általa jóváhagyott egyedi kötelezettségvállalásra. A kivételes indokokat, beleértve a kifejezett hozzájárulást is, eseti, nem ismétlődő adattovábbításokra fogalmazzák meg – ami egy állandó kutatási program esetében nem az. Mivel a A hatóság saját oldala A feljegyzések szerint még egyetlen országot sem nyilvánítottak megfelelőnek, így a gyakorlatban egy külföldi tesztelési platform egy szabványos szerződésen alapul, amelyet valakinek alá kell írnia és értesítenie kell.
Az általunk alkalmazott szabály: ha a tanulmány a résztvevő saját fiókját, valós ügyféladatokat vagy speciális kategóriájú információkat rögzít – rutinszerűek az egészségügyben és a közszférában végzett munkában –, akkor az Ön által ellenőrzött infrastruktúrán folytatott moderált munkamenetek a rövidebb megfelelési utat jelentik, még akkor is, ha a moderálás nélküli munka olcsóbb. Nyilvános prototípus és szintetikus feladat esetén a platformút is megfelelő. A Törökországon kívüli olvasók felismerik a GDPR V. fejezetéből származó struktúrát, egy lényeges különbséggel: nincs hatályos megfelelőségi határozat, így nincs EU-USA stílusú keretrendszer, amelyre támaszkodhatnának.
Mielőtt bármit is lefoglalnál
- A döntési mondatot leírod, és megnevezheted azt a megállapítást, ami megváltoztatná.
- A metódus a fenti táblázatból vagy képernyőről származik, nem abból, amit legutóbb futtattál.
- A minta méretét a leszállítandó mennyiséghez kell igazítani: egy problémalistához vagy egy arányhoz.
- Csak moderálás nélkül: cél n osztva a várható megtartással; a szkript tartalmaz egy nyitott kérdést és egy figyelemfelkeltőt.
- Csak moderált: a feladatok meg vannak írva, így a résztvevőnek nem kell magyarázatot adnia; a kérdések előkészítettek, de nem vezető jellegűek.
- A felvétel, a tárolási hely, a megőrzési időszak és az átadási mechanizmus a toborzás előtt került meghatározásra.
- Valaki birtokolja az elemzési naptárat; az elemzetlen felvételek révén nem hoznak eredményt a moderálatlan tanulmányok.
Hol bukik ez meg
Faulkner táblázata egyetlen munkaidő-nyilvántartó alkalmazásból származik, amely 45 katalogizált problémát tartalmaz. A felfedezési görbék attól függenek, hogy egy átlagos résztvevő milyen valószínűséggel találkozik egy átlagos problémával, és ez a valószínűség csökken egy sok elágazó folyamattal rendelkező termékben. Tekintsük a táblázatot egy egyszerű folyamat alsó határaként.
Ez az útmutató nem tárgyalja a toborzási mechanikát, a moderálási technikát, az eredmények hipotézisekké alakítását, illetve az akadálymentesítési megfelelőségi tesztelést, amely inkább kritériumok szerinti audit, mint használhatósági tanulmány.
A mesterséges intelligencia által moderált interjúk ma már a moderált és a moderálatlan között helyezkednek el, és a kettő kombinációjaként reklámozzák őket. Nem láttunk publikált módszer-összehasonlító bizonyítékot az itt idézett tanulmányok színvonalán. Amíg ilyen nem létezik, a mesterséges intelligencia által moderált interjúkat jobb forgatókönyvvel végzett moderálatlan tesztelésként kell kezelni, és ne hagyni, hogy olyan döntést hozzanak, amely szakképzett kérdezésen múlik.
FAQ
Tényleg elég öt résztvevő? Átlagosan öten találják meg a problémák körülbelül 85%-át egyetlen folyamatban, de Faulkner 100 ötfős mintája közül a legrosszabb 55%-ot talált. Egy prototípushoz elfogadható, de bármilyen szállításra szánt dologhoz vékony.
Végezhetek moderált tanulmányt távolról? Igen, és a legtöbb termékkel kapcsolatos munka esetében ezt kellene tenned. A moderálás a kutató jelenlétéről szól, nem egy szobáról. Elveszed a környezeti kontextust, és nagyobb nyilvánosságot kapsz.
Hány résztvevőre van szükségem a teljesítési arány eléréséhez? Több, mint amit egy moderált tanulmány megengedhet magának. Döntsd el, hogy melyik különbséget kell először kimutatnod – a 70% és a 85% elkülönítése egészen más mintát igényel, mint a 30% és a 80% elkülönítése –, majd méretezd ezt, és számíts arra, hogy az újoncok negyedét el kell vetni.
A moderálatlan tesztelés kevesebb problémát talál, mint a moderált? A kutatók által elemzett, moderálatlan rögzített ülések hasonló viselkedési problémákat találtak, de magyarázatot nem. A „problémák fele” adat az önbevallásos formátumokra vonatkozik, ahol senki sem nézi a foglalkozást.
Szükségünk van kifejezett hozzájárulásra a munkamenet rögzítéséhez? Bármelyik módszert is választja, jogalapra és egyértelmű értesítésre van szüksége, Törökországban pedig a külföldre történő átutalás kérdése elkülönül a nyilvántartásba vétel kérdésétől.
Milyen hosszúnak kell lennie egy moderálatlan feladatkészletnek? Általában 15-20 perc. A hosszabb forgatókönyvek növelik a lemorzsolódást, és pontosan azokat a résztvevőket jutalmazzák, akiket ki szeretnének szűrni.
Dolgozz velünk
Ha a döntés bizonyítékokra vár, és nem biztos benne, hogy e három közül melyik oldja meg a problémát, akkor Önnel közösen meghatározhatjuk a tanulmány hatókörét – a módszer, a minta mérete, a toborzás és az adatátviteli papírmunka. Lásd: Switas felhasználói kutatási szolgáltatások.
Források
- Faulkner, L. (2003). Az öt felhasználós feltételezésen túlViselkedéskutatási Módszerek, 35(3), 379–383.
- Nielsen, J. (2000. március 19.). Miért kell csak 5 felhasználóval tesztelni?Nielsen Norman Csoport.
- Mérés U. Jelenthetik-e a felhasználók saját kezűleg a használhatósági problémákat? – összefoglalva Castillo (1998), Bruun et al. (2007), Andreasen et al. (2009).
- Douglas, Ewell és Brauer (2023. március 14.). Adatminőség az online, embereken végzett kutatásokbanPLOS ONE.
- Botok és rossz adatok elleni küzdelem (2026. április 11.). Minőség és Mennyiség, 60(4).
- Kişisel Verileri Koruma Kurumu, Jurta Dışına Aktarım — A 7499. számú törvénnyel (OG 32487, 2024. március 12.; hatályba lépett 2024. június 1-jén) módosított 6698. számú törvény 9. cikke.
