De meeste teams kiezen een methode voor gebruiksvriendelijkheidstesten op basis van budget of gewoonte, om er vervolgens achter te komen dat de sessies de vraag die hen ertoe aanzette niet kunnen beantwoorden. De methode is geen kwestie van smaak; ze wordt bepaald door de beslissing die je probeert te nemen. Deze gids biedt een stapsgewijze aanpak om te kiezen tussen gemodereerde, ongemodereerde en asynchroon testen: de steekproefgrootte die elke methode ondersteunt, de kosten en de daadwerkelijke datakwaliteit van elke methode, en de regels voor gegevensoverdracht die de keuze in Turkije en de EU beperken. De gids is bedoeld voor product-, UX- en CRO-teams die een handvol onderzoeken per jaar uitvoeren en zich geen verloren onderzoek kunnen veroorloven. Om te beginnen een referentiewaarde: in het onderzoek van Laura Faulkner uit 2003 vonden willekeurige steekproeven van vijf gebruikers gemiddeld 85.5% van de bekende problemen, maar de slechtste steekproef van vijf gebruikers vond slechts 55%.
De drie methoden zijn nauwkeurig genoeg gedefinieerd om ze met elkaar te kunnen vergelijken.
Gematigd. Onderzoeker en deelnemer zijn samen aanwezig tijdens de sessie, fysiek of via een videogesprek. De onderzoeker geeft opdrachten, observeert en stelt vragen. Resultaat: geobserveerd gedrag plus een toelichting.
Niet gemodereerd, opgenomen. De deelnemer voert zelfstandig een voorgeschreven taak uit, terwijl een platform het scherm, muisklikken en meestal ook geluid vastlegt. Een onderzoeker analyseert de opnames later. Resultaat: gedrag zonder verklaring.
Asynchrone zelfrapportage. De deelnemer werkt alleen en noteert wat er misging — een dagboekstudie, een feedbackformulier, een geannoteerde opdracht. Er wordt geen opname geanalyseerd. Resultaat: het eigen verslag van de deelnemer.
Het samenvoegen van deze drie tot 'gemodereerd versus ongemodereerd' is hoe een veelgebruikt cijfer verkeerd wordt geïnterpreteerd. De bevinding dat gebruikers ongeveer de helft van de problemen melden die een getrainde onderzoeker observeert, komt voort uit... zelfrapportageonderzoekenwaarbij deelnemers zelf problemen documenteerden. Dat is een kenmerk van asynchrone zelfrapportage, niet van opgenomen, niet-gemodereerde sessies die door een onderzoeker worden geanalyseerd. Als iemand zegt dat niet-gemodereerde sessies de helft van de problemen aan het licht brengen, vraag dan welke van de twee ze bedoelen.
Begin bij de beslissing, niet bij de methode.
Schrijf de zin op die je wilt kunnen zeggen als de studie is afgelopen en zoek vervolgens de juiste rij op.
| De beslissing die je moet nemen om af te sluiten | Bewijs dat de zaak afsluit | Methode |
|---|---|---|
| Waarom haken mensen in deze fase af? | Gedrag en de achterliggende redenen | Gemodereerd |
| Wordt dit concept überhaupt begrepen? | Het begrip werd getoetst aan de hand van de eigen woorden van de gebruiker. | Gemodereerd |
| Werkt dit met een schermlezer? | Waargenomen gebruik door mensen die er dagelijks een gebruiken | Gemodereerd |
| Kunnen mensen taak X zelfstandig uitvoeren? | Een voltooiingspercentage met een betrouwbaarheidsinterval | Niet gemodereerd, opgenomen |
| Welke lay-out levert minder fouten op? | Een vergelijkende maatstaf bij een steekproefomvang die ze van elkaar kan onderscheiden. | Niet gemodereerd, opgenomen |
| Hoe ziet een week van echt gebruik eruit? | Herhaalde vermeldingen gedurende meerdere dagen | Asynchroon dagboek |
| Welke verandering levert ons meer geld op? | Een live experiment met echt verkeer. | Geen van de drie — voer een A/B-test uit. |
De laatste rij is belangrijker dan het lijkt. Gebruiksvriendelijkheidstesten laten zien of een interface bruikbaar is en waar de problemen zich voordoen, niet wat het effect van een wijziging op de omzet is. Een onderzoek onder vijf personen, uitgevoerd om een vraag over een bedrijfsindicator te beantwoorden, is niet de juiste methode, en het resultaat zal de uiteindelijke verkoopfunnel niet doorstaan.
Het scherm met vier vragen
Als uw vraag niet in de tabel staat, voer deze dan in de aangegeven volgorde uit. Het eerste "ja"-antwoord is doorslaggevend.
- Moet je je afvragen "waarom" terwijl het gebeurt? Gemodereerd. Je kunt geen meetsonde achteraf op een opname aansluiten.
- Heeft de deelnemer inloggegevens, een sandbox, ondersteunende technologie of een door u verstrekt apparaat nodig? Gemodereerd. Platforms zonder moderatie werken goed met een openbaar prototype, maar slecht met een afgeschermde omgeving.
- Heeft u een getal nodig met een bijbehorend betrouwbaarheidsinterval? Zonder moderatie. Acht gemodereerde sessies leveren een voltooiingspercentage op met een interval dat zo groot is dat het verschil tussen 50% en 90% niet te onderscheiden is.
- Is het gedrag over meerdere sessies verspreid? Asynchroon. Een onboardingproces dat een week duurt, of een boeking die wordt geannuleerd en later hervat, past niet in een sessie van 60 minuten.
Steekproefomvang: wat elke methode kan ondersteunen
De regel "vijf gebruikers is genoeg" komt van Jakob Nielsens artikel uit 2000 En dat geldt slechts gemiddeld, voor het ontdekken van problemen, in één enkele workflow. Faulkner liet 60 deelnemers een urenregistratie-applicatie gebruiken, catalogiseerde 45 problemen en selecteerde vervolgens 100 willekeurige groepen van elke grootte. De spreiding is wat iedereen vergeet.
| Gebruikers | Gemiddeld percentage gevonden problemen | Slechtste resultaat van de 100 trekkingen |
|---|---|---|
| 5 | 85.5% | 55% |
| 10 | 94.7% | 82% |
| 20 | 98.4% | 95% |
| 30 | 99.0% | 97% |
| 50 | 100% | 98% |
Beschouw dit als een risicoanalyse, niet als een doelstelling. Vijf sessies brengen meestal het grootste deel van de problemen aan het licht, en in ongeveer één op de twintig sessies denk je dat een gebrekkige workflow prima is – acceptabel voor een prototype, maar slecht voor een product dat je op het punt staat te lanceren. Onze werkverdeling: 5 tot 8 gemodereerde sessies voor het ontdekken van een enkele workflow, 10 tot 12 wanneer deze vertakt per segment of apparaat, 30 of meer ongemodereerde sessies wanneer het eindresultaat een tarief is in plaats van een lijst met problemen.
Kosten en planning: waar gaat het geld daadwerkelijk naartoe?
De kosten bij gematigde deelname bestaan voornamelijk uit de tijdsbesteding van de onderzoeker: het inplannen van afspraken, het afhandelen van afwezigheden, de sessie zelf en de analyse. De kosten bij ongemodereerde deelname bestaan voornamelijk uit overwerving, omdat je betaalt voor deelnemers die je uiteindelijk afwijst, en dat afwijzingspercentage ligt hoger dan de meeste budgetten aannemen.
In een Vergelijking van vijf onderzoeksplatformen in PLOS ONE 2023 (N = 2,729), het percentage respondenten dat voldeed aan een gecombineerde kwaliteitsnorm was 75.4% op Prolific, 75.1% op CloudResearch, 62.7% op SONA, 59.1% op Qualtrics en 54.2% op MTurk, met kosten per respondent van hoge kwaliteit variërend van $1.90 tot $8.17. Studie uit 2026 over kwaliteit en kwantiteit is strenger: van de 4,453 deelnemers die toestemming gaven, bleef er na de screening slechts 15.97% over. Aandachtschecks leidden tot diskwalificatie van 27.13%, terwijl expliciete vragen over botdetectie slechts 3.48% ontmaskerden.
Bepaal bij ongemodereerde studies de omvang van het aantal deelnemers dat je wilt analyseren, gedeeld door het verwachte retentiepercentage, en voeg in elk script minstens één open vraag en één aandachtscheck toe, want goedkope botscreens werken niet. Een gemodereerde sessie screent zichzelf: iemand die deelneemt aan een gesprek en 45 minuten met je praat, is, wat verder ook waar is, een mens.
[INTERNE GEGEVENS NODIG: Het mediane aantal dagen van Switas tussen de wervingsbrief en de eerste voltooide sessie, en ons waargenomen uitvalpercentage bij Turkstalige, niet-gemoderdeerde studies, ter vervanging van de algemene platformcijfers hierboven.]
De laag Turkije en de EU kan uw keuze overrulen.
Een ongemodereerd platform registreert het scherm van de deelnemer, vaak ook zijn of haar stem en gezicht, en slaat deze gegevens op in de infrastructuur van de leverancier, meestal buiten Turkije en vaak zelfs buiten de EER. Dit is een overdracht van persoonsgegevens naar het buitenland, en sinds 1 juni 2024 schrijft de Turkse wetgeving voor dat deze gegevens via een vast mechanisme moeten worden verwerkt.
Wet 7499 (Staatsblad 32487, 12 maart 2024) heeft artikel 9 van Wet 6698 herschreven. Overdrachten naar het buitenland vereisen nu een adequaatheidsbesluit of een van de vermelde waarborgen: bindende, vooraf goedgekeurde bedrijfsregels, een standaardcontract dat door de Autoriteit is gepubliceerd en aan haar is meegedeeld, of een op maat gemaakte overeenkomst die zij goedkeurt. De uitzonderingsgronden, waaronder expliciete toestemming, zijn opgesteld voor incidentele, niet-terugkerende overdrachten – wat een permanent onderzoeksprogramma niet is. Eigen pagina van de autoriteit Volgens de beschikbare gegevens is nog geen enkel land als geschikt verklaard, dus in de praktijk is een buitenlands testplatform gebaseerd op een standaardcontract dat door iemand moet worden ondertekend en goedgekeurd.
De regel die we hanteren is: als het onderzoek persoonlijke gegevens van een deelnemer, echte klantgegevens of informatie uit bijzondere categorieën vastlegt – wat routine is in de gezondheidszorg en de publieke sector – dan zijn gemodereerde sessies op een door u beheerd platform de snelste weg naar naleving, zelfs als ongemodereerde sessies goedkoper zijn. Voor een publiek prototype en een synthetische taak is de platformroute prima. Lezers buiten Turkije zullen de structuur herkennen uit hoofdstuk V van de AVG, met één belangrijk verschil: er is geen adequaatheidsbesluit van kracht, dus er is geen EU-VS-achtig kader om op terug te vallen.
Voordat je iets boekt
- De beslissingszin is opgeschreven en u kunt de bevinding benoemen die deze zou veranderen.
- De methode komt uit de tabel of het scherm hierboven, niet uit wat je de vorige keer hebt uitgevoerd.
- De steekproefomvang wordt gerechtvaardigd aan de hand van het resultaat: een probleemlijst of een percentage.
- Alleen onbegeleid: doelaantal n gedeeld door verwachte retentie; script bevat een open vraag en een aandachtstoets.
- Alleen begeleid: taken zijn zo geformuleerd dat de deelnemer geen uitleg nodig heeft; er worden wel vragen gesteld, maar deze worden niet gestuurd.
- Registratie, opslaglocatie, bewaartermijn en overdrachtsmechanisme worden vóór de aanwerving vastgesteld.
- Iemand beheert de analysekalender; ongeanalyseerde opnames zijn de reden waarom ongemodereerde studies niets opleveren.
Waar dit misgaat
De tabel van Faulkner is afkomstig van één urenregistratieapplicatie met 45 gecatalogiseerde problemen. Ontdekkingscurven zijn afhankelijk van de waarschijnlijkheid dat een gemiddelde deelnemer een gemiddeld probleem tegenkomt, en die waarschijnlijkheid daalt in een product met veel vertakkende processen. Beschouw de tabel als een ondergrens voor een eenvoudig proces.
Deze handleiding behandelt niet de wervingsprocedures, moderatietechnieken, het omzetten van bevindingen in hypothesen of toegankelijkheidsconformiteitstesten, wat een audit is aan de hand van criteria in plaats van een gebruiksvriendelijkheidsstudie.
Door AI gemodereerde interviews bevinden zich nu tussen gemodereerde en ongemodereerde interviews in en worden gepresenteerd als een combinatie van beide. We hebben nog geen gepubliceerde onderzoeken gezien die de kwaliteit van de hier aangehaalde studies evenaren. Totdat dergelijke onderzoeken er zijn, moet u een door AI gemodereerde sessie beschouwen als een ongemodereerde test met een beter script, en er geen beslissing aan verbinden die afhangt van deskundige vragen.
FAQ
Zijn vijf deelnemers wel genoeg? Gemiddeld vinden vijf personen ongeveer 85% van de problemen in één workflow, maar in de slechtste van Faulkners 100 tests met vijf personen werd slechts 55% gevonden. Redelijk voor een prototype, maar mager voor een product dat op de markt gebracht moet worden.
Kan ik een begeleid onderzoek op afstand uitvoeren? Ja, en voor de meeste productontwikkelingen is dat ook aan te raden. Bij een gemodereerde setting is een onderzoeker aanwezig, niet een ruimte. Je verliest de context van de omgeving, maar je wint aan bereik.
Hoeveel deelnemers heb ik nodig voor een bepaald voltooiingspercentage? Meer dan een gematigd onderzoek toelaat. Bepaal eerst welk verschil je wilt detecteren — het scheiden van 70% van 85% vereist een heel andere steekproef dan het scheiden van 30% van 80% — pas de steekproefgrootte daarop aan en houd er rekening mee dat je een kwart van de deelnemers zult moeten afwijzen.
Wordt er bij onbegeleide tests minder aan het licht gebracht dan bij begeleide tests? Uit opnames van onbegeleide sessies die door een onderzoeker zijn geanalyseerd, blijkt een vergelijkbare reeks gedragsproblemen, maar geen verklaringen. Het cijfer "de helft van de problemen" geldt voor zelfrapportagesessies waarbij niemand de sessie observeert.
Hebben we expliciete toestemming nodig om een sessie op te nemen? U heeft een wettelijke grondslag en een duidelijke kennisgeving nodig, ongeacht welke methode u kiest. In Turkije staat de kwestie van overdracht naar het buitenland los van de kwestie van registratie.
Hoe lang moet een onbegeleide takenreeks duren? Doorgaans 15 tot 20 minuten. Langere scripts verhogen het aantal afvallers en belonen juist de deelnemers die je wilt uitsluiten.
Werk met ons
Als een beslissing afhankelijk is van bewijsmateriaal en u niet zeker weet welke van deze drie doorslaggevend zal zijn, kunnen we samen met u de onderzoeksopzet bespreken: methode, steekproefgrootte, werving en de documentatie voor gegevensoverdracht. Zie Switas gebruikersonderzoeksdiensten.
Bronnen
- Faulkner, L. (2003). Voorbij de aanname van vijf gebruikers. Gedragsonderzoeksmethoden, 35(3), 379–383.
- Nielsen, J. (19 maart 2000). Waarom je slechts met 5 gebruikers hoeft te testenNielsen Norman Group.
- MetenU. Kunnen gebruikers zelf problemen met de gebruiksvriendelijkheid melden? – een samenvatting van Castillo (1998), Bruun et al. (2007), Andreasen et al. (2009).
- Douglas, Ewell & Brauer (14 maart 2023). Datakwaliteit in online onderzoek met menselijke proefpersonenPLOS ONE.
- Vechten tegen bots en slechte data (11 april 2026). Kwaliteit & Kwantiteit, 60(4).
- Kişisel Verileri Koruma Kurumu, Yurt Dışına Aktarım — Wet 6698, artikel 9, zoals gewijzigd door Wet 7499 (OG 32487, 12 maart 2024; in werking getreden op 1 juni 2024).
