Fire måter å dimensjonere en brukervennlighetsstudie på, og når fembrukerregelen brytes

Noen i teamet ditt sier at fem brukere er nok. De siterer en 1993-modell, og de siterer ikke parameteren. I Laura Faulkners studie fra 2003 fant tilfeldige trekninger av fem deltakere fra en gruppe på 60 mellom 55 % og 99 % av de kjente problemene i samme grensesnitt, med de samme oppgavene og samme moderator. Antallet du får avhenger av hvem som kommer inn døren.

Denne veiledningen er for forskere, produktsjefer og CRO-ledere som må forsvare et rekrutteringstall før en studie starter. Til slutt vil du kunne velge én av fire størrelsesmetoder, angi antagelsen den hviler på, og si hva tallet ditt gir deg i problemdekning. Den vil ikke fortelle deg at du må teste flere personer. Den vil fortelle deg når fem er et forsvarlig svar og når det er en gjetning.

Hvor fembrukertallet kommer fra

Nielsen og Landauer modellerte problemoppdagelse som N x (1 - (1 - p)^n): med N problemer i designet, p sannsynligheten for at en enkelt deltaker støter på et gitt problem, og n deltakere, andelen problemer du finner er 1 - (1 - p)^nDe målte en gjennomsnittlig p på 0.31 på tvers av datasettet sitt. Ved p = 0.31 når fem deltakere 84.4 % dekning. Det er derfra «fem brukere finner 85 % av problemene» kommer.

To ting blir utelatt i gjenfortellingen. For det første, avrundingen: ved p = 0.31 trenger du seks deltakere for å klare 85 %, ikke fem. For det andre, og enda viktigere, er ikke p en naturkonstant. Virzi målte 0.32, Lewis målte 0.16 på et annet system, og Spool og Schroeder fant fortsatt alvorlige problemer etter dusinvis av deltakere på åpne e-handelsoppgaver. Den ærlige versjonen av påstanden er betinget. Her er hva fem, ti og tjue deltakere finner ved fire problemforekomstrater:

Les den nederste raden før neste planleggingsmøte. Problemene som ødelegger en kasse er vanligvis ikke de fire av fem snubler over. De ble fikset for mange år siden.

Metode 1: fast fem, gjentas ofte

Kjør fem deltakere, fiks det du finner, kjør fem til på neste byggeprosjekt. Nielsens argument var aldri at fem er statistisk tilstrekkelig. Det var at den marginale brukeren er verdt mindre enn den marginale. studere.

Bruk den når: Du itererer på et design som fortsatt endres ukentlig, grensesnittet er nytt nok til at de fleste problemene er vanlige (høy p), og du kan faktisk sende rettelser mellom rundene.

Det mislykkes når: Studien er en engangsrevisjon du ikke vil gjenta, funnene går til interessenter som vil behandle «vi fant ingenting annet» som bevis på kvalitet, eller produktet er modent og de gjenværende problemene er per definisjon sjeldne.

Metode 2: størrelse fra et oppdagelsesmål

Inverter modellen. Velg dekningen du trenger (P) og forekomstraten du forventer (p), og løs deretter n = ln(1 - P) / ln(1 - p).

Bruk den når: studien har et samsvars-, juridisk eller lanseringsformål, og du må oppgi dekning skriftlig, eller når du jakter på en spesifikk klasse av lavfrekvente feil, for eksempel en feilgjenopprettingsvei.

Det mislykkes når: Du har ikke noe grunnlag for p. Å velge 0.31 fordi det er det publiserte gjennomsnittet er det samme som å gjette som å velge fem, og bruke en formel som kostyme.

Metode 3: estimer p fra din egen første runde, og endre deretter størrelsen

Dette er metoden vi bruker som standard, fordi den erstatter gjetningen med dine egne data.

1. Kjør en innledende runde på fem. Logg hvert enkelt problem og merk av hvilke deltakere som traff det.
2. Beregn den observerte p-verdien som gjennomsnittet av (deltakere som treffer problemet / deltakerne løper) på tvers av alle forskjellige problemer.
3. Deflater den. Små innledende utvalg overestimerer systematisk p, fordi problemer som bare én person møter er de du ikke har møtt ennå. Hertzum og Jacobsen dokumenterte denne inflasjonen. En praktisk korreksjon er å fjerne problemene som er sett av nøyaktig én deltaker fra telleren når du estimerer på nytt.
4. Mat inn den deflaterte p-en i tabellen ovenfor ved dekningsmålet ditt og rekrutter differansen.

Beslutningspunkter: Hvis den deflaterte p-verdien lander over 0.25, stopp ved fem til åtte og bruk resten av budsjettet på en ny studie av en annen flyt. Hvis den lander mellom 0.10 og 0.25, utvid til 12 til 18. Hvis den lander under 0.10, er oppgavene dine sannsynligvis for åpne eller segmentet ditt er for bredt, og det å legge til deltakere vil ikke fikse noen av delene. Vurder omfanget på nytt før du rekrutterer på nytt.

Det mislykkes når: Du kan ikke rekruttere trinnvis, eller studien modereres av forskjellige personer på tvers av runder, noe som endrer hva som registreres som et separat problem.

Metode 4: størrelse etter atferdssegment

Modellen forutsetter én populasjon. De fleste produktene i denne regionen har ikke en slik populasjon. En tyrkisk forhandler som selger innenlands, grenseoverskridende til EU og til Gulfen, har minst tre grupper med forskjellige mentale modeller, forskjellige betalingsforventninger, og i Gulfen-tilfellet et høyre-til-venstre-grensesnitt. Nielsens veiledning her er 3 til 4 deltakere per gruppe på to grupper, og 3 per gruppe på tre eller flere. Det er en nedre grense, ikke et mål, og det betyr at en "fembrukerstudie" på tvers av tre segmenter egentlig er tre underdrevne studier.

To regler som er verdt å følge før du skriver screeningen:

• Segmenter etter atferd, ikke demografi. Førstegangskjøpere og gjentakende kjøpere støter på forskjellige problemer. Alder 25–34 og 35–44 gjør det vanligvis ikke.
• Behandle brukere av hjelpeteknologi som sitt eget segment hvis du selger i EU. Den europeiske tilgjengelighetsloven har gjeldt for forbrukerrettede e-handelstjenester siden 28. juni 2025, og et utvalg av kun seende kan ikke si om du overholder kravene. Deltakere som kun bruker skjermlesere og tastatur, finner en type problem som ingen ekstra seende deltakere vil oppdage.

Hvilken metode passer til studiet ditt

Utarbeidet eksempel

Dette eksemplet er illustrerende, ikke et kundecase. La oss si at du beregner størrelsen på en kassestudie for en mellomstor tyrkisk moteforhandler, kun innenlands trafikk, og redesignet er allerede live. Metode 1 er ute fordi designet er sendt, og metode 2 trenger et program du ikke har, så: Metode 3 er basert på metode 4.

To atferdssegmenter, gjestebetaling og innloggede gjentakende kjøpere, fire deltakere hver. Runde én produserer 19 forskjellige problemer, 11 av dem sett av nøyaktig én deltaker. Rå p er 0.28; etter å ha fjernet singletonene fra telleren faller den til omtrent 0.17. Ved et dekningsmål på 90 % og p = 0.17 viser tabellen 14. Du har 8, så du rekrutterer 6 til, vektet mot segmentet med de tynneste funnene.

Totalt: 14 deltakere, med skriftlig begrunnelse for antallet. [INTERNAL DATA NEEDED: observed p values from Switas's own e-commerce checkout studies, to replace the illustrative 0.17 with a benchmark range by vertical.]

Hvor dette brytes ned

Binommodellen antar at problemene er uavhengige og at p er stabil på tvers av deltakerne. Ingen av delene er sant. Én forvirrende etikett forårsaker tre nedstrømsfeil, og en deltaker som er flytende i markedsplassens brukergrensesnittmønstre, støter på et annet sett med problemer enn en som ikke er det. Behandle tallene ovenfor som planleggingsverktøy, ikke målinger. Woolrych, Cockton og Caulton har alle hevdet at en enkelt p feilrepresenterer en populasjon bestående av undergrupper.

Denne veiledningen dekker heller ikke:

• Kvantitativ benchmarking. Hvis du ønsker en suksessrate for oppgaver med et konfidensintervall, svarer du på et annet spørsmål. Planlegg minst 20 deltakere, og flere for tette intervaller.
• Kortsortering og tretesting. Nielsen foreslår minst 15 per brukergruppe. Matematikk basert på problemsøking gjelder ikke.
• Øyesporing. Rundt 39 deltakere for stabile varmekart.
• A/B-tester. Utvalgsstørrelsen er statistisk styrke på en konverteringsmåling, ikke problemoppdagelse. Ulike formeler, ulik logikk.

En annen begrensning som er verdt å nevne: oppgavedesign flytter p lenger enn n. Fem deltakere på en skarp, realistisk oppgave vil overgå tolv deltakere på en vag oppgave. Hvis dimensjoneringssamtalen din er lengre enn oppgaveskrivingssamtalen, er forholdet feil.

FAQ

Er fembrukerregelen feil?
Nei, det er betinget. Det holder seg på en problemforekomstrate nær 0.31 og et dekningsmål nær 85 %. Utenom disse betingelsene leverer det under mål, og ingenting i det opprinnelige arbeidet hevdet noe annet.

Hvordan estimerer jeg p før jeg har kjørt noe som helst?
Det kan du stort sett ikke, og det er derfor metode 3 finnes. Hvis du må gjette, bruk 0.30 for et nytt eller sterkt endret grensesnitt og 0.15 for et modent, og korriger deretter etter runde én.

Endrer moderert kontra umoderert testing tallet?
Ikke matematikken, men det endrer hva som teller som et problem. Umodererte økter har en tendens til å overse årsaken bak en feil, noe som blåser opp antallet distinkte problemer og reduserer den observerte p-en.

Hva om jeg bare kan rekruttere fem personer?
Kjør fem, og rapporter dekningen ærlig i stedet for å rapportere problemlisten som fullstendig. Si hvilke segmenter du ikke dekket. En for liten studie med oppgitte grenser er nyttig; en for liten studie presentert som uttømmende er ikke det.

Trenger jeg flere deltakere til tilgjengelighetstesting?
Du trenger forskjellige deltakere. Brukere av hjelpeteknologi er et eget atferdssegment med sin egen etasje på 3 til 4, ikke et tillegg til et eksisterende utvalg.

Kan kunstig intelligens-genererte syntetiske deltakere erstatte noe av dette utvalget?
De kan hjelpe deg med å øve på oppgaver og screenere. De kan ikke produsere en problemforekomstrate, fordi p er en egenskap ved reell atferd i en reell populasjon. Ikke legg syntetiske økter i nevneren.

Gjelder den samme matematikken for B2B- eller offentlig sektor-produkter?
Regnestykket gjør det. Rekrutteringen gjør ikke det. Smale B2B- og offentlig sektorsegmenter begrenser seg ofte til seks eller åtte tilgjengelige deltakere, og i så fall oppgir man grensen som en studiebegrensning i stedet for å late som om antallet ble valgt.

Kjør dette på din neste studie

Ta studien du skal gi en briefing, skriv ned hvilken av de fire metodene du bruker og p-en du antar, og legg begge inn i forskningsplanen. Hvis ingen av dem overlever å bli skrevet ned, er det funnet. Hvis du heller vil at dimensjonering, screening og segmentdesign skal håndteres for deg, snakk med Switas om din neste forskningsrunde.

Kilder

• Nielsen, J. og Landauer, TK (1993). En matematisk modell for funn av brukervennlighetsproblemer. INTERCHI '93, 206–213.
• Faulkner, L. (2003). Utover antagelsen om fem brukere: fordeler med økte utvalgsstørrelser i brukervennlighetstesting. Behavior Research Methods, Instruments, & Computers, 35(3), 379–383.
• Spool, J. og Schroeder, W. (2001). Testing av nettsteder: fem brukere er ikke på langt nær nok. CHI '01 Utvidede sammendrag.
• Sauro, J. En kort historie om det magiske tallet 5 i brukervennlighetstesting. MeasuringU.
• Sauro, J. Utvalgsstørrelser for brukbarhetsstudier: én størrelse passer ikke alle. MeasuringU.
• Nielsen, J. Hvorfor du bare trenger å teste med 5 brukere. Nielsen Norman Group.
• Nielsen, J. Hvor mange testbrukere i en brukervennlighetsstudie? Nielsen Norman Group.
• Direktiv (EU) 2019/882 om tilgjengelighetskrav for produkter og tjenester (europeisk tilgjengelighetslov), EUR-Lex-sammendrag.