Fire måder at dimensionere en brugervenlighedsundersøgelse på, og hvornår fembrugerreglen bryder

En person i dit team siger, at fem brugere er nok. De citerer en model fra 1993, men de citerer ikke dens parameter. I Laura Faulkners undersøgelse fra 2003 fandt en tilfældig lodtrækning af fem deltagere fra en pulje på 60 mellem 55 % og 99 % af de kendte problemer i den samme brugerflade, med de samme opgaver og den samme moderator. Antallet, du får, afhænger af, hvem der træder ind ad døren.

Denne guide er til forskere, produktchefer og CRO-ledere, der skal forsvare et rekrutteringstal, før et studie starter. Til sidst vil du være i stand til at vælge en af ​​fire størrelsesmetoder, angive den antagelse, den hviler på, og sige, hvad dit tal giver dig i problemdækning. Den vil ikke fortælle dig, at du skal teste flere personer. Den vil fortælle dig, hvornår fem er et forsvarligt svar, og hvornår det er et gæt.

Hvor tallet med fem brugere kommer fra

Nielsen og Landauer modellerede problemopdagelse som N x (1 - (1 - p)^n): med N problemer i designet, p sandsynligheden for, at en enkelt deltager støder på et givet problem, og n deltagere, andelen af ​​problemer, du finder, er 1 - (1 - p)^nDe målte en gennemsnitlig p på 0.31 på tværs af deres datasæt. Ved p = 0.31 når fem deltagere en dækning på 84.4%. Det er herfra udtrykket "fem brugere finder 85 % af problemerne".

To ting udelades i genfortællingen. For det første, afrundingen: ved p = 0.31 skal man bruge seks deltagere for at klare 85%, ikke fem. For det andet, og endnu vigtigere, er p ikke en naturkonstant. Virzi målte 0.32, Lewis målte 0.16 på et andet system, og Spool og Schroeder fandt alvorlige problemer, der stadig dukkede op efter snesevis af deltagere på åbne e-handelsopgaver. Den ærlige version af påstanden er betinget. Her er, hvad fem, ti og tyve deltagere finder ved fire problemforekomstrater:

Læs den nederste række inden dit næste planlægningsmøde. De problemer, der ødelægger en kasse, er normalt ikke dem, som fire ud af fem personer falder over. De blev løst for år siden.

Metode 1: fast fem, gentaget ofte

Kør fem deltagere, ret det du finder, og kør fem mere på den næste build. Nielsens argument var aldrig, at fem er statistisk tilstrækkeligt. Det var, at den marginale bruger er mindre værd end den marginale. studere.

Brug det når: Du itererer på et design, der stadig ændrer sig ugentligt, brugerfladen er ny nok til, at de fleste problemer er almindelige (høj p), og du kan faktisk sende rettelser mellem runderne.

Det mislykkes, når: Undersøgelsen er en engangsrevision, som du ikke vil gentage, resultaterne går til interessenter, som vil behandle "vi fandt intet andet" som bevis på kvalitet, eller produktet er modent, og de resterende problemer er per definition sjældne.

Metode 2: Størrelse fra et opdagelsesmål

Inverter modellen. Vælg den nødvendige dækning (P) og den forventede forekomstrate (p), og løs derefter n = ln(1 - P) / ln(1 - p).

Brug det når: Undersøgelsen har et compliance-, juridisk eller lanceringsformål, og du skal angive dækningen skriftligt, eller når du søger efter en specifik klasse af lavfrekvente fejl, såsom en fejlretningssti.

Det mislykkes, når: Du har intet grundlag for p. At vælge 0.31, fordi det er det offentliggjorte gennemsnit, er det samme gæt som at vælge fem, iført en formel som kostume.

Metode 3: Estimer p ud fra din egen første runde, og juster derefter størrelsen

Dette er den metode, vi bruger som standard, fordi den erstatter gættet med dine egne data.

1. Kør en indledende runde på fem. Registrer hvert enkelt problem, og marker hvilke deltagere der klarede det.
2. Beregn det observerede p som middelværdien af ​​(deltagere der rammer problemet / deltagere løber) på tværs af alle forskellige problemer.
3. Deflater den. Små indledende stikprøver overvurderer systematisk p, fordi problemer, som kun én person har set, er dem, du endnu ikke har mødt. Hertzum og Jacobsen dokumenterede denne inflation. En praktisk korrektion er at udelade de problemer, som præcis én deltager har set, fra tælleren, når man genvurderer.
4. Indtast den deflaterede p-værdi i tabellen ovenfor ved dit dækningsmål, og rekryter differencen.

Beslutningspunkter: Hvis den deflaterede p-værdi lander over 0.25, stop ved fem til otte, og brug resten af ​​budgettet på en anden undersøgelse af et andet flow. Hvis den lander mellem 0.10 og 0.25, udvid til 12 til 18. Hvis den lander under 0.10, er dine opgaver sandsynligvis for åbne, eller dit segment er for bredt, og tilføjelse af deltagere vil ikke løse nogen af ​​delene. Genovervej omfanget, før du genrekrutterer.

Det mislykkes, når: Du kan ikke rekruttere trinvis, eller undersøgelsen modereres af forskellige personer på tværs af runder, hvilket ændrer, hvad der registreres som et særskilt problem.

Metode 4: Størrelse efter adfærdssegment

Modellen antager én population. De fleste produkter i denne region har ikke en. En tyrkisk detailhandler, der sælger indenlandsk, grænseoverskridende til EU og til Golfstaterne, har mindst tre grupper med forskellige mentale modeller, forskellige betalingsforventninger og i Golfstaternes tilfælde en højre-til-venstre-grænseflade. Nielsens vejledning her er 3 til 4 deltagere pr. gruppe ved to grupper og 3 pr. gruppe ved tre eller flere. Det er en bundgrænse, ikke et mål, og det betyder, at en "fem-brugerundersøgelse" på tværs af tre segmenter i virkeligheden er tre underdimensionerede undersøgelser.

To regler, der er værd at følge, før du skriver screeningen:

• Segmentér efter adfærd, ikke efter demografi. Førstegangskøbere og gentagne købere støder på forskellige problemer. Alderen 25-34 og 35-44 har det normalt ikke.
• Behandl brugere af hjælpeteknologi som deres eget segment, hvis du sælger i EU. Den europæiske tilgængelighedslov har været gældende for forbrugerrettede e-handelstjenester siden den 28. juni 2025, og en stikprøve kun for seende kan ikke fortælle dig, om du overholder reglerne. Deltagere, der kun bruger skærmlæsere og tastaturer, oplever en type problemer, som ingen ekstra seende deltagere vil opdage.

Hvilken metode passer til dit studie

Udarbejdet eksempel

Dette eksempel er illustrativt og ikke en klientcase. Lad os sige, at du beregner størrelsen på en kasseundersøgelse for en mellemstor tyrkisk modeforhandler, kun indenlandsk trafik, og redesignet er allerede live. Metode 1 er ude, fordi designet er afsendt, og metode 2 kræver et program, du ikke har, så: Metode 3 er udledt af metode 4.

To adfærdssegmenter, gæstebetaling og indloggede gentagne købere, fire deltagere hver. Runde et producerer 19 forskellige problemer, hvoraf 11 ses af præcis én deltager. Rå p er 0.28; efter at have fjernet singletonerne fra tælleren falder den til omkring 0.17. Ved et dækningsmål på 90 % og p = 0.17 viser tabellen 14. Du har 8, så du rekrutterer 6 mere, vægtet mod segmentet med de tyndere resultater.

I alt: 14 deltagere, med en skriftlig begrundelse for antallet. [INTERNAL DATA NEEDED: observed p values from Switas's own e-commerce checkout studies, to replace the illustrative 0.17 with a benchmark range by vertical.]

Hvor dette bryder sammen

Den binomiale model antager, at problemerne er uafhængige, og at p er stabilt på tværs af deltagerne. Ingen af ​​delene er sande. Én forvirrende betegnelse forårsager tre downstream-fejl, og en deltager, der er flydende i markedspladsens brugergrænseflademønstre, støder på et andet sæt problemer end en, der ikke er det. Betragt tallene ovenfor som planlægningsværktøjer, ikke målinger. Woolrych, Cockton og Caulton har alle argumenteret for, at et enkelt p misrepræsenterer en population bestående af undergrupper.

Denne vejledning dækker heller ikke:

• Kvantitativ benchmarking. Hvis du ønsker en succesrate for opgaven med et konfidensinterval, besvarer du et andet spørgsmål. Planlæg mindst 20 deltagere, og flere ved snævre intervaller.
• Kortsortering og trætestning. Nielsen foreslår mindst 15 pr. brugergruppe. Matematik baseret på problemfinding finder ikke anvendelse.
• Øjensporing. Omkring 39 deltagere til stabile heatmaps.
• A/B-tests. Stikprøvestørrelsen er statistisk styrke på en konverteringsmåling, ikke problemopdagelse. Forskellig formel, forskellig logik.

Endnu en begrænsning, der er værd at nævne: opgavedesign flytter p længere end n gør. Fem deltagere på en skarp, realistisk opgave vil overgå tolv deltagere på en vag. Hvis din dimensioneringssamtale er længere end din opgaveskrivningssamtale, er forholdet forkert.

Ofte stillede spørgsmål

Er fembrugerreglen forkert?
Nej, det er betinget. Det holder ved en problemforekomstrate på nær 0.31 og et dækningsmål på nær 85 %. Uden for disse betingelser leverer det under niveau, og intet i det oprindelige arbejde hævdede andet.

Hvordan estimerer jeg p, før jeg har kørt noget?
Det kan du stort set ikke, hvilket er grunden til metode 3. Hvis du skal gætte, så brug 0.30 for en ny eller kraftigt ændret grænseflade og 0.15 for en moden, og ret derefter efter runde et.

Ændrer modereret versus umodereret testning tallet?
Ikke matematikken, men det ændrer, hvad der tæller som et problem. Umodererede sessioner har en tendens til at overse årsagen bag en fejl, hvilket oppuster antallet af forskellige problemer og dæmper din observerede p.

Hvad hvis jeg kun kan rekruttere fem personer?
Kør fem, og rapporter dækningen ærligt i stedet for at rapportere problemlisten som komplet. Angiv hvilke segmenter du ikke dækkede. En for lille undersøgelse med angivne begrænsninger er nyttig; en for lille undersøgelse præsenteret som udtømmende er ikke.

Har jeg brug for flere deltagere til tilgængelighedstest?
Du har brug for forskellige deltagere. Brugere af hjælpemidler er et separat adfærdssegment med deres egen etage på 3 til 4, ikke en tilføjelse til en eksisterende stikprøve.

Kan AI-genererede syntetiske deltagere erstatte noget af denne stikprøve?
De kan hjælpe dig med at øve opgaver og screenere. De kan ikke producere en problemforekomstrate, fordi p er en egenskab ved reel adfærd i en reel population. Indsæt ikke syntetiske sessioner i nævneren.

Gælder den samme matematik for B2B- eller offentlige sektorprodukter?
Det gør matematikken. Det gør rekrutteringen ikke. Smalle B2B- og offentlige sektorsegmenter begrænser sig ofte til seks eller otte tilgængelige deltagere, i hvilket tilfælde grænsen angives som en begrænsning i studiet i stedet for at lade som om, at antallet blev valgt.

Kør dette på din næste undersøgelse

Tag den undersøgelse, du er ved at give en briefing, skriv ned hvilken af ​​de fire metoder du bruger, og den p-værdi, du antager, og skriv begge ind i forskningsplanen. Hvis ingen af ​​dem overlever at blive nedskrevet, er det resultatet. Hvis du hellere vil have størrelsesinddeling, screening og segmentdesign håndteret for dig, Tal med Switas om din næste forskningsrunde.

Kilder

• Nielsen, J. og Landauer, TK (1993). En matematisk model for konstatering af brugervenlighedsproblemer. INTERCHI '93, 206-213.
• Faulkner, L. (2003). Ud over antagelsen om fem brugere: fordele ved øgede stikprøvestørrelser i brugervenlighedstest. Behavior Research Methods, Instruments, & Computers, 35(3), 379-383.
• Spool, J. og Schroeder, W. (2001). Test af websteder: fem brugere er slet ikke nok. CHI '01 Extended Abstracts.
• Sauro, J. En kort historie om det magiske tal 5 i brugervenlighedstest. MeasuringU.
• Sauro, J. Stikprøvestørrelser til brugervenlighedsstudier: én størrelse passer ikke alle. MeasuringU.
• Nielsen, J. Hvorfor du kun behøver at teste med 5 brugere. Nielsen Norman Group.
• Nielsen, J. Hvor mange testbrugere i en brugervenlighedsundersøgelse? Nielsen Norman Group.
• Direktiv (EU) 2019/882 om tilgængelighedskrav til produkter og tjenesteydelser (europæisk tilgængelighedslov), EUR-Lex-resumé.