Fyra sätt att dimensionera en användbarhetsstudie, och när femanvändarregeln bryts

Någon i ditt team säger att fem användare räcker. De citerar en modell från 1993, men de citerar inte dess parameter. I Laura Faulkners studie från 2003 fann slumpmässiga dragningar av fem deltagare från en pool på 60 mellan 55 % och 99 % av de kända problemen i samma gränssnitt, med samma uppgifter och samma moderator. Antalet du får beror på vem som kommer innanför dörren.

Den här guiden är för forskare, produktchefer och CRO-chefer som måste försvara ett rekryteringssiffra innan en studie startar. I slutet kommer du att kunna välja en av fyra storleksmetoder, ange antagandet det vilar på och säga vad ditt nummer ger dig i problemtäckning. Den kommer inte att säga att du ska testa fler personer. Den kommer att tala om för dig när fem är ett försvarbart svar och när det är en gissning.

Varifrån kommer numret med fem användare

Nielsen och Landauer modellerade problemupptäckt som N x (1 - (1 - p)^n): med N problem i designen, p sannolikheten att en enskild deltagare stöter på ett givet problem, och n deltagare, andelen problem du hittar är 1 - (1 - p)^nDe mätte ett genomsnittligt p på 0.31 över hela sin datamängd. Vid p = 0.31 når fem deltagare 84.4 % täckning. Det är därifrån uttrycket "fem användare hittar 85 % av problemen".

Två saker utelämnas i återberättelsen. För det första, avrundningen: vid p = 0.31 behöver du sex deltagare för att klara 85 %, inte fem. För det andra, och viktigare, är p inte en naturkonstant. Virzi mätte 0.32, Lewis mätte 0.16 på ett annat system, och Spool och Schroeder fann att allvarliga problem fortfarande uppstod efter dussintals deltagare på öppna e-handelsuppgifter. Den ärliga versionen av påståendet är villkorad. Här är vad fem, tio och tjugo deltagare finner vid fyra problemfrekvenser:

Läs den nedersta raden före nästa planeringsmöte. Problemen som dödar en kassa är oftast inte de som fyra av fem personer snubblar över. De åtgärdades för flera år sedan.

Metod 1: fast fem, upprepas ofta

Kör fem deltagare, fixa det du hittar, kör fem till på nästa version. Nielsens argument var aldrig att fem är statistiskt tillräckligt. Det var att den marginella användaren är värd mindre än den marginella. studera.

Använd den när: du itererar på en design som fortfarande ändras varje vecka, gränssnittet är tillräckligt nytt för att de flesta problem är vanliga (högt p), och du kan faktiskt skicka korrigeringar mellan omgångarna.

Det misslyckas när: Studien är en engångsrevision som du inte kommer att upprepa, resultaten går till intressenter som kommer att behandla "vi hittade inget annat" som bevis på kvalitet, eller så är produkten mogen och de återstående problemen är per definition sällsynta.

Metod 2: storlek från ett upptäcktsmål

Invertera modellen. Välj den täckning du behöver (P) och den förväntade förekomstfrekvensen (p), och lös sedan n = ln(1 - P) / ln(1 - p).

Använd den när: studien har ett efterlevnads-, rättsligt eller lanseringssyfte och du måste ange täckningen skriftligen, eller när du söker efter en specifik klass av lågfrekventa fel, såsom en felåterställningsväg.

Det misslyckas när: Du har ingen grund för p. Att välja 0.31 eftersom det är det publicerade genomsnittet är samma gissning som att välja fem, bära en formel som en kostym.

Metod 3: uppskatta p från din egen första runda, ändra sedan storleken

Det här är den metod vi använder som standard, eftersom den ersätter gissningen med dina egna data.

1. Kör en första omgång med fem. Logga varje enskilt problem och markera vilka deltagare som lyckades.
2. Beräkna det observerade p som medelvärdet av (deltagare som träffar problemet / deltagarna springer) över alla distinkta problem.
3. Deflatera det. Små initiala stickprov överskattar systematiskt p, eftersom problem som bara en person träffar är de du ännu inte har stött på. Hertzum och Jacobsen dokumenterade denna inflation. En praktisk korrigering är att ta bort de problem som exakt en deltagare sett från täljaren vid omskattning.
4. Mata in det deflaterade p-värdet i tabellen ovan vid ditt täckningsmål och rekrytera skillnaden.

Beslutspunkter: Om det deflaterade p-värdet landar över 0.25, stanna vid fem till åtta och spendera resten av budgeten på en andra studie av ett annat flöde. Om det landar mellan 0.10 och 0.25, utöka till 12 till 18. Om det landar under 0.10 är dina uppgifter förmodligen för öppna eller så är ditt segment för brett, och att lägga till deltagare kommer inte att lösa någon av dem. Omvärdera innan du rekryterar på nytt.

Det misslyckas när: Du kan inte rekrytera stegvis, eller så modereras studien av olika personer över omgångarna, vilket förändrar vad som registreras som ett distinkt problem.

Metod 4: storlek per beteendesegment

Modellen antar en population. De flesta produkter i denna region har ingen sådan. En turkisk återförsäljare som säljer inhemskt, gränsöverskridande till EU och till Gulfstaterna har minst tre grupper med olika mentala modeller, olika betalningsförväntningar och, i Gulfstaternas fall, ett höger-till-vänster-gränssnitt. Nielsens riktlinjer här är 3 till 4 deltagare per grupp vid två grupper och 3 per grupp vid tre eller fler. Det är ett golv, inte ett mål, och det betyder att en "femanvändarstudie" över tre segment egentligen är tre underdimensionerade studier.

Två regler värda att tillämpa innan du skriver screeningen:

• Segmentera efter beteende, inte efter demografi. Förstagångsköpare och återkommande köpare stöter på olika problem. Åldrarna 25-34 och 35-44 har det vanligtvis inte.
• Behandla användare av hjälpmedelsteknik som ett eget segment om du säljer inom EU. Den europeiska tillgänglighetslagen har gällt för konsumentorienterade e-handelstjänster sedan den 28 juni 2025, och ett urval av seende deltagare kan inte avgöra om du uppfyller kraven. Deltagare med skärmläsare och tangentbordsanvändare upplever en typ av problem som inte kommer att upptäckas av några extra seende deltagare.

Vilken metod passar din studie

Utarbetat exempel

Det här exemplet är illustrativt, inte ett klientfall. Säg att du beräknar storleken på en kassaundersökning för en turkisk modebutik i medelstora segmentet, endast inrikes trafik, och omdesignen är redan live. Metod 1 är utesluten eftersom designen har skickats, och metod 2 behöver en app som du inte har, så: Metod 3 är seedad av metod 4.

Två beteendesegment, gästutcheckning och inloggade återkommande köpare, fyra deltagare vardera. Omgång ett producerar 19 distinkta problem, varav 11 ses av exakt en deltagare. Rå p är 0.28; efter att ha tagit bort singletonerna från täljaren faller det till cirka 0.17. Vid ett täckningsmål på 90 % och p = 0.17 visar tabellen 14. Du har 8, så du rekryterar 6 till, viktade mot segmentet med de tunnaste resultaten.

Totalt: 14 deltagare, med en skriftlig motivering för antalet. [INTERNAL DATA NEEDED: observed p values from Switas's own e-commerce checkout studies, to replace the illustrative 0.17 with a benchmark range by vertical.]

Var detta bryts ner

Binomialmodellen antar att problemen är oberoende och att p är stabilt över deltagarna. Ingetdera är sant. En förvirrande etikett orsakar tre nedströmsfel, och en deltagare som flytande förstår marknadsplatsens användargränssnittsmönster stöter på en annan uppsättning problem än en som inte är det. Behandla siffrorna ovan som planeringsverktyg, inte mätningar. Woolrych, Cockton och Caulton har alla hävdat att ett enda p felaktigt representerar en population bestående av undergrupper.

Denna guide täcker inte heller:

• Kvantitativ benchmarking. Om du vill ha en framgångsgrad för uppgiften med ett konfidensintervall svarar du på en annan fråga. Planera minst 20 deltagare, och fler för snäva intervall.
• Kortsortering och trädtestning. Nielsen föreslår minst 15 per användargrupp. Matematik för problemupptäckt gäller inte.
• Ögonspårning. Runt 39 deltagare för stabila värmekartor.
• A/B-tester. Urvalsstorleken där det finns statistisk styrka på ett konverteringsmått, inte problemupptäckt. Olika formel, olika logik.

Ytterligare en begränsning värd att nämna: uppgiftsdesignen flyttar p längre än n. Fem deltagare i en skarp, realistisk uppgift kommer att överträffa tolv deltagare i en vag. Om din dimensioneringskonversation är längre än din uppgiftsskrivningskonversation är förhållandet fel.

FAQ

Är femanvändarregeln fel?
Nej, det är villkorat. Det håller vid en problemfrekvens nära 0.31 och ett täckningsmål nära 85 %. Utanför dessa villkor levererar det undermåligt, och ingenting i det ursprungliga arbetet påstod något annat.

Hur uppskattar jag p innan jag har kört något?
Det går oftast inte, vilket är anledningen till att metod 3 finns. Om du måste gissa, använd 0.30 för ett nytt eller kraftigt förändrat gränssnitt och 0.15 för ett moget, och korrigera sedan efter den första omgången.

Påverkar modererad kontra omodererad testning antalet?
Inte matematiken, men det förändrar vad som räknas som ett problem. Omodererade sessioner tenderar att missa orsaken bakom ett misslyckande, vilket blåser upp antalet distinkta problem och minskar ditt observerade p.

Tänk om jag bara kan rekrytera fem personer?
Kör fem och rapportera täckningen ärligt snarare än att rapportera problemlistan som fullständig. Ange vilka segment du inte täckte. En underdimensionerad studie med angivna begränsningar är användbar; en underdimensionerad studie som presenteras som uttömmande är det inte.

Behöver jag fler deltagare för tillgänglighetstestning?
Du behöver olika deltagare. Användare av hjälpmedelsteknik är ett separat beteendesegment med sin egen våningsplan på 3 till 4, inte ett tillägg till ett befintligt urval.

Kan AI-genererade syntetiska deltagare ersätta en del av detta urval?
De kan hjälpa dig att öva på uppgifter och screeningverktyg. De kan inte producera en problemförekomstfrekvens, eftersom p är en egenskap hos verkligt beteende i en verklig population. Sätt inte in syntetiska sessioner i nämnaren.

Gäller samma matematik för B2B-produkter eller produkter från den offentliga sektorn?
Matematiken gör det. Rekryteringen gör det inte. Smala B2B- och offentligsektorsegment begränsas ofta till sex eller åtta nåbara deltagare, i vilket fall taket anges som en studiebegränsning snarare än att låtsas att antalet valdes.

Kör detta i din nästa studie

Ta studien du ska ge en briefing, skriv ner vilken av de fyra metoderna du använder och det p-värde du antar, och lägg båda till i forskningsplanen. Om ingen av dem överlever nedskrivningen, är det resultatet. Om du hellre vill att storleksbestämning, screening och segmentdesign ska hanteras åt dig, prata med Switas om din nästa forskningsrunda.

Källor

• Nielsen, J. och Landauer, TK (1993). En matematisk modell för upptäckten av användbarhetsproblem. INTERCHI '93, 206-213.
• Faulkner, L. (2003). Bortom antagandet om fem användare: fördelar med ökade urvalsstorlekar vid användbarhetstestning. Behavior Research Methods, Instruments, & Computers, 35(3), 379-383.
• Spool, J. och Schroeder, W. (2001). Testa webbplatser: fem användare är inte alls tillräckligt. CHI '01 Extended Abstracts.
• Sauro, J. En kort historik över det magiska talet 5 inom användbarhetstestning. MeasuringU.
• Sauro, J. Urvalsstorlekar för användbarhetsstudier: en storlek passar inte alla. MeasuringU.
• Nielsen, J. Varför du bara behöver testa med 5 användare. Nielsen Norman Group.
• Nielsen, J. Hur många testanvändare ingår i en användbarhetsstudie? Nielsen Norman Group.
• Direktiv (EU) 2019/882 om tillgänglighetskrav för produkter och tjänster (Europeisk tillgänglighetslag), sammanfattning av EUR-Lex.