Quattro modi per dimensionare uno studio di usabilità e quando la regola dei cinque utenti non è più valida.

Qualcuno del tuo team sostiene che cinque utenti siano sufficienti. Si basa su un modello del 1993, senza però specificarne i parametri. Nello studio di Laura Faulkner del 2003, un'estrazione casuale di cinque partecipanti da un campione di 60 ha rilevato tra il 55% e il 99% dei problemi noti nella stessa interfaccia, con gli stessi compiti e lo stesso moderatore. Il numero di partecipanti che si ottengono dipende da chi si presenta alla riunione.

Questa guida è pensata per ricercatori, product manager e responsabili CRO che devono giustificare il numero di partecipanti da reclutare prima dell'inizio di uno studio. Al termine, sarete in grado di scegliere uno dei quattro metodi di dimensionamento, indicare l'ipotesi su cui si basa e spiegare cosa quel numero vi garantisce in termini di copertura del problema. Non vi dirà di testare più persone, ma vi indicherà quando cinque è una risposta difendibile e quando è una supposizione.

Da dove proviene il numero cinque utenti

Nielsen e Landauer hanno modellato la scoperta del problema come N x (1 - (1 - p)^n): con N problemi nella progettazione, p la probabilità che un singolo partecipante si imbatta in un determinato problema e n partecipanti, la quota di problemi che riscontri è 1 - (1 - p)^nHanno misurato un valore medio di p pari a 0.31 sull'intero set di dati. Con p = 0.31, cinque partecipanti raggiungono una copertura dell'84.4%. È da qui che deriva l'affermazione "cinque utenti trovano l'85% dei problemi".

Nella riformulazione vengono omesse due cose. Primo, l'arrotondamento: con p = 0.31 servono sei partecipanti per raggiungere l'85%, non cinque. Secondo, e cosa più importante, p non è una costante della natura. Virzi ha misurato 0.32, Lewis ha misurato 0.16 su un sistema diverso, e Spool e Schroeder hanno riscontrato problemi seri che continuavano a emergere anche dopo aver coinvolto decine di partecipanti in compiti di e-commerce aperti. La versione onesta dell'affermazione è condizionata. Ecco cosa hanno riscontrato cinque, dieci e venti partecipanti a quattro diverse percentuali di occorrenza dei problemi:

Leggete l'ultima riga prima della prossima riunione di pianificazione. I problemi che mandano a monte una cassa di solito non sono quelli in cui inciampano quattro persone su cinque. Quelli sono stati risolti anni fa.

Metodo 1: cinque fissi, ripetuti spesso

Coinvolgi cinque partecipanti, correggi ciò che trovi, coinvolgi altri cinque nella build successiva. L'argomentazione di Nielsen non è mai stata che cinque siano statisticamente sufficienti. Era che l'utente marginale vale meno dell'utente marginale studio.

Usalo quando: Stai lavorando su un design che cambia ancora settimanalmente, l'interfaccia è abbastanza nuova da far sì che la maggior parte dei problemi siano comuni (alta probabilità di successo) e puoi effettivamente rilasciare correzioni tra un ciclo e l'altro.

Fallisce quando: Lo studio è un audit una tantum che non verrà ripetuto, i risultati vengono inviati alle parti interessate che considereranno "non abbiamo trovato altro" come prova di qualità, oppure il prodotto è maturo e i problemi rimanenti sono rari per definizione.

Metodo 2: dimensione a partire da un obiettivo di scoperta

Inverti il ​​modello. Scegli la copertura di cui hai bisogno (P) e il tasso di occorrenza che ti aspetti (p), quindi risolvi n = ln(1 - P) / ln(1 - p).

Usalo quando: Lo studio ha uno scopo di conformità, legale o di lancio ed è necessario dichiarare la copertura per iscritto, oppure quando si sta cercando una classe specifica di guasti a bassa frequenza come un percorso di ripristino degli errori.

Fallisce quando: Non hai alcuna base per p. Scegliere 0.31 perché è la media pubblicata è come tirare a indovinare, come scegliere cinque, indossando una formula come un costume.

Metodo 3: stima p dal tuo primo round, quindi ridimensiona

Questo è il metodo che utilizziamo di default, perché sostituisce l'ipotesi con i vostri dati.

1. Eseguire un primo round di cinque persone. Registrare ogni problema riscontrato e indicare quali partecipanti lo hanno individuato.
2. Calcola il valore p osservato come media di (partecipanti che hanno raggiunto il problema / partecipanti che hanno corso) su tutti i problemi distinti.
3. Riducete il valore. Campioni iniziali di piccole dimensioni sovrastimano sistematicamente p, perché i problemi riscontrati da una sola persona sono quelli che non sono ancora stati affrontati. Hertzum e Jacobsen hanno documentato questa sovrastima. Una correzione pratica consiste nell'eliminare dal numeratore, durante la nuova stima, i problemi riscontrati da un solo partecipante.
4. Inserisci il valore p deflazionato nella tabella sopra, in base al tuo obiettivo di copertura, e recluta la differenza.

Punti decisionali: se il p deflazionato è superiore a 0.25, fermarsi a cinque-otto partecipanti e investire il resto del budget in un secondo studio con un flusso diverso. Se è compreso tra 0.10 e 0.25, estendere a 12-18 partecipanti. Se è inferiore a 0.10, è probabile che i compiti siano troppo generici o che il segmento sia troppo ampio, e l'aggiunta di partecipanti non risolverà nessuno dei due problemi. Rivalutare l'ambito dello studio prima di reclutare nuovamente partecipanti.

Fallisce quando: Non è possibile reclutare partecipanti in modo incrementale, oppure lo studio viene moderato da persone diverse nei vari round, il che modifica ciò che viene registrato come un problema distinto.

Metodo 4: dimensione per segmento comportamentale

Il modello presuppone un'unica popolazione. La maggior parte dei prodotti in questa regione non ne ha una. Un rivenditore turco che vende sul mercato interno, transfrontaliero nell'UE e nel Golfo Persico ha almeno tre gruppi con modelli mentali diversi, aspettative di pagamento diverse e, nel caso del Golfo, un'interfaccia da destra a sinistra. Le linee guida di Nielsen in questo caso prevedono da 3 a 4 partecipanti per gruppo con due gruppi e 3 per gruppo con tre o più gruppi. Questo è un valore minimo, non un obiettivo, e significa che uno "studio su cinque utenti" su tre segmenti è in realtà costituito da tre studi con una potenza statistica insufficiente.

Due regole da tenere a mente prima di redigere il questionario di preselezione:

• Segmentare in base al comportamento, non ai dati demografici. Chi acquista per la prima volta e chi acquista più volte si trova ad affrontare problemi diversi. Le fasce d'età 25-34 e 35-44 anni, di solito, non presentano questi problemi.
• Se vendete nell'UE, considerate gli utenti di tecnologie assistive come un segmento di mercato a sé stante. La legge europea sull'accessibilità si applica ai servizi di e-commerce rivolti ai consumatori dal 28 giugno 2025 e un campione composto esclusivamente da persone vedenti non può stabilire se l'azienda è conforme. I partecipanti che utilizzano screen reader o solo la tastiera individuano una serie di problemi che nessun numero maggiore di partecipanti vedenti potrebbe far emergere.

Quale metodo si adatta al tuo studio?

Esempio pratico

Questo esempio è puramente illustrativo e non rappresenta un caso reale. Supponiamo che stiate dimensionando uno studio di checkout per un rivenditore di moda turco di fascia media, con traffico esclusivamente nazionale e un design già online. Il Metodo 1 è da escludere perché il design è già stato implementato, e il Metodo 2 richiede un'app che non possedete, quindi: il Metodo 3 viene utilizzato come presupposto per il Metodo 4.

Due segmenti comportamentali, checkout come ospite e acquirenti abituali registrati, quattro partecipanti ciascuno. Il primo round produce 19 problemi distinti, 11 dei quali visti da un solo partecipante. Il valore p grezzo è 0.28; dopo aver eliminato i casi singoli dal numeratore, scende a circa 0.17. Con un obiettivo di copertura del 90% e p = 0.17, la tabella indica 14. Ne hai 8, quindi ne recluti altri 6, ponderando verso il segmento con i risultati più scarsi.

Totale: 14 partecipanti, con una motivazione scritta per il numero. [INTERNAL DATA NEEDED: observed p values from Switas's own e-commerce checkout studies, to replace the illustrative 0.17 with a benchmark range by vertical.]

Dove questo si interrompe

Il modello binomiale presuppone che i problemi siano indipendenti e che p sia stabile tra i partecipanti. Nessuna delle due affermazioni è vera. Un'etichetta fuorviante può causare tre fallimenti a valle, e un partecipante che ha familiarità con i modelli di interfaccia utente del marketplace incontra una serie di problemi diversa rispetto a uno che non li conosce. Considerate i numeri sopra riportati come strumenti di pianificazione, non come misurazioni. Woolrych, Cockton e Caulton hanno tutti sostenuto che un singolo valore di p non rappresenta correttamente una popolazione composta da sottogruppi.

Questa guida non tratta inoltre i seguenti argomenti:

• Valutazione comparativa quantitativa. Se si desidera calcolare il tasso di successo di un'attività con un intervallo di confidenza, la domanda da porsi è diversa. È consigliabile prevedere almeno 20 partecipanti, e un numero maggiore per intervalli più ristretti.
• Ordinamento di carte e test ad albero. Nielsen suggerisce almeno 15 per gruppo di utenti. La matematica della scoperta dei problemi non è applicabile.
• Tracciamento oculare. Circa 39 partecipanti per ottenere mappe di calore stabili.
• Test A/B. La dimensione del campione è fondamentale per la potenza statistica di una metrica di conversione, non per la scoperta di problemi. Formula diversa, logica diversa.

Un altro limite degno di nota: la progettazione del compito spinge p più lontano di quanto non faccia n. Cinque partecipanti impegnati in un compito preciso e realistico troveranno più risultati di dodici partecipanti impegnati in un compito vago. Se la discussione sulla dimensione del compito è più lunga di quella sulla sua stesura, il rapporto non è corretto.

FAQ

La regola dei cinque utenti è errata?
No, è condizionale. Si applica con un tasso di occorrenza dei problemi vicino allo 0.31 e un obiettivo di copertura vicino all'85%. Al di fuori di queste condizioni, non raggiunge gli obiettivi prefissati, e nulla nel lavoro originale affermava il contrario.

Come posso stimare p prima di aver eseguito qualsiasi operazione?
Nella maggior parte dei casi non è possibile, ed è per questo che esiste il Metodo 3. Se proprio devi fare una supposizione, usa 0.30 per un'interfaccia nuova o profondamente modificata e 0.15 per un'interfaccia consolidata, quindi correggi dopo il primo tentativo.

Il fatto che i test siano moderati o meno cambia il numero?
Non si tratta di matematica, ma cambia ciò che viene considerato un problema. Le sessioni non moderate tendono a non individuare la causa di un fallimento, il che gonfia il numero di problemi distinti e riduce il valore osservato.

E se riuscissi a reclutare solo cinque persone?
Eseguite cinque studi e riportate onestamente la copertura, anziché presentare l'elenco dei problemi come completo. Indicate quali segmenti non sono stati coperti. Uno studio di dimensioni ridotte con limiti dichiarati è utile; uno studio di dimensioni ridotte presentato come esaustivo non lo è.

Ho bisogno di più partecipanti per i test di accessibilità?
Servono partecipanti diversi. Gli utenti di tecnologie assistive costituiscono un segmento comportamentale distinto, con un proprio limite minimo di 3-4 partecipanti, e non un'aggiunta a un campione esistente.

È possibile che partecipanti sintetici generati dall'intelligenza artificiale sostituiscano parte di questo campione?
Possono aiutarti a esercitarti con compiti e questionari di screening. Non possono produrre un tasso di incidenza dei problemi, perché p è una proprietà del comportamento reale in una popolazione reale. Non inserire sessioni sintetiche al denominatore.

Gli stessi calcoli si applicano anche ai prodotti B2B o a quelli del settore pubblico?
La matematica lo conferma. Il reclutamento no. I segmenti ristretti B2B e del settore pubblico spesso si fermano a sei o otto partecipanti raggiungibili; in tal caso, è opportuno indicare tale limite come una limitazione dello studio, anziché fingere che il numero sia stato scelto.

Esegui questo test nel tuo prossimo studio

Prendi lo studio che stai per presentare, scrivi quale dei quattro metodi stai utilizzando e il p che stai assumendo, e inserisci entrambi nel piano di ricerca. Se nessuno dei due sopravvive alla scrittura, quello è il risultato. Se preferisci che la definizione delle dimensioni, lo screening e la progettazione dei segmenti vengano gestiti per te, Parla con Switas del tuo prossimo ciclo di ricerca.

fonti

• Nielsen, J. e Landauer, TK (1993). Un modello matematico per l'individuazione dei problemi di usabilità. INTERCHI '93, 206-213.
• Faulkner, L. (2003). Oltre l'ipotesi dei cinque utenti: vantaggi di campioni di dimensioni maggiori nei test di usabilità. Behavior Research Methods, Instruments, & Computers, 35(3), 379-383.
• Spool, J. e Schroeder, W. (2001). Testare i siti web: cinque utenti non sono assolutamente sufficienti. Riassunti estesi di CHI '01.
• Sauro, J. Breve storia del numero magico 5 nei test di usabilità. MeasuringU.
• Sauro, J. Dimensioni del campione per gli studi di usabilità: una dimensione non va bene per tutti. MeasuringU.
• Nielsen, J. Perché bastano solo 5 utenti per il test. Nielsen Norman Group.
• Nielsen, J. Quanti utenti di prova sono necessari in uno studio di usabilità? Nielsen Norman Group.
• Direttiva (UE) 2019/882 sui requisiti di accessibilità per prodotti e servizi (European Accessibility Act), riassunto EUR-Lex.