La maggior parte dei test A/B fallisce prima ancora che un singolo visitatore li veda. Non perché l'ipotesi fosse debole o il design scadente, ma perché nessuno ha calcolato se il test sarebbe stato effettivamente in grado di fornire una risposta.
Lo schema è familiare. Un team rilascia una variante, monitora la dashboard e, dopo dieci giorni, vede che il concorrente è in rialzo del 6% con un valore p di 0.14. Qualcuno dice "la tendenza è positiva, diamogli un'altra settimana". Passa un'altra settimana. Ora è in rialzo del 4%, p = 0.09. Il test viene considerato un "successo direzionale" e rilasciato, oppure viene abbandonato perché inconcludente. In entrambi i casi, tre settimane di traffico non hanno prodotto alcuna informazione utile, e questo risultato era già stato determinato prima del lancio da quattro numeri che nessuno aveva controllato.
Questo articolo riguarda quei quattro numeri.
I quattro ingressi
La dimensione del campione non è una questione di giudizio. Si basa su quattro parametri, e ogni programma di sperimentazione serio li definisce prima dell'avvio, non dopo.
| Ingresso | Cosa significa | Valore tipico |
|---|---|---|
| Tasso di conversione di base | Il valore attuale della metrica che stai testando, misurato sulla pagina e sul pubblico esatti su cui verrà eseguito il test. | Qualunque cosa dicano i tuoi dati |
| effetto minimo rilevabile (MDE) | La più piccola variazione che si desidera che il test sia in grado di rilevare | 5-20% relativo, a seconda del traffico |
| Livello di significatività (α) | La tua tolleranza nel dichiarare un vincitore che non è reale | 0.05 |
| Potenza statistica (1−β) | La tua probabilità di rilevare un effetto che is di rose | 0.80 |
Fornisci a una calcolatrice questi quattro elementi e ti restituirà i visitatori richiesti per variante. Il nostro Calcolatrice gratuita per test A/B Fa esattamente questo, e ci vogliono circa trenta secondi, che è proprio lo scopo. Il motivo per cui i team saltano questo passaggio non è che sia difficile, ma che la risposta è spesso sgradita.
MDE è l'input che tutti interpretano in modo errato
L'effetto minimo rilevabile è il parametro che causa i danni maggiori, perché il suo nome suggerisce qualcosa che non è.
MDE è non è un Il miglioramento che ti aspetti. Non è una previsione, un obiettivo o una stima. È un livello minimo di rilevabilità: il più piccolo effetto reale che il tuo test ha l'80% di probabilità di rilevare. Impostando l'MDE al 5%, stai dicendo: "Se il miglioramento reale è inferiore al 5%, accetto che questo test probabilmente non lo rileverà".
Ne conseguono due conseguenze, ed entrambe sono importanti.
Un test può rispondere solo alla domanda per cui è stato dimensionato. Se si calcola la dimensione del campione per un MDE del 20% e l'effetto reale è del 7%, è molto probabile che il test restituisca "nessuna differenza significativa". Questo non significa che la variante sia inefficace, ma piuttosto che il test non è stato in grado di rilevare effetti di tale entità: un'affermazione completamente diversa, che i team traducono spesso erroneamente in "l'abbiamo testata e non ha funzionato".
I termini MDE relativo e assoluto non sono intercambiabili. Una base di riferimento del 2.5% con un 10% parente MDE significa rilevare un movimento al 2.75% — un assoluto Differenza di 0.25 punti percentuali. Inserendo 10 in un campo della calcolatrice che si aspetta punti percentuali assoluti, si chiede di rilevare una variazione dal 2.5% al 12.5%, e lo strumento risponderà allegramente che 400 visitatori saranno sufficienti. Verificate quale convenzione utilizza la vostra calcolatrice. Questa singola confusione invalida più piani di test di qualsiasi altro errore che riscontriamo.
Un esempio pratico
Un cliente di e-commerce desidera testare un nuovo layout per la pagina dei dettagli del prodotto. Il tasso di conversione di base su quella pagina è del 2.5%. L'obiettivo è rilevare un miglioramento relativo del 10%, ovvero raggiungere il 2.75%.
Con α = 0.05 e potenza dell'80%, il requisito è approssimativamente 64,000 visitatori per variante, ovvero circa 128,000 in totale.
Quella pagina riceve 40,000 visitatori al mese. Quindi il test ha bisogno di poco più di tre mesi per raggiungere la dimensione del campione per cui è stato progettato.
È questo il numero che cambia le carte in tavola. Non perché tre mesi siano impossibili, ma perché ora si tratta di una decisione presa apertamente, prima del lancio, con i compromessi ben visibili, anziché di una lenta delusione scoperta al ventunesimo giorno.
Ora modificate un parametro. Mantenete la stessa base di partenza, ma dimensionate per ottenere un incremento relativo del 20% invece che del 10%:
| MDE (relativo) | Differenza assoluta | Visitatori per variante | Tempo a 40k/mese |
|---|---|---|---|
| 5% | 0.125 pp | ~ 256,000 | ~13 mesi |
| 10% | 0.25 pp | ~ 64,000 | ~3.2 mesi |
| 20% | 0.5 pp | ~ 16,800 | ~ 25 giorni |
| 30% | 0.75 pp | ~ 7,700 | ~ 12 giorni |
Dimezzando l'MDE, la dimensione del campione quadruplica approssimativamente. Questa relazione non è una stranezza di questi numeri: la dimensione del campione è inversamente proporzionale al quadrato della dimensione dell'effetto. È l'aspetto più utile da interiorizzare in materia di progettazione sperimentale, perché indica dove risiede il fattore determinante: Ampliare la portata del cambiamento è molto più economico che attirare più traffico.
Una variante timida che sposta un pulsante di due pixel richiede un campione di dimensioni che nessun sito di medie dimensioni può fornire. Una variante che ristruttura la pagina ha invece una possibilità. Ecco perché i programmi di test prudenti si bloccano: non perché le idee siano sbagliate, ma perché sono troppo piccole per essere misurate.
Dove si trova effettivamente il traffico
L'altro elemento da considerare, nascosto tra i calcoli, è il tasso di riferimento. I requisiti relativi alla dimensione del campione diminuiscono drasticamente all'aumentare del tasso di riferimento.
Prendi lo stesso MDE relativo del 10%, ma eseguilo sulla fase di spedizione del checkout, dove il 40% degli arrivi prosegue verso il pagamento:
- Baseline 2.5% → ~64,000 per variante
- Baseline 40% → ~2,400 per variante
Stessa esperienza di guida, stessa sicurezza, stessa potenza. Ventisei volte meno traffico.
Quella pagina riceve molti meno visitatori rispetto alla PDP, ovviamente. Ma il fabbisogno di visitatori diminuisce più rapidamente del traffico, ed è per questo che i test di deep funnel sono spesso gli unici test che un sito con traffico medio può effettivamente completare. Se il tasso di conversione complessivo del sito è del 2%, testare la homepage richiede un impegno di un anno, mentre testare la pagina di checkout richiede due settimane.
La guida pratica: quando la calcolatrice restituisce un numero impossibile, prima di ampliare l'MDE, verifica se esiste un passaggio successivo nel processo in cui la stessa ipotesi può essere testata rispetto a un valore di riferimento più elevato.
Cosa succede di sbagliato quando lo salti?
Qui si possono verificare due modalità di guasto, e la seconda è molto meno conosciuta della prima.
Vi sfuggono dei miglioramenti concreti. Un test con scarsa potenza statistica non rileva "differenze significative" per una modifica che in realtà funziona. Il team conclude che l'idea era sbagliata e abbandona una direzione che avrebbe dato i suoi frutti. Questo è il fallimento che tutti conoscono, ed è il meno costoso dei due.
Le tue vincite sono gonfiate. Questo è quello che corrompe silenziosamente i numeri di un programma. In un test con potenza insufficiente, l'unico modo in cui un risultato può superare la soglia di significatività è se il rumore casuale lo ha spinto abbastanza lontano, il che significa che gli effetti che do Le affermazioni considerate significative sono sistematicamente più grandi della verità. Minore è la potenza, peggiore è l'esagerazione.
Un programma poco potente, quindi, non si limita a non rilevare alcuni elementi. Produce un registro dei test pieno di risultati positivi con incrementi sovrastimati, che vengono poi moltiplicati per il traffico per prevedere entrate che non si concretizzano mai. Sei mesi dopo, qualcuno chiede perché la somma dei risultati positivi non si rifletta nel dato complessivo. Questa è solitamente la risposta.
Non è possibile risolvere questo problema in fase di analisi. Bisogna prevenirlo in fase di progettazione.
Per variante, non in totale
L'output della calcolatrice è il requisito per ciascun braccio del test. Due varianti significano il doppio del numero. Sembra ovvio e viene costantemente interpretato male, di solito in senso ottimistico.
Le varianti multiple complicano il problema due volte. Un test A/B/C/D richiede un campione quattro volte più grande rispetto alla figura a braccio singolo, and Tre confronti simultanei con il gruppo di controllo aumentano la probabilità di almeno un falso positivo ben oltre il valore nominale del 5%. Correggendo questo fattore, il requisito aumenta ulteriormente.
Per la maggior parte dei siti, la regola pratica è: a meno che non si abbia traffico in abbondanza, è meglio utilizzare due varianti. Un test a quattro vie su una pagina che a malapena riesce a gestire un test a due vie non quadruplica l'apprendimento. È pari a zero, ma erogato più lentamente.
La durata è un vincolo separato
Raggiungere la dimensione del campione desiderata è necessario, ma non sufficiente.
Un test che raggiunge il suo obiettivo in quattro giorni ha campionato quattro giorni di comportamento. Il traffico nei giorni feriali e nel fine settimana si converte in modo diverso. I cicli di pagamento degli stipendi sono importanti nell'e-commerce. Le campagne a pagamento lanciate a metà del test modificano il mix di pubblico sottostante. Anche i nuovi design producono un effetto novità che si attenua: l'interazione iniziale con un layout non familiare non è una stima stabile delle prestazioni a regime.
L'esperimento dovrebbe durare almeno una settimana intera, e preferibilmente due, a prescindere da quanto consentito dal calcolo della dimensione del campione. Il vincolo più lungo – la dimensione del campione o il ciclo economico – è quello che prevale. Inoltre, è consigliabile impostare la data di fine in anticipo, anziché controllare ogni mattina e interrompere l'esperimento quando i risultati sembrano promettenti, un metodo altrettanto efficace per generare falsi vincitori.
Quando il numero è impossibile
A volte la risposta onesta è che il test non può essere eseguito. Questa è un'informazione utile, e ci sono cinque risposte ragionevoli.
Prova a introdurre una modifica più consistente. La relazione quadratica rende questa l'opzione con il maggiore impatto, di gran lunga. Riprogetta il flusso, non il pulsante.
Passare a un parametro di riferimento più elevato. Esegui il test confrontandolo con l'aggiunta al carrello o l'inserimento nel checkout, anziché con l'acquisto effettivo. L'effetto viene misurato su una base più ampia e il campione necessario si riduce. Accetta il fatto che stai misurando un indicatore indiretto e convalida separatamente il collegamento con le entrate.
Test più in basso nell'imbuto, come sopra.
Raggruppa pagine simili. Eseguire un test su tutte le pagine di categoria anziché su una singola categoria moltiplica il traffico disponibile, a condizione che le pagine siano sufficientemente simili dal punto di vista comportamentale da rendere giustificabile l'aggregazione dei dati.
Smettete di fare esperimenti e iniziate a fare ricerca. Se un sito non è in grado di supportare un esperimento, i test A/B non sono lo strumento adatto. Test di usabilità, registrazioni delle sessioni e analisi euristica individueranno i problemi più rapidamente e a costi inferiori. La validazione quantitativa arriverà in un secondo momento, quando le modifiche saranno sufficientemente significative da essere misurabili. Non c'è nulla di male in questo: eseguire test con una potenza statistica insufficiente solo per sentirsi rigorosi è peggio che non eseguirli affatto.
Lista di controllo pre-volo
Prima di qualsiasi lancio di prova:
- [ ] Il valore di riferimento è stato misurato sulla pagina e sul pubblico effettivi su cui verrà eseguito il test, non sull'intero sito.
- [ ] MDE dichiarato esplicitamente, per iscritto, con specificazione relativa o assoluta
- [ ] Dimensione del campione calcolata per variante e moltiplicato per il numero di braccia
- [ ] Durata richiesta rispetto al traffico disponibile — e la risposta accettata prima del lancio
- [ ] Data di fine fissata in anticipo
- [ ] Un ciclo aziendale completo, a prescindere da ciò che dice il calcolo del campione.
- [ ] L'unità di randomizzazione corrisponde all'unità di analisi (assegnazione a livello di visitatore, metriche a livello di visitatore)
- [ ] Suddivisione del traffico verificata nelle prime ore: un test 50/50 che fornisce 53/47 significa un problema di strumentazione e i risultati non sono utilizzabili finché non viene trovato
Esegui i calcoli prima di creare la variante
L'intero calcolo richiede mezzo minuto e influenza il risultato finale. I team che dimensionano prima i test progettano varianti più audaci, perché possono rendersi conto di quanto costerebbero quelle più prudenti.
Inserisci il tuo tasso di conversione di base, l'effetto che desideri rilevare e le impostazioni di confidenza e potenza. Se il valore restituito è superiore al tuo traffico, non è comunque un motivo per avviare il test: il test ti sta semplicemente suggerendo di cambiare piano.
Domande frequenti
Di quanti visitatori ho bisogno per un test A/B? Non esiste un numero universale. Dipende dal tasso di conversione di base, dall'effetto minimo che si desidera rilevare e dai livelli di significatività e potenza scelti. Una pagina con un tasso di conversione del 2.5% necessita di circa 64,000 visitatori per variante per rilevare un miglioramento relativo del 10%; una fase di checkout con un tasso di conversione del 40% ne necessita di circa 2,400 per lo stesso effetto relativo.
Qual è un buon effetto minimo rilevabile? Il valore più basso che il tuo traffico può supportare entro un lasso di tempo ragionevole. Parti dal traffico disponibile e da una durata target di due-quattro settimane, quindi calcola a ritroso il valore MDE (Minimum Detectable Effect) più adatto. Se tale valore MDE è superiore alla variazione che il test potrebbe plausibilmente produrre, riprogetta il test.
Posso interrompere un test prima della fine se è chiaramente in vantaggio? Non con un test standard a orizzonte fisso. Controllare ripetutamente e interrompere al primo risultato significativo aumenta il tasso di falsi positivi ben oltre il 5%. Se hai bisogno di poter interrompere prima, usa un metodo progettato appositamente per questo, come i test sequenziali o un framework bayesiano, e decidilo prima del lancio, non durante.
Cosa succede se il mio test raggiunge la significatività statistica prima che venga raggiunto il campione necessario? Trattatelo con sospetto e continuate a correre fino alla fine prevista. Un'importanza precoce in una finestra temporale poco favorevole è esattamente lo schema che produce risultati vincenti gonfiati e non riproducibili.
L'80% di potenza è sufficiente? È l'impostazione predefinita convenzionale ed è un punto di partenza ragionevole, ma significa accettare una probabilità del 20% di non rilevare un effetto reale. Per decisioni importanti, come la riprogettazione del processo di pagamento o una modifica dei prezzi, una potenza del 90% giustifica il campione aggiuntivo. Per modifiche reversibili e a basso costo, l'80% è sufficiente.
Non sei sicuro che il tuo programma di test stia producendo risultati concreti?
Se il registro dei test è pieno di piccoli successi che non si riflettono mai nel dato complessivo, il problema di solito risiede a monte dell'analisi. Analizziamo i programmi di sperimentazione e vi indichiamo chiaramente dove la progettazione presenta delle criticità.
