Se controlli un test A/B ogni mattina e lo interrompi la prima volta che il pannello di controllo diventa verde, il tuo vero tasso di falsi positivi non è del 5%. In una simulazione che testa la significatività dopo ogni osservazione, Evan Miller l'ha misurata a 26.1%, più di cinque volte il livello a cui la maggior parte delle squadre crede di correre (Come non eseguire un test A/BUn quarto delle "vittorie" che non si replicano non è un problema statistico, bensì un problema di strategia.
Questa guida è pensata per i team di crescita e CRO che eseguono test su traffico e-commerce o turistico troppo stagionale per rimanere statico per quattro settimane. Al termine, sarai in grado di pianificare un calendario di test prima del lancio, leggere la soglia per ogni look da una tabella, dimensionare il test per il piccolo campione aggiuntivo che la pianificazione richiede e riconoscere quando il metodo smette di essere valido.
Perché sbirciare interrompe un test a orizzonte fisso
Un test a orizzonte fisso utilizza l'intero budget di errore del 5% una sola volta, con una dimensione del campione predefinita. Ogni ulteriore analisi rappresenta un'ulteriore possibilità di superare la soglia. Il problema non è analizzare i dati, ma analizzarli con una soglia calcolata per una singola analisi. La tabella di Miller riporta il livello di significatività necessario per mantenere un tasso effettivo del 5% se si insiste nell'analizzare i dati un numero prestabilito di volte:
| Numero di sguardi | Significatività riportata necessaria per un vero 5% |
|---|---|
| 1 | 2.9% |
| 2 | 2.2% |
| 3 | 1.8% |
| 5 | 1.4% |
| 10 | 1.0% |
Per dirla in altro modo: se guardi dieci volte, ciò che leggi come una significatività dell'1% è in realtà il 5%. Rozzo, ma onesto. I metodi descritti di seguito svolgono lo stesso compito in modo più efficiente.
Tre modi per smettere prima del previsto e i relativi costi.
| Approccio | Correggere prima del lancio | Costo rispetto a un test a prezzo fisso | Usalo quando |
|---|---|---|---|
| Orizzonte fisso | Dimensione del campione, una data di analisi | Nessuno, ma non è consentita alcuna sosta anticipata. | Il traffico è stabile, la finestra è breve |
| Gruppo sequenziale (spesa alfa) | Campione massimo, numero e tempistica degli sguardi | Il campione massimo aumenta di circa il 3% (O'Brien-Fleming) fino al 20% circa (Pocock), 4 sguardi | La dimensione del campione è stimabile |
| Sempre valido (mSPRT) | Nulla, in linea di principio | La maggiore perdita di potenza tra le tre, rilevata sullo stesso campione. | La dimensione del campione non è stimabile |
La terza riga è importante perché è quella che la maggior parte delle piattaforme commerciali distribuisce. Nella simulazione di Georgi Georgiev con un campione massimo fisso di 7,045 per gruppo, un test a orizzonte fisso ha raggiunto una potenza dell'83.3%, AGILE sequenziale di gruppo ha raggiunto il suo obiettivo dell'80%, SPRT circa il 73% e l'inferenza sempre valida il 62.4%. Per raggiungere una potenza dell'80%, l'inferenza sempre valida necessitava di circa 85% di campione in più rispetto al disegno sequenziale di gruppo (Kit di strumenti per l'analisi dati, 2022). Gli ingegneri di Spotify sono giunti alla stessa conclusione in modo indipendente: i test sequenziali di gruppo sono "sistematicamente migliori o paragonabili agli approcci sempre validi" quando è possibile stimare la dimensione del campione (Schultzberg e Ankargren, 2023).
Vale la pena correggere questo, perché l'inquadramento del fornitore va nella direzione opposta. La documentazione di Optimizely ti dice di "saltare il lavoro preliminare all'esperimento, come il calcolo della dimensione del campione prima di avviare l'esperimento" (Supporto Optimizely). Il controllo degli errori è reale e la ricerca sottostante è solida (Johari e altri, Inferenza sempre valida); ciò che l'inquadramento omette è la bolletta elettrica. Statsig, implementando la stessa famiglia di metodi, lo dice chiaramente: "Se hai bisogno di una misurazione accurata della dimensione dell'effetto, attendi la potenza completa che il tuo calcolo della potenza pre-esperimento stima" (Documentazione Statsig). Interpretate "non è necessario alcun campione" come un'affermazione sulla validità, non sull'efficienza.
Il metodo, passo dopo passo
Esempio pratico: un rivenditore di abbigliamento sta testando il processo di pagamento. Tasso di conversione di base della sessione: 2.4%, effetto target: +10% relativo (2.64%), alfa bilaterale: 5%, potenza statistica: 80%, circa 5,000 sessioni al giorno.
1. Dimensionalo come se non dovessi mai sbirciare
Il dimensionamento a due proporzioni fornisce 66,943 sessioni per braccio, 133,886 in totale. Questo non è un costo aggiuntivo facoltativo solo perché si prevede di fermarsi prima; è il punto di riferimento su cui si basa la pianificazione.
2. Scegli quanti sguardi e quando
Da tre a cinque look catturano quasi tutti i vantaggi disponibili; oltre questo, ogni look aggiunge il costo massimo del campione per un ritorno minimo. Allinea i look a intere settimane, poiché la composizione del giorno della settimana è una fonte importante di variazione nel traffico di vendita al dettaglio. Con 5,000 sessioni al giorno, quattro look settimanali si avvicinano a 140,000 sessioni, coprendo il massimo previsto.
3. Scegli una funzione di spesa e annota le soglie
Una funzione di spesa alfa decide quanto del budget del 5% ogni look può consumare, in funzione della quantità di dati accumulati (Penn State STAT 509). Le due scelte classiche, con quattro look equidistanti, alfa bilaterale 0.05:
| Guarda | Quota del campione previsto | O'Brien-Fleming: fermati se p | Pocock: fermati se p |
|---|---|---|---|
| 1 (fine della settimana 1) | 25% | 0.0001 | 0.0179 |
| 2 (fine della settimana 2) | 50% | 0.0055 | 0.0179 |
| 3 (fine della settimana 3) | 75% | 0.0216 | 0.0184 |
| 4 (fine della settimana 4) | 100% | 0.0411 | 0.0188 |
| Campione massimo vs test fisso | + 3% | + 20% |
Questi sono stati calcolati con le funzioni di spesa di Lan-DeMets e corrispondono alla caratterizzazione pubblicata: O'Brien-Fleming utilizza "soglie molto stringenti all'inizio, ma la soglia di analisi finale è vicina al tipico p < 0.05", mentre Pocock mantiene una soglia quasi costante intorno a p < 0.016 (Ciolino, Kaizer e Bonner, 2023).
L'algoritmo O'Brien-Fleming è una soluzione economica: non si attiva quasi mai al primo tentativo, costa circa il 3% in più per campione massimo e la sua soglia finale è di poco inferiore a 0.05. Pocock si arresta precocemente molto più spesso, ma costa il 20% in più di traffico. Per le metriche legate al fatturato, è consigliabile utilizzare O'Brien-Fleming come impostazione predefinita.
4. Scrivi la regola nel ticket prima del lancio
Una frase, visibile a chiunque possa interrompere il test: "Consideriamo la fine delle settimane da 1 a 4, dichiariamo un vincitore solo se il p-value bilaterale per [metrica primaria] è inferiore alla soglia di quella valutazione, altrimenti proseguiamo fino alla settimana 4". Una regola che esiste solo nella testa di qualcuno non è una regola.
5. Imposta anche il limite di futilità
La maggior parte dei team implementa solo limiti di efficacia, quindi interrompono i vincitori in anticipo e lasciano che i perdenti completino la loro corsa, il che è controproducente in termini di costo opportunità. Un limite di futilità non vincolante – interrompere quando una vittoria significativa diventa implausibile – è ciò che consente di risparmiare la maggior parte del tempo. Con quattro analisi O'Brien-Fleming, il campione atteso in presenza di un effetto reale si riduce a circa l'83% del requisito a orizzonte fisso.
6. Non riportare la stima puntuale iniziale come dimensione dell'effetto
Un test che si interrompe prima si è interrotto perché La portanza osservata era insolitamente elevata, quindi la stima è sovrastimata a causa della costruzione. Utilizzatela per la decisione relativa alla nave, non per la previsione dei ricavi. Statsig: "Le decisioni precoci spesso producono stime di portanza sottostimate e con elevata incertezza."
Lista di controllo pre-lancio
- Un parametro primario, dichiarato per iscritto prima del lancio
- Data massima di campionamento e di fine del calendario fissate
- Sembra fisso nel numero e nella tempistica, allineato a intere settimane
- Funzione di spesa selezionata, soglie inserite nel biglietto
- Definizione della regola di futilità, non solo della regola di efficacia
- SRM controllato ad ogni sguardo, prima il valore p viene letto
- I parametri relativi alle barriere di protezione vengono monitorati separatamente, al di fuori della regola di arresto.
- Chiunque possa interrompere il test sa che gli sguardi non pianificati sono vietati
Calibrazione per la Turchia e la regione
Secondo il rapporto sulle prospettive del commercio elettronico del Ministero del Commercio presentato nel maggio 2026, nel 2025 la Turchia ha registrato 5.94 miliardi di transazioni di e-commerce per un volume di 4.57 trilioni di lire turche.Daily Sabah, 12 maggio 2026Si tratta di un mercato ampio, composto principalmente da negozi di medie dimensioni, quindi le finestre di quattro settimane sono la norma, un periodo sufficientemente lungo da poter coincidere con una campagna pubblicitaria.
Il periodo di sconti di fine novembre noto localmente come Efsane Cuma, e l'evento dell'11.11 che lo precede, cambiano che è sul sito, non semplicemente quanti. I visitatori attratti dagli sconti si convertono secondo una logica diversa, quindi un programma che attraversa i confini di una campagna non misura un'unica popolazione. La nostra regola: termina prima della campagna o inizia dopo. Se un test deve necessariamente svolgersi durante una campagna, trattala come uno strato a sé stante e non prendere decisioni di interruzione al suo interno.
Un secondo adeguamento si applica in tutta l'UE e ai banner di consenso allineati al KVKK in Turchia: se l'analisi è soggetta al consenso, parte del tuo traffico non viene osservata. Dimensioni e programmazione su osservato sessioni, o ogni look arriva più tardi di quanto indicato dal calendario.
[DATI INTERNI NECESSARI: mediana delle sessioni giornaliere e mediana della durata effettiva dei test tra i clienti e-commerce di Switas, per sostituire la cifra illustrativa di 5,000 sessioni/giorno con una distribuzione reale.]
Dove questo si interrompe
- Variazione della composizione. I metodi sequenziali presuppongono che il flusso in entrata sia intercambiabile nel tempo. Una campagna o un cambiamento nei media a pagamento interrompe questa premessa, e l'interruzione dei blocchi anticipati nella settimana in cui si è verificato l'evento anomalo comporta la perdita di tale presupposto.
- Novità e primato. La lettura della prima settimana misura la reazione, non il comportamento consolidato. Se il cambiamento è visibile ai clienti abituali, non è necessario imporre alcun limite di efficacia alla prima osservazione.
- Metriche con coda pesante. Il ricavo per sessione è dominato da rari ordini di grandi dimensioni, e le approssimazioni standard risultano inaffidabili con campioni intermedi di piccole dimensioni. Fermati sul tasso di conversione e considera anche il ricavo, oppure applica la winsorizzazione e specificalo chiaramente.
- Metriche multiple. Questi limiti controllano l'errore per prima metrica. Cinque metriche con cinque regole di arresto e nessuna ulteriore correzione ti riporta al punto di partenza.
- Strumentazione sigillata. Un test sequenziale attraverserà senza problemi un confine su dati corrotti. Non sostituisce un controllo SRM.
- Non trattato in questa sede: Regole di arresto bayesiane, multi-armed bandit e riduzione della varianza come CUPED. Ognuno di questi metodi interagisce con l'arresto anticipato in modi che richiedono un'analisi separata.
FAQ
Contrassegna questa sezione con lo schema FAQPage.
Posso semplicemente utilizzare un valore p più restrittivo invece di una funzione di spesa?
Sì, se si stabilisce in anticipo il numero di visualizzazioni e queste sono poche. La tabella di Miller fornisce la soglia. È un approccio più conservativo rispetto alla spesa alfa, quindi si paga più del necessario per il campione, ma non richiede nuovi strumenti.
Il test sequenziale significa che posso saltare il calcolo della dimensione del campione?
No. La validità è preservata anche senza una stima della dimensione del campione; la potenza statistica no. Entrambe le simulazioni, quella di Georgiev e quella di Spotify, mostrano lo stesso schema: quando è possibile stimare la dimensione del campione, un disegno sequenziale a gruppi risulta predominante.
E se stessi aspettando una regressione anziché una vittoria?
Si tratta di monitoraggio di sicurezza, non di verifica di ipotesi. Monitorate costantemente i parametri di sicurezza e di errore secondo una regola separata e meno restrittiva, lasciando inalterata la regola di arresto principale. Eliminare una variante che danneggia gli utenti non richiede cerimonie.
I test bayesiani sono immuni al rischio di sbirciare?
No. Interrompere l'esecuzione nel momento in cui una probabilità a posteriori supera una soglia modifica le caratteristiche operative della regola decisionale, a meno che la regola non sia stata progettata per un arresto facoltativo. La probabilità a priori modifica la forma del problema, non la sua esistenza.
O'Brien-Fleming o Pocock?
O'Brien-Fleming in quasi tutti i casi commerciali. Scegli Pocock solo quando una risposta tempestiva ha un valore concreto, puoi assorbire circa il 20% in più di campione massimo e qualcuno è pronto a spedire i risultati entro la prima settimana.
Posso aggiungere un look che non avevo previsto?
Con una funzione di spesa alpha, sì, a condizione che la decisione di visualizzare i dati non sia determinata dai dati che si stanno per vedere. Aggiungere un'occhiata perché la dashboard "sembrava simile" è una questione di tempistica dipendente dai dati e invalida la garanzia.
Collabora con noi su questo
Se eseguite esperimenti su una piattaforma di e-commerce turca o regionale e la regola di arresto attuale è "verificatela ogni mattina", la ricostruiremo insieme a voi: dimensionamento, pianificazione delle visualizzazioni, limiti, regola di futilità e gate SRM, il tutto integrato nel vostro modello di esperimento in modo che il test successivo lo erediti. Parla con Switas del tuo programma di sperimentazione.
fonti
- Evan Miller, Come non eseguire un test A/B
- Johari, Pekelis, Walsh e Koomen, Inferenza sempre valida: monitoraggio continuo dei test A/B; pubblicato in Ricerche operative 70 (3), 2022
- Georgi Georgiev, Confronto della potenza statistica dei test sequenzialiAnalytics-Toolkit, novembre 2022 (aggiornato a marzo 2023)
- Schultzberg e Ankargren, Scelta di un framework di test sequenziale, Team di ingegneri di Spotify, marzo 2023
- Ottimamente, Panoramica sui metodi di analisi statistica
- Statsig, Test sequenziale frequentista
- Ciolino, Kaizer e Bonner, Linee guida sui metodi di analisi intermedia negli studi clinici, J Clin Transl Sci 7(1):e124, 2023
- Penn State STAT 509, Approccio della funzione di spesa Alpha
- patto, Definizione dei confini sequenziali del gruppo
- Nel 2025 il volume del commercio elettronico in Turchia aumenterà di oltre il 52%., Daily Sabah, 12 maggio 2026, riporta il rapporto sulle prospettive dell'e-commerce del Ministero del Commercio.
