Test sequenziali

I test sequenziali sono una famiglia di disegni sperimentali che consentono di valutare i risultati in modo continuo, o a intervalli programmati, controllando al contempo il tasso di errore che le valutazioni ripetute aumenterebbero altrimenti. In un test convenzionale a orizzonte fisso, l'analisi è valida solo per la singola dimensione del campione precalcolata; ogni ulteriore analisi aumenta la probabilità di un falso positivo. I metodi sequenziali adattano il confine decisionale per tenere conto del fatto che vengono effettuate più analisi, rendendo legittimo interrompere un test anticipatamente quando le prove sono sufficientemente solide.

Il vantaggio commerciale è evidente. Un test a orizzonte fisso che richiede quattro settimane di traffico deve essere eseguito per quattro settimane, anche se la variante sta danneggiando gravemente i ricavi nella prima settimana, a meno che il team non sia disposto ad abbandonare la validità statistica del progetto. Gli approcci sequenziali consentono di interrompere rapidamente una variante realmente disastrosa e di rilasciare tempestivamente una variante realmente vincente, riducendo così i costi di test e aumentando il numero di esperimenti che un sito può eseguire in un anno. Per le aziende in cui una variante inefficace comporta un rischio reale per i ricavi, questo non è un perfezionamento, ma un requisito imprescindibile.

Diverse tecniche rientrano in questa categoria. I disegni sequenziali di gruppo specificano un piccolo numero di analisi intermedie con soglie aggiustate a ciascuna. Le funzioni di spesa alfa distribuiscono il tasso totale di falsi positivi consentito tra queste analisi. L'inferenza sempre valida e i test sequenziali del rapporto di probabilità consentono un monitoraggio continuo con limiti che si restringono man mano che i dati si accumulano. Gli approcci bayesiani aggirano il problema dell'orizzonte fisso per costruzione, sebbene comportino le proprie considerazioni in merito alla prevenzione dei bias. La maggior parte delle piattaforme di test commerciali ora implementa uno di questi approcci internamente, motivo per cui i valori di confidenza riportati non si comportano più come farebbero i semplici test di significatività ripetuti.

L'importante precisazione è che la validità sequenziale non elimina completamente il rischio di un'interruzione anticipata. Un test interrotto dopo cinque giorni è pur sempre un test che non ha completato un intero ciclo settimanale, non ha accumulato visitatori di ritorno e non ha ancora superato l'effetto novità che una modifica visibile del design produce nei primi giorni di esposizione. Le statistiche possono essere valide anche se la conclusione aziendale è errata, perché il campione non è rappresentativo delle normali condizioni operative, piuttosto che essere troppo piccolo. Le regole relative alla durata minima del test, in genere almeno un ciclo aziendale completo e preferibilmente due, si affiancano ai limiti sequenziali anziché essere sostituite da essi.

L'interruzione anticipata di un test distorce anche la stima dell'effetto. I test che si interrompono non appena viene superata una soglia lo fanno in momenti in cui la variazione casuale tende a favorire la variante, quindi l'incremento osservato nel punto di interruzione tende a sovrastimare l'effetto reale. Quando la decisione è semplicemente se spedire o meno, questo raramente ha importanza. Quando invece il dato viene utilizzato per una previsione di fatturato, è molto importante e la cifra riportata dovrebbe essere scontata o ricalcolata anziché citata direttamente.

Poiché le implementazioni differiscono, è opportuno stabilire cosa faccia effettivamente una piattaforma di test prima di fare affidamento sui suoi verdetti. La documentazione del fornitore dovrebbe specificare se il livello di confidenza riportato è valido in condizioni di monitoraggio continuo, quale metodo viene utilizzato e se la dimensione dell'effetto riportata è corretta per l'arresto anticipato. Alcune piattaforme applicano un'inferenza sempre valida, altre applicano limiti sequenziali di gruppo a checkpoint fissi, e altre ancora riportano statistiche ingenue a orizzonte fisso su una dashboard in tempo reale, che è la configurazione che produce il maggior numero di falsi positivi nella pratica. La distinzione non è puramente accademica: gli stessi dati possono portare a un verdetto di confidenza con un metodo e a nessuna conclusione con un altro, e i team che hanno cambiato piattaforma a volte scoprono che una parte consistente dei loro successi passati non sarebbe stata dichiarata con la metodologia del nuovo strumento.

Per una società di consulenza che gestisce un programma ad alta cadenza, i disegni sequenziali sono ciò che rende una velocità di sperimentazione aggressiva compatibile con la disciplina statistica. In un ottimizzazione del tasso di conversione coinvolgimento, le regole sono normalmente documentate in anticipo: quale metodo di delimitazione si applica, il tempo di esecuzione minimo indipendentemente dal delimitazione, le metriche di protezione che possono innescare un arresto di emergenza e chi ha l'autorità di richiederlo. Tale governance è particolarmente importante in e-commerce ambienti in cui una variante che danneggia il processo di pagamento durante una settimana di picco delle vendite può costare in tre giorni più di quanto l'intero programma di test generi in un trimestre.