Potere statistico

La potenza statistica è la probabilità che un esperimento rilevi un effetto reale di una data entità, se tale effetto esiste effettivamente. Un test con una potenza dell'80%, la convenzione più diffusa, identificherà correttamente un miglioramento reale dell'entità specificata quattro volte su cinque e non lo rileverà la restante volta su cinque. La potenza è l'equivalente del livello di significatività: la significatività controlla la frequenza con cui il test lancia un falso allarme, la potenza controlla la frequenza con cui non lo rileva.

La potenza statistica viene stabilita in anticipo, insieme al livello di significatività, al tasso di conversione di base e all'effetto minimo rilevabile, e insieme questi elementi determinano la dimensione del campione necessaria. Aumentare il requisito di potenza statistica dall'80 al 90% incrementa sostanzialmente il traffico dati necessario, motivo per cui l'80% è diventato lo standard predefinito nei test commerciali, sebbene standard più elevati siano comuni nella ricerca clinica. La scelta riflette un compromesso commerciale tra il costo di perdere una buona idea e il costo del traffico dati impiegato per trovarla.

I test con potenza insufficiente rappresentano il difetto più diffuso e meno visibile nei programmi di ottimizzazione. I test eseguiti per un periodo di tempo fisso, anziché su un campione calcolato, risultano per impostazione predefinita con potenza insufficiente quando il traffico è inferiore a quello previsto. La conseguenza non è solo uno spreco di risorse, ma anche conclusioni sistematicamente fuorvianti: un programma con potenza insufficiente produce una serie di risultati inconcludenti che vengono registrati come "nessun effetto", creando nel tempo la falsa convinzione, all'interno dell'organizzazione, che un'intera categoria di modifiche sia irrilevante. Si perdono opportunità concrete perché lo strumento di misurazione non è mai stato sufficientemente sensibile per rilevarle.

Esiste una seconda conseguenza, più insidiosa. In un esperimento con potenza statistica insufficiente, qualsiasi risultato che raggiunga la significatività statistica deve, per pura logica, mostrare un effetto osservato di grande entità. Questo gonfia l'apparente portata di ogni successo riportato dal programma, un fenomeno talvolta definito "maledizione del vincitore". Un programma che esegue test con potenza statistica insufficiente riporterà quindi una serie di successi eclatanti, nessuno dei quali si riprodurrà con la stessa entità una volta implementato, e il divario tra i ricavi previsti e quelli effettivamente realizzati è ciò che alla fine mina la fiducia nella pratica.

Migliorare la potenza non significa necessariamente aspettare un aumento del traffico. Scegliere una metrica più in alto nel funnel con una frequenza di base maggiore aumenta la potenza a parità di numero di visitatori. Ridurre la varianza utilizzando un'analisi con covariate, o limitando il test a un segmento di pubblico più omogeneo, può ridurre significativamente i tempi di esecuzione. Testare modifiche più audaci con effetti attesi maggiori aumenta la dimensione dell'effetto che il test deve rilevare e quindi riduce il campione necessario. Ognuna di queste è una decisione di progettazione presa prima del lancio, ed è più produttiva che estendere un test già inconcludente nella speranza che i numeri cambino.

La riduzione della varianza merita maggiore attenzione di quanta ne riceva solitamente, perché migliora la sensibilità senza richiedere un aumento del traffico. La tecnica più consolidata utilizza i dati pre-esperimento relativi a ciascun visitatore, come ad esempio il suo comportamento nelle settimane precedenti al test, come covariata nell'analisi, eliminando la variabilità che non ha nulla a che fare con il trattamento. Quando una parte consistente del traffico è costituita da visitatori di ritorno con una cronologia di navigazione, questo può ridurre significativamente il campione necessario, accorciando i tempi di esecuzione dell'intero programma anziché migliorare un singolo test. La scelta di una metrica meno variabile ha un effetto simile: la conversione binaria è meno soggetta a rumore rispetto al fatturato per visitatore, che è dominato da un piccolo numero di ordini di grandi dimensioni; pertanto, un test basato sulla conversione che riporta il fatturato come misura secondaria spesso giunge a una conclusione molto prima di un test basato direttamente sul fatturato.

Nella pratica della consulenza, l'analisi della potenza è il momento in cui una roadmap di test diventa onesta su ciò che può fornire. Prima di un ottimizzazione del tasso di conversione Il programma inizia, calcolando la potenza raggiungibile al traffico attuale, indicando al cliente quanti esperimenti per trimestre sono realistici e quali domande richiederanno un metodo completamente diverso. Per i siti in cui l'aritmetica non supporta una cadenza di sperimentazione continua, il percorso più efficace è solitamente una ricerca strutturata e una valutazione esperta, fornita tramite un Audit dell'esperienza utente, riservando la sperimentazione al piccolo numero di flussi ad alto traffico e ad alto valore in cui i numeri tornano.