Valore P

Il valore p rappresenta la probabilità di osservare un risultato almeno altrettanto estremo di quello misurato, ipotizzando che la modifica in esame non abbia avuto alcun effetto reale. È il valore che sottende la maggior parte dei verdetti di significatività negli esperimenti di conversione: un valore p inferiore a 0.05 viene convenzionalmente considerato una prova contraria all'ipotesi di assenza di effetto, e il risultato viene etichettato come significativo al livello del 95%.

La definizione contiene una condizione che viene regolarmente omessa nella pratica, e proprio questa omissione è la causa principale della confusione che circonda il concetto. Un valore p di 0.03 non significa che ci sia una probabilità del 3% che la modifica non abbia avuto alcun effetto, né che ci sia una probabilità del 97% che la variante sia migliore. Descrive quanto sorprendenti sarebbero i dati in un mondo in cui la modifica non avesse alcun effetto. Tradurre questo valore in una probabilità relativa all'ipotesi stessa richiede informazioni aggiuntive, in particolare quanto fosse plausibile l'ipotesi prima del test, ed è proprio questo che i metodi bayesiani rendono esplicito, a differenza dei valori p frequentisti.

Questo ha rilevanza commerciale perché modifica il modo in cui i risultati dovrebbero essere ponderati. Un valore p di 0.04 su un'ipotesi ben fondata e basata sul comportamento osservato degli utenti costituisce una prova molto più solida rispetto allo stesso valore p su una modifica arbitraria testata per puro caso, anche se i due numeri sono identici. I programmi che testano un gran numero di idee di bassa qualità accumuleranno risultati significativi con una frequenza approssimativamente pari a quella implicata dalla soglia, ovvero una probabilità su venti per puro caso, e in seguito faranno fatica a capire perché il loro impatto complessivo sul business non corrisponda alla somma dei successi dichiarati.

La soglia di 0.05 non ha di per sé alcuna base scientifica; è una convenzione ereditata dalle pratiche statistiche dei primi del Novecento e adottata integralmente dal settore dell'ottimizzazione. Trattarla come un limite invalicabile incoraggia un particolare tipo di ragionamento fallace, in cui un valore p di 0.049 è considerato un successo e 0.051 un fallimento, quando i due risultati sono praticamente identici. Una prassi migliore consiste nel riportare il valore p insieme alla dimensione dell'effetto e all'intervallo di confidenza, lasciando che la decisione rifletta il quadro completo, compresi il costo della modifica e le conseguenze di un eventuale errore.

Diverse pratiche comuni gonfiano i valori p in modi che non sono visibili nel report finale. Controllare ripetutamente i risultati e interrompere l'analisi quando viene superata la soglia aumenta drasticamente il tasso reale di falsi positivi. Testare molte metriche e riportare solo quella che ha raggiunto la significatività produce lo stesso effetto. Suddividere i dati in segmenti dopo aver visto i totali è lo stesso errore, seppur su scala maggiore. Esistono metodi di correzione per i confronti multipli e piani di test sequenziali per il monitoraggio continuo, ma la protezione più affidabile è un piano di analisi preregistrato che definisce la metrica primaria, i segmenti e la regola di arresto prima dell'arrivo dei dati.

Esaminare la distribuzione dei valori p nella storia di un programma è un'analisi diagnostica rivelatrice che pochi team eseguono. Se gli esperimenti fossero condotti e analizzati correttamente, e se la maggior parte delle idee testate non avesse un effetto reale, i valori p nell'intero portfolio sarebbero distribuiti in modo pressoché uniforme, con circa uno su venti al di sotto della soglia convenzionale. Una distribuzione fortemente concentrata appena al di sotto della soglia è un chiaro indicatore di regole di interruzione guidate dai numeri piuttosto che dalla pianificazione, poiché i test interrotti nel momento in cui superano una determinata soglia si accumulano esattamente in corrispondenza di essa. Rivedere un anno di esperimenti passati in questo modo richiede poche ore e spesso spiega una discrepanza che ha incuriosito l'azienda per molto più tempo, ovvero perché un portfolio di successi dichiarati non ha influenzato le metriche che la dirigenza effettivamente monitora.

Per una società di consulenza, il contributo utile di solito non consiste tanto nel calcolare correttamente i valori p, cosa che ogni piattaforma di test fa automaticamente, quanto piuttosto nel regolamentare il modo in cui vengono utilizzati. Servizio CRO L'impegno normalmente stabilisce un protocollo di analisi scritto, definisce metriche primarie e secondarie per esperimento e riporta i risultati in un formato coerente che include la dimensione dell'effetto e l'intervallo piuttosto che un singolo verdetto. Nelle organizzazioni più grandi, questo protocollo diventa parte del modo in cui analisi dei dati Questa funzione certifica i risultati prima che vengano citati nei report al consiglio di amministrazione, impedendo così che un portafoglio di successi statisticamente fragili venga presentato come una previsione di fatturato affidabile.