P-verdi

En p-verdi er sannsynligheten for å observere et resultat som er minst like ekstremt som det målte, forutsatt at endringen som testes ikke hadde noen reell effekt. Det er tallet som ligger til grunn for flest signifikansverdier i konverteringseksperimenter: en p-verdi under 0.05 blir konvensjonelt behandlet som bevis mot antagelsen om ingen effekt, og resultatet merkes som signifikant på 95 prosentnivå.

Definisjonen inneholder en betinget som rutinemessig utelates i praksis, og det å utelate den forårsaker mesteparten av forvirringen rundt konseptet. En p-verdi på 0.03 betyr ikke at det er 3 prosent sjanse for at endringen ikke hadde noen effekt, og det betyr ikke at det er 97 prosent sjanse for at varianten er bedre. Den beskriver hvor overraskende dataene ville vært i en verden der endringen ikke gjorde noe. Å oversette dette til en sannsynlighet for selve hypotesen krever ytterligere informasjon, nærmere bestemt hvor plausibel hypotesen var før testen, som er nettopp det bayesianske metoder gjør eksplisitte og frekventistiske p-verdier utelater.

Dette er kommersielt viktig fordi det endrer hvordan resultater skal vektes. En p-verdi på 0.04 på en velbegrunnet hypotese basert på observert brukeratferd er mye sterkere bevis enn den samme p-verdien på en vilkårlig endring testet på et innfall, selv om de to tallene er identiske. Programmer som tester store mengder ideer av lav kvalitet, vil akkumulere betydelige resultater omtrent i den hastigheten terskelen tilsier, én av tjue bare ved tilfeldigheter, og vil deretter slite med å forstå hvorfor deres samlede forretningsmessige innvirkning ikke samsvarer med summen av de rapporterte gevinstene.

Terskelen på 0.05 har i seg selv ikke noe vitenskapelig grunnlag; det er en konvensjon arvet fra statistisk praksis tidlig på 1900-tallet og tatt i bruk i stor skala av optimaliseringsindustrien. Å behandle den som en lysende linje oppmuntrer til en spesiell type dårlig resonnement der en p-verdi på 0.049 er en seier og 0.051 er en fiasko, når de to resultatene er praktisk talt identiske. Bedre praksis er å rapportere p-verdien sammen med effektstørrelsen og konfidensintervallet og la beslutningen gjenspeile hele bildet, inkludert kostnaden ved endringen og konsekvensene av å ta feil.

Flere vanlige fremgangsmåter blåser opp p-verdier på måter som er usynlige i den endelige rapporten. Gjentatt kontroll av resultater og stopp når terskelen krysses, øker den reelle falske positive raten dramatisk. Testing av mange målinger og rapportering av den som nådde signifikans gjør det samme. Å dele opp i segmenter etter å ha sett totalene er den samme feilen igjen, i større skala. Det finnes korreksjonsmetoder for flere sammenligninger, og det finnes sekvensielle testdesign for kontinuerlig overvåking, men den mest pålitelige beskyttelsen er en forhåndsregistrert analyseplan som fikser den primære målingen, segmentene og stoppregelen før data ankommer.

Å undersøke fordelingen av p-verdier gjennom et programs historie er en avslørende diagnostikk som få team utfører. Hvis eksperimenter ble kjørt og analysert riktig, og hvis de fleste testede ideene ikke hadde noen reell effekt, ville p-verdiene på tvers av porteføljen være omtrent jevnt fordelt, med omtrent én av tjue som falt under den konvensjonelle terskelen. En fordeling som er sterkt gruppert rett under terskelen er en sterk indikator på at regler drevet av tall snarere enn av planen stoppes, siden tester stoppes i det øyeblikket de krysser en linje og akkumuleres nøyaktig ved den linjen. Å gjennomgå et år med tidligere eksperimenter på denne måten koster noen timer og forklarer ofte et avvik som har forvirret en bedrift mye lenger, nemlig hvorfor en portefølje av rapporterte seire ikke har flyttet målene som ledelsen faktisk følger med på.

For et konsulentfirma handler det nyttige bidraget vanligvis mindre om å beregne p-verdier riktig, noe alle testplattformer gjør automatisk, og mer om å styre hvordan de brukes. CRO-tjeneste engasjement etablerer vanligvis en skriftlig analyseprotokoll, definerer primære og sekundære målinger per eksperiment, og rapporterer resultater i et konsistent format som inkluderer effektstørrelse og intervall i stedet for en ensartet dom. I større organisasjoner blir denne protokollen en del av hvordan dataanalyse Funksjonen bekrefter resultater før de siteres i styrerapporteringen, noe som hindrer at en portefølje av statistisk sårbare gevinster presenteres som en pålitelig inntektsprognose.