P-værdi

En p-værdi er sandsynligheden for at observere et resultat, der er mindst lige så ekstremt som det målte, forudsat at den testede ændring ikke havde nogen reel effekt. Det er det tal, der ligger til grund for de fleste signifikansvurderinger i konverteringseksperimenter: en p-værdi under 0.05 behandles traditionelt som bevis imod antagelsen om ingen effekt, og resultatet betegnes som signifikant på 95-procentniveau.

Definitionen indeholder en betinget variant, der rutinemæssigt udelades i praksis, og det at udelades forårsager det meste af forvirringen omkring konceptet. En p-værdi på 0.03 betyder ikke, at der er 3 procents chance for, at ændringen ikke havde nogen effekt, og det betyder ikke, at der er 97 procents chance for, at varianten er bedre. Den beskriver, hvor overraskende dataene ville være i en verden, hvor ændringen ikke gjorde noget. At oversætte det til en sandsynlighed for selve hypotesen kræver yderligere information, specifikt hvor plausibel hypotesen var før testen, hvilket netop er, hvad Bayesianske metoder gør eksplicitte, og frekventistiske p-værdier udelader.

Dette har kommercielt betydning, fordi det ændrer, hvordan resultater skal vægtes. En p-værdi på 0.04 på en velbegrundet hypotese baseret på observeret brugeradfærd er et meget stærkere bevis end den samme p-værdi på en vilkårlig ændring, der testes på et indfald, selvom de to tal er identiske. Programmer, der tester store mængder af ideer af lav kvalitet, vil akkumulere betydelige resultater med omtrent den hastighed, som tærsklen antyder, én ud af tyve alene ved tilfældigheder, og vil derefter have svært ved at forstå, hvorfor deres samlede forretningsmæssige effekt ikke matcher summen af ​​deres rapporterede sejre.

Selve tærsklen på 0.05 har intet videnskabeligt grundlag; det er en konvention, der er arvet fra statistisk praksis i begyndelsen af ​​det tyvende århundrede og blevet adopteret i vid udstrækning af optimeringsindustrien. At behandle den som en lys linje fremmer en bestemt form for dårlig argumentation, hvor en p-værdi på 0.049 er en sejr og 0.051 er en fiasko, når de to resultater praktisk talt er identiske. Bedre praksis er at rapportere p-værdien sammen med effektstørrelsen og konfidensintervallet og lade beslutningen afspejle det fulde billede, inklusive omkostningerne ved ændringen og konsekvenserne af at tage fejl.

Adskillige almindelige fremgangsmåder oppuster p-værdier på måder, der er usynlige i den endelige rapport. Gentagen kontrol af resultater og stop, når tærsklen overskrides, øger den reelle falsk positive rate dramatisk. Testning af mange metrikker og rapportering af den, der nåede signifikans, gør det samme. Opdeling i segmenter efter at have set totalerne er den samme fejl igen, i større skala. Der findes korrektionsmetoder til multiple sammenligninger, og der findes sekventielle testdesigns til kontinuerlig overvågning, men den mest pålidelige beskyttelse er en præregistreret analyseplan, der fastsætter den primære metrik, segmenterne og stopreglen, før der ankommer data.

At undersøge fordelingen af ​​p-værdier på tværs af et programs historik er en afslørende diagnosticering, som få teams udfører. Hvis eksperimenter blev udført og analyseret korrekt, og hvis de fleste testede ideer ikke havde nogen reel effekt, ville p-værdierne på tværs af porteføljen være nogenlunde ensartet fordelt, hvor omkring én ud af tyve ville ligge under den konventionelle tærskel. En fordeling, der er stærkt grupperet lige under tærsklen, er en stærk indikator for, at regler, der er drevet af tallene snarere end af planen, stoppes, da tests stoppes i det øjeblik, de krydser en linje, og akkumuleres præcis ved den linje. At gennemgå et års tidligere eksperimenter på denne måde koster et par timer og forklarer ofte en uoverensstemmelse, der har forvirret en virksomhed i meget længere tid, nemlig hvorfor en portefølje af rapporterede sejre ikke har ændret de metrikker, som ledelsen rent faktisk holder øje med.

For et konsulentfirma handler det nyttige bidrag normalt mindre om at beregne p-værdier korrekt, hvilket alle testplatforme gør automatisk, og mere om at styre, hvordan de bruges. CRO-tjeneste Engagement etablerer normalt en skriftlig analyseprotokol, definerer primære og sekundære metrikker pr. eksperiment og rapporterer resultater i et ensartet format, der inkluderer effektstørrelse og interval snarere end en enkelt dom. I større organisationer bliver denne protokol en del af, hvordan dataanalyse Funktionen certificerer resultater, før de citeres i bestyrelsesrapporteringen, hvilket forhindrer, at en portefølje af statistisk skrøbelige gevinster præsenteres som en pålidelig omsætningsprognose.