Statistisk magt

Statistisk styrke er sandsynligheden for, at et eksperiment vil opdage en reel effekt af en given størrelse, hvis denne effekt rent faktisk eksisterer. En test med 80 procents styrke, den mest anvendte konvention, vil korrekt identificere en reel forbedring af den specificerede størrelse fire ud af fem gange og vil overse den den resterende ene ud af fem gange. Styrke er modstykket til signifikansniveauet: signifikans styrer, hvor ofte testen råber ulv, styrke styrer, hvor ofte den ikke bemærker ulven.

Styrken bestemmes på forhånd, sammen med signifikansniveauet, baseline-konverteringsraten og den mindst detekterbare effekt, og tilsammen bestemmer disse den nødvendige stikprøvestørrelse. En forøgelse af styrkekravet fra 80 til 90 procent øger den nødvendige trafik betydeligt, hvilket er grunden til, at 80 procent er blevet standarden i kommerciel testning, selvom højere standarder er almindelige i klinisk forskning. Valget afspejler en forretningsmæssig afvejning mellem omkostningerne ved at gå glip af en god idé og omkostningerne ved den trafik, der bruges på at lede efter den.

Underpowered testning er den mest udbredte og mindst synlige mangel i optimeringsprogrammer. Test, der kører over en fast kalenderperiode i stedet for en beregnet stikprøvestørrelse, er som standard underpowerede, når trafikken er lavere end antaget. Konsekvensen er ikke bare spildt indsats, men systematisk vildledende konklusioner: et underpowered program producerer en strøm af ufyldestgørende resultater, der registreres som "ingen effekt", hvilket over tid skaber en falsk institutionel overbevisning om, at en hel kategori af ændringer ikke betyder noget. Reelle muligheder opgives, fordi måleinstrumentet aldrig har været følsomt nok til at se dem.

Der er en anden, mere lumsk konsekvens. I et underdimensioneret eksperiment skal ethvert resultat, der når signifikans, aritmetisk set vise en stor observeret effekt. Dette oppuster den tilsyneladende størrelse af hver gevinst, programmet rapporterer, et fænomen, der undertiden kaldes vinderens forbandelse. Et program, der kører underdimensionerede tests, vil derfor rapportere en portefølje af dramatiske gevinster, hvoraf ingen reproduceres i den rapporterede størrelsesorden, når de rulles ud, og forskellen mellem forventet og realiseret omsætning er det, der i sidste ende ødelægger tilliden til praksissen.

Forbedring af testkraft betyder ikke altid at vente på mere trafik. At vælge en metrik højere oppe i tragten med en højere basisrate øger testkraften for det samme antal besøgende. At reducere variansen ved at bruge en kovariatjusteret analyse eller ved at begrænse testen til et mere homogent målgruppesegment kan forkorte testtiden betydeligt. Test af mere dristige ændringer med større forventede effekter øger den effektstørrelse, som testen skal detektere, og sænker derfor stikprøvekravet. Hver af disse er en designbeslutning, der træffes før lancering, og hver af dem er mere produktive end at udvide en allerede ufyldestgørende test i håb om, at tallene vender.

Variansreduktion fortjener mere opmærksomhed, end den normalt får, fordi den forbedrer følsomheden uden at kræve mere trafik. Den bedst etablerede teknik bruger data om hver besøgende før eksperimentet, såsom deres adfærd i ugerne før testen, som en kovariat i analysen, hvilket fjerner variationer, der ikke har noget med behandlingen at gøre. Hvor en betydelig andel af trafikken er tilbagevendende besøgende med historik, kan dette reducere den nødvendige stikprøve betydeligt, hvilket forkorter runtime på tværs af et helt program i stedet for at forbedre en enkelt test. Valg af en mindre variabel metrik har en lignende effekt: binær konvertering er mindre støjende end omsætning pr. besøgende, som er domineret af et lille antal store ordrer, så en test, der er drevet af konvertering og rapporterer omsætning som en sekundær måling, når ofte en konklusion langt hurtigere end en, der er drevet direkte af omsætning.

I konsulentpraksis er magtanalyse det sted, hvor en testkøreplan bliver ærlig om, hvad den kan levere. Før en konverteringsfrekvens optimering Programmet starter, og beregningen af ​​den opnåelige effekt ved den nuværende trafik fortæller klienten, hvor mange eksperimenter pr. kvartal der er realistiske, og hvilke spørgsmål der kræver en helt anden metode. For steder, hvor aritmetikken ikke understøtter en kontinuerlig eksperimenteringskadence, er den mere effektive rute normalt struktureret forskning og ekspertvurdering, leveret gennem en UX-revision, med eksperimenter forbeholdt det lille antal strømme med høj trafik og høj værdi, hvor tallene virker.