Testkig

Test-peeking er den praksis, hvor man gentagne gange kontrollerer et eksperiments resultater, mens det stadig kører, og stopper det, så snart en signifikansgrænse krydses. Det er den mest almindelige måde, hvorpå gyldige statistiske metoder forvandles til ugyldige konklusioner, og det gøres næsten altid med gode intentioner af folk, der tror, ​​at de blot overvåger fremskridt. Matematikken i den faste horisonttest antager en enkelt analyse ved en forudberegnet stikprøvestørrelse; hvert yderligere kig er endnu en chance for, at tilfældige udsving krydser grænsen, og den reelle falsk-positive rate stiger med hver enkelt.

Omfanget af forvrængningen overrasker folk. En test, der er beregnet til at operere med en falsk positiv rate på 5 procent, og som kontrolleres dagligt over et par uger med en stopregel om "betydelige midler gjort", kan ende med en reel falsk positiv rate, der er flere gange højere. Programmet akkumulerer derefter en portefølje af sejre, hvoraf en betydelig andel er støj, og den samlede forretningsmæssige effekt matcher ikke summen af ​​de rapporterede effekter. Fordi hver enkelt test ser korrekt analyseret ud, identificeres årsagen til underskuddet sjældent, og den sædvanlige konklusion er, at optimering simpelthen ikke virker i denne virksomhed.

Peeking påvirker også størrelsen af ​​de overlevende effekter. En test, der stoppes i det øjeblik, signifikansen nås, stoppes på et tidspunkt, hvor der sker tilfældig variation til fordel for varianten, så den observerede stigning på det tidspunkt systematisk overdriver den sande effekt, selv når effekten er reel. Programmer, der stopper tidligt, rapporterer derfor større gevinster, end de leverer, hvilket skader troværdigheden over tid på en måde, der er vanskelig at komme sig over, når finansafdelingen først har bemærket forskellen.

Presset for at kigge er strukturelt snarere end personligt. Testplatforme viser live signifikansfigurer på deres dashboards. Interessenter tjekker dem. En variant, der viser et stort tidligt forspring, skaber et reelt kommercielt pres for at sende produktet med det samme, og en variant, der viser et tidligt fald, skaber pres for at stoppe og reducere tab. At fortælle folk, at de ikke skal kigge, er ineffektivt; de praktiske løsninger er proceduremæssige og tekniske. Fastsæt stikprøvestørrelsen og slutdatoen skriftligt før lancering. Brug sekventielle eller bayesianske metoder, der er designet til kontinuerlig overvågning, så det er legitimt at kigge. Konfigurer dashboards til at skjule signifikans, indtil den planlagte stikprøve er nået. Reserver tidlig stop til reelle nødsituationer, der opdages af guardrail-målinger, med en navngivet beslutningstager og en dokumenteret begrundelse.

Der er en vigtig forskel mellem at kigge på og monitorere. Det er ikke kun tilladt, men nødvendigt at observere fejlrater, sideydelse, stikprøveforhold og alvorlige brud på beskyttelsesrækværket under en test, fordi en defekt eller beskadiget variant bør stoppes øjeblikkeligt. Det, der korrumperer analysen, er at bruge den primære forretningsmåling som et stopkriterium uden for den præregistrerede plan. At adskille operationel overvågning fra resultatanalyse med forskellige dashboards og forskellige tilladelser er ofte nok til at løse problemet i praksis.

Når en interessent kræver at vide, hvordan en test klarer sig, før den afsluttes, er det normalt kontraproduktivt at nægte direkte, og at angive nummeret underminerer protokollen. Den brugbare mellemposition er at rapportere om operationel sundhed snarere end om resultatet: at bekræfte, at testen kører korrekt, at trafikken opdeles som konfigureret, at der ikke er brudt et autoværn, og hvor mange dage der er tilbage indtil den planlagte analyse. Dette besvarer den legitime bekymring bag anmodningen, som normalt handler om risiko snarere end nysgerrighed, uden at afsløre et tal, der vil blive handlet ud fra. At aftale denne aftale på forhånd som en del af eksperimentprotokollen er langt lettere end at forhandle den midt i en test, der ser ud til at være en vinder, når det kommercielle pres for at sende testen med det samme er på sit højeste, og argumentet for tålmodighed er mindst velkomment.

At etablere denne disciplin er en af ​​de mindst tekniske og mest værdifulde interventioner, der er tilgængelige for et optimeringsprogram. I en typisk CRO-tjeneste Engagement, analyseprotokollen, stopreglerne og nødstopmyndigheden dokumenteres, før den første test starter, og resultaterne offentliggøres med en fast kadens i stedet for efter behov. Hvor en organisation har brug for kontinuerlig synlighed af legitime kommercielle årsager, er svaret at anvende et sekventielt design, der understøtter det, i stedet for at køre tests med en fast horisont og håbe på, at ingen kigger.