Sekventiel test

Sekventiel testning er en familie af eksperimentdesigns, der gør det muligt at evaluere resultater kontinuerligt eller med planlagte intervaller, samtidig med at den fejlrate, som gentagen evaluering ellers ville oppuste, kontrolleres. I en konventionel test med fast horisont er analysen kun gyldig ved den enkelte, forudberegnede stikprøvestørrelse; hvert yderligere kig øger chancen for en falsk positiv. Sekventielle metoder justerer beslutningsgrænsen for at tage højde for, at der forekommer flere kig, hvilket gør det legitimt at stoppe en test tidligt, når beviserne er stærke nok.

Den kommercielle appel er åbenlys. En test med fast horisont, der kræver fire ugers trafik, skal køre i fire uger, selvom varianten skader omsætningen alvorligt i uge én, medmindre teamet er villig til at opgive designets statistiske validitet. Sekventielle tilgange gør det muligt at stoppe en virkelig katastrofal variant hurtigt og levere en virkelig stor vinder tidligt, hvilket både reducerer testomkostningerne og øger antallet af eksperimenter, et websted kan køre på et år. For virksomheder, hvor en dårlig variant indebærer en reel omsætningsrisiko, er dette ikke en forfinelse, men et krav.

Flere teknikker falder ind under overskriften. Gruppe-sekventielle designs specificerer et lille antal interimanalyser med justerede tærskler for hver. Alfa-forbrugsfunktioner fordeler den samlede tilladte falsk-positive rate på tværs af disse analyser. Altid-gyldige inferens- og sekventielle sandsynlighedsforholdstests tillader kontinuerlig overvågning med grænser, der strammes, efterhånden som data akkumuleres. Bayesianske tilgange omgår problemet med den faste horisont ved konstruktion, selvom de har deres egne overvejelser omkring at stoppe bias. De fleste kommercielle testplatforme implementerer nu en af ​​disse under overfladen, hvilket er grunden til, at deres rapporterede konfidenstal ikke længere opfører sig som naiv gentagen signifikanstestning ville.

Den vigtige advarsel er, at sekventiel validitet ikke eliminerer enhver risiko for tidlig afbrydelse. En test, der afbrydes efter fem dage, er stadig en test, der ikke har set en fuld ugentlig cyklus, ikke har akkumuleret tilbagevendende besøgende og ikke har overlevet den nyhedseffekt, som en synlig designændring producerer i de første dage af eksponeringen. Statistikkerne kan være gyldige, mens den forretningsmæssige konklusion stadig er forkert, fordi stikprøven er ikke-repræsentativ for normale driftsforhold snarere end for lille. Minimumsregler for kørselstid, typisk mindst én og helst to fulde konjunkturcyklusser, sidder sammen med sekventielle grænser i stedet for at blive erstattet af dem.

Tidlig stop påvirker også den estimerede effektstørrelse. Test, der stopper, så snart en grænse krydses, gør det på tidspunkter, hvor der sker tilfældig variation til fordel for varianten, så den observerede stigning ved stoppunktet har en tendens til at overvurdere den sande effekt. Hvor beslutningen blot er, om der skal leveres varer, betyder dette sjældent noget. Hvor tallet indgår i en omsætningsprognose, betyder det meget, og det rapporterede tal bør diskonteres eller genestimeres i stedet for at citeres direkte.

Fordi implementeringer er forskellige, er det værd at fastslå, hvad en testplatform rent faktisk gør, før man stoler på dens vurderinger. Leverandørdokumentation bør angive, om den rapporterede konfidens er gyldig under kontinuerlig overvågning, hvilken metode der anvendes, og om den rapporterede effektstørrelse er korrigeret for tidlig stop. Nogle platforme anvender altid-gyldig inferens gennemgående, nogle anvender gruppesekventielle grænser ved faste kontrolpunkter, og nogle rapporterer stadig naiv fasthorisontstatistik på et live dashboard, hvilket er den ordning, der producerer flest falske positiver i praksis. Sondringen er ikke akademisk: de samme data kan give en sikker vurdering under én metode og ingen konklusion under en anden, og teams, der har skiftet platform, opdager nogle gange, at en stor andel af deres historiske sejre ikke ville være blevet erklæret under det nye værktøjs metode.

For et konsulentfirma, der kører et program med høj kadence, er det sekventielle designs, der gør en aggressiv eksperimenthastighed kompatibel med statistisk disciplin. konverteringsfrekvens optimering engagement, er reglerne normalt dokumenteret på forhånd: hvilken grænsemetode der gælder, den minimale køretid uanset grænse, de autoværnsmålinger, der kan udløse et nødstop, og hvem der har autoritet til at aktivere et. Denne styring er særligt vigtig i e-handel miljøer, hvor en variant, der skader betalingen i en uge med høj handelsbelastning, kan koste mere på tre dage, end hele testprogrammet returnerer på et kvartal.