Sekvensiell testing

Sekvensiell testing er en familie av eksperimentdesign som gjør det mulig å evaluere resultater kontinuerlig, eller med planlagte intervaller, samtidig som feilraten som gjentatt evaluering ellers ville blåst opp, kontrolleres. I en konvensjonell test med fast horisont er analysen kun gyldig ved den enkle, forhåndsberegnede utvalgsstørrelsen; hver ekstra undersøkelse øker sjansen for en falsk positiv. Sekvensielle metoder justerer beslutningsgrensen for å ta hensyn til det faktum at flere undersøkelser skjer, noe som gjør det legitimt å stoppe en test tidlig når bevisene er sterke nok.

Den kommersielle appellen er åpenbar. En test med fast horisont som krever fire uker med trafikk, må kjøre i fire uker selv om varianten skader inntektene alvorlig i uke én, med mindre teamet er villig til å gi avkall på den statistiske validiteten til designet. Sekvensielle tilnærminger gjør det mulig å stoppe en virkelig katastrofal variant raskt og sende en virkelig stor vinner tidlig, noe som både reduserer testkostnadene og øker antall eksperimenter et nettsted kan kjøre i løpet av et år. For bedrifter der en dårlig variant medfører reell inntektsrisiko, er ikke dette en forbedring, men et krav.

Flere teknikker faller inn under overskriften. Gruppesekvensielle design spesifiserer et lite antall mellomliggende analyser med justerte terskler for hver. Alfa-forbruksfunksjoner fordeler den totale tillatte falske positive raten på tvers av disse analysene. Alltid-gyldige inferanse- og sekvensielle sannsynlighetsforholdstester tillater kontinuerlig overvåking med grenser som strammes inn etter hvert som data akkumuleres. Bayesianske tilnærminger omgår problemet med fast horisont ved konstruksjon, selv om de har sine egne hensyn rundt å stoppe skjevhet. De fleste kommersielle testplattformer implementerer nå en av disse under overflaten, og det er derfor deres rapporterte konfidensstall ikke lenger oppfører seg slik naiv gjentatt signifikansetesting ville gjort.

Det viktige forbeholdet er at sekvensiell validitet ikke eliminerer enhver risiko for tidlig stopp. En test som stoppes etter fem dager er fortsatt en test som ikke har hatt en full ukentlig syklus, ikke har samlet tilbakevendende besøkende, og ikke har overlevd nyhetseffekten som en synlig designendring produserer i de første dagene av eksponering. Statistikken kan være gyldig mens forretningskonklusjonen fortsatt er feil, fordi utvalget er ikke representativt for normale driftsforhold snarere enn for lite. Minimumsregler for kjøretid, vanligvis minst én og helst to fulle konjunktursykluser, står ved siden av sekvensielle grenser i stedet for å bli erstattet av dem.

Tidlig stopping forvrider også den estimerte effektstørrelsen. Tester som stopper så snart en grense krysses, gjør det i øyeblikk når tilfeldig variasjon oppstår som favoriserer varianten, slik at den observerte økningen ved stopppunktet har en tendens til å overdrive den sanne effekten. Der avgjørelsen rett og slett er om man skal sende varer, spiller dette sjelden noen rolle. Der tallet skal inn i en inntektsprognose, spiller det stor rolle, og det rapporterte tallet bør diskonteres eller estimeres på nytt i stedet for å siteres direkte.

Fordi implementeringer er forskjellige, er det verdt å fastslå hva en testplattform faktisk gjør før man stoler på dens avgjørelser. Leverandørdokumentasjon bør angi om den rapporterte tilliten er gyldig under kontinuerlig overvåking, hvilken metode som brukes, og om den rapporterte effektstørrelsen er korrigert for tidlig stopp. Noen plattformer bruker alltid-gyldig inferens gjennomgående, noen bruker gruppesekvensielle grenser ved faste kontrollpunkter, og noen rapporterer fortsatt naiv fasthorisontstatistikk på et live dashbord, som er den ordningen som gir flest falske positiver i praksis. Skillet er ikke akademisk: de samme dataene kan gi en sikker avgjørelse under én metode og ingen konklusjon under en annen, og team som har byttet plattform oppdager noen ganger at en stor andel av deres historiske seire ikke ville blitt erklært under det nye verktøyets metodikk.

For et konsulentfirma som driver et program med høy kadens, er det sekvensielle design som gjør en aggressiv eksperimenthastighet kompatibel med statistisk disiplin. konverteringsfrekvensoptimalisering engasjement, er reglene vanligvis dokumentert på forhånd: hvilken grensemetode som gjelder, minimum kjøretid uavhengig av grense, rekkverksmålingene som kan utløse en nødstopp, og hvem som har myndighet til å aktivere en. Denne styringen er spesielt viktig i e-handel miljøer, der en variant som skader betalingen i en travel uke kan koste mer på tre dager enn hele testprogrammet gir avkastning på et kvartal.