Sekventiell testning

Sekventiell testning är en familj av experimentdesigner som gör det möjligt att utvärdera resultat kontinuerligt, eller med planerade intervall, samtidigt som man kontrollerar den felfrekvens som upprepad utvärdering annars skulle öka. I ett konventionellt test med fast horisont är analysen endast giltig vid den enda, förberäknade urvalsstorleken; varje ytterligare bedömning ökar risken för ett falskt positivt resultat. Sekventiella metoder justerar beslutsgränsen för att ta hänsyn till det faktum att flera bedömningar sker, vilket gör det legitimt att stoppa ett test tidigt när bevisen är tillräckligt starka.

Den kommersiella dragningskraften är uppenbar. Ett test med fast horisont som kräver fyra veckors trafik måste köras i fyra veckor även om varianten allvarligt skadar intäkterna under vecka ett, såvida inte teamet är villigt att överge designens statistiska validitet. Sekventiella metoder gör det möjligt att stoppa en verkligt katastrofal variant snabbt och att leverera en verkligt stor vinnare tidigt, vilket både minskar testkostnaden och ökar antalet experiment en webbplats kan köra under ett år. För företag där en dålig variant medför en verklig intäktsrisk är detta inte en förfining utan ett krav.

Flera tekniker faller under rubriken. Gruppsekventiella designer specificerar ett litet antal interimsanalyser med justerade tröskelvärden för varje. Alfa-utgiftsfunktioner fördelar den totala tillåtna falskt positiva frekvensen över dessa analyser. Always-valid inferens- och sekventiella sannolikhetskvottest möjliggör kontinuerlig övervakning med gränser som skärps allt eftersom data ackumuleras. Bayesianska metoder kringgår problemet med fast horisont genom konstruktion, även om de har sina egna överväganden kring att stoppa bias. De flesta kommersiella testplattformar implementerar nu en av dessa under ytan, vilket är anledningen till att deras rapporterade konfidenssiffror inte längre beter sig som naiv upprepad signifikanstestning skulle göra.

Den viktiga förbehållet är att sekventiell validitet inte eliminerar alla risker för att avbrytas i förtid. Ett test som avbryts efter fem dagar är fortfarande ett test som inte har sett en fullständig veckocykel, inte har ackumulerat återkommande besökare och inte har överlevt den nyhetseffekt som en synlig designförändring ger under sina första exponeringsdagar. Statistiken kan vara giltig även om affärsslutsatsen fortfarande är felaktig, eftersom urvalet är orepresentativt för normala driftsförhållanden snarare än för litet. Minimikrav på körtid, vanligtvis minst en och helst två fullständiga konjunkturcykler, ligger bredvid sekventiella gränser snarare än att ersättas av dem.

Tidigt stopp snedvrider också den uppskattade effektstorleken. Tester som stoppas så snart en gräns korsas gör det i ögonblick då slumpmässig variation inträffar som gynnar varianten, så den observerade höjningen vid stopppunkten tenderar att överdriva den verkliga effekten. Där beslutet helt enkelt är om man ska leverera spelar detta sällan någon roll. När siffran ingår i en intäktsprognos spelar det stor roll, och den rapporterade siffran bör diskonteras eller omskattas snarare än att anges direkt.

Eftersom implementeringar skiljer sig åt är det värt att fastställa vad en testplattform faktiskt gör innan man förlitar sig på dess bedömningar. Leverantörsdokumentation bör ange om den rapporterade tillförlitligheten är giltig under kontinuerlig övervakning, vilken metod som används och om den rapporterade effektstorleken korrigeras för tidigt stopp. Vissa plattformar tillämpar alltid-giltig inferens genomgående, vissa tillämpar gruppsekventiella gränser vid fasta kontrollpunkter, och vissa rapporterar fortfarande naiv statistik med fast horisont på en live-instrumentpanel, vilket är det arrangemang som producerar flest falska positiva resultat i praktiken. Skillnaden är inte akademisk: samma data kan ge en säker bedömning med en metod och ingen slutsats med en annan, och team som har bytt plattform upptäcker ibland att en stor andel av deras historiska vinster inte skulle ha deklarerats med det nya verktygets metod.

För ett konsultföretag som driver ett program med hög kadens är det sekventiella designer som gör en aggressiv experimenthastighet kompatibel med statistisk disciplin. omvandlingshastighetsoptimering engagemang, reglerna dokumenteras normalt i förväg: vilken gränsmetod som gäller, minsta körtid oavsett gräns, de skyddsräckesmått som kan utlösa ett nödstopp och vem som har befogenhet att utlösa ett. Den styrningen är särskilt viktig i e-handel miljöer, där en variant som skadar utcheckningen under en vecka med hög handelsbelastning kan kosta mer på tre dagar än vad hela testprogrammet ger avkastning på ett kvartal.