Om du kontrollerar ett A/B-test varje morgon och stoppar det första gången instrumentpanelen blir grön, är din verkliga andel falskt positiva resultat inte 5 %. I en simulering som testar signifikans efter varje observation mätte Evan Miller det till 26.1%, mer än fem gånger den nivå som de flesta lag tror att de kör på (Hur man inte kör ett A/B-test). En av fyra "vinster" som inte kan upprepas är inte ett statistikproblem. Det är ett problem med färdplanen.
Den här guiden är för tillväxt- och CRO-team som kör tester på e-handel eller resetrafik som är för säsongsbetonad för att sitta stilla i fyra veckor. I slutet kommer du att kunna planera ett testschema före lansering, läsa av tröskelvärdet för varje test från en tabell, dimensionera testet för det lilla extra urval som planering kostar och identifiera var metoden slutar att vara giltig.
Varför kikning bryter ett test med fast horisont
Ett test med fast horisont förbrukar hela sin budget på 5 % fel en gång, med en förutbestämd urvalsstorlek. Varje extra titt är ytterligare en chans att överskrida gränsen. Problemet är inte att titta på data; det är att titta med ett tröskelvärde som är prissatt för en enda titt. Millers tabell ger den rapporterade signifikansnivån som behövs för att hålla en sann 5 %-frekvens om man insisterar på att titta ett visst antal gånger:
| Antal blickar | Rapporterad signifikans som behövs för en sann 5% |
|---|---|
| 1 | 2.9% |
| 2 | 2.2% |
| 3 | 1.8% |
| 5 | 1.4% |
| 10 | 1.0% |
Tvärtom: titta tio gånger och det du läser som 1 % signifikans är egentligen 5 %. Grovt, men ärligt. Metoderna nedan gör samma jobb mer effektivt.
Tre sätt att sluta tidigt, och vad varje sätt tar betalt
| Tillvägagångssätt | Åtgärda före lansering | Kostnad kontra ett fast test | Använd den när |
|---|---|---|---|
| Fast horisont | Provstorlek, ett analysdatum | Inga, men inget tidigt stopp tillåtet | Trafiken är stabil, fönstren korta |
| Grupp sekventiell (alfautgifter) | Maximalt antal prover och tidpunkter för visningar | Maxprovet ökar ~3% (O'Brien-Fleming) till ~20% (Pocock), 4 tittar | Urvalsstorleken är uppskattningsbar |
| Alltid giltig (mSPRT) | Ingenting, i princip | Största effektförlusten av de tre vid samma prov | Urvalsstorleken kan inte uppskattas |
Den tredje raden är viktig eftersom det är vad de flesta kommersiella plattformar använder. I Georgi Georgievs simulering, med ett fast maximalt urval på 7 045 per grupp, nådde ett test med fast horisont 83.3 % styrka, gruppsekventiell AGILE nådde sitt mål på 80 %, SPRT cirka 73 % och alltid-giltig inferens 62.4 %. För att nå 80 % styrka krävdes alltid-giltig inferens ungefär ... 85 % mer prov än den gruppsekventiella designen (Analysverktyg, 2022Spotifys ingenjörer drog samma oberoende slutsats: gruppsekventiella tester är "systematiskt bättre eller jämförbara med alltid giltiga metoder" när urvalsstorleken kan uppskattas (Schultzberg och Ankargren, 2023).
Detta är värt att korrigera, eftersom leverantörens ramverk går åt andra hållet. Optimizelys dokumentation säger att du ska "hoppa över att göra förarbete före experimentet, som att beräkna urvalsstorleken innan experimentet startas" (Optimizely-support). Felkontrollen är verklig och den underliggande forskningen är sund (Johari m.fl., Alltid giltig inferens); vad inramningen utelämnar är elräkningen. Statsig, som implementerar samma familj av metoder, säger det tydligt: "Om du behöver en noggrann mätning av effektstorleken, vänta på den fulla effekten som din effektberäkning före experimentet uppskattar" (Statsig-dokument). Läs "ingen urvalsstorlek behövs" som ett påstående om validitet, aldrig effektivitet.
Metoden, steg för steg
Arbetsexempel: en klädåterförsäljare testar kassan. Baslinjekonvertering för sessioner 2.4 %, måleffekt +10 % relativ (2.64 %), tvåsidig alfa 5 %, statistisk styrka 80 %, ungefär 5 000 sessioner per dag.
1. Storleksbestäm det som om du aldrig kommer att kika
Tvåproportionell storlek ger 66 943 sessioner per arm, totalt 133 886. Detta är inte valfria omkostnader bara för att du planerar att sluta tidigt; det är ankaret som schemat bygger på.
2. Välj hur många utseenden och när
Tre till fem utseenden fångar nästan all tillgänglig nytta; utöver det bidrar varje utseende med maximal provkostnad för liten avkastning. Anpassa utseendet till hela veckor, eftersom veckodagssammansättningen är en stor källa till avvikelser i detaljhandelstrafiken. Med 5 000 sessioner per dag landar fyra veckovisa visningar nära 140 000 sessioner, vilket täcker det planerade maximumet.
3. Välj en utgiftsfunktion och skriv ner tröskelvärdena
En alfa-utgiftsfunktion avgör hur mycket av de 5 % av budgeten varje sökning får förbruka, som en funktion av hur mycket data som har ackumulerats (Penn State STAT 509De två klassiska valen, med fyra lika fördelade utseenden, tvåsidig alfa 0.05:
| look | Andel av planerat urval | O'Brien-Fleming: sluta om p | Pocock: sluta om p |
|---|---|---|---|
| 1 (slutet av vecka 1) | 25% | 0.0001 | 0.0179 |
| 2 (slutet av vecka 2) | 50% | 0.0055 | 0.0179 |
| 3 (slutet av vecka 3) | 75% | 0.0216 | 0.0184 |
| 4 (slutet av vecka 4) | 100% | 0.0411 | 0.0188 |
| Maxprov kontra fast test | + 3% | + 20% |
Dessa beräknades med Lan-DeMets utgiftsfunktioner och matchar den publicerade karakteriseringen: O'Brien-Fleming använder "mycket stränga tröskelvärden tidigt, men den slutliga analyströskeln ligger nära det typiska p < 0.05", medan Pocock har en nästan konstant tröskel runt p < 0.016 (Ciolino, Kaizer och Bonner, 2023).
O'Brien-Fleming är en billig försäkring: den utlöses nästan aldrig vid look 1, kostar cirka 3 % mer maximalt samplingsvärde, och dess slutliga tröskel är knappt snävare än 0.05. Pocock stoppar tidigt mycket oftare men debiterar 20 % mer trafik. Standardinställningen är O'Brien-Fleming för intäktskopplade mätvärden.
4. Skriv regeln i ärendet före lansering
En mening, synlig för alla som kan stoppa testet: "Vi tittar på slutet av vecka 1 till 4, utser en vinnare endast om det tvåsidiga p-värdet för [primär mätvärde] ligger under den bedömningens tröskelvärde, och kör annars till vecka 4." En regel som lever i någons huvud är inte en regel.
5. Sätt också gränsen för meningslöshet
De flesta team implementerar endast effektivitetsgränser, så de stoppar vinnarna tidigt och låter förlorarna springa på full längd, vilket är bakvänt för alternativkostnaden. En icke-bindande meningslöshetsgräns – att stoppa när en meningsfull vinst har blivit osannolik – är därifrån den största delen av kalenderbesparingen kommer. Med fyra O'Brien-Fleming-analyser faller det förväntade urvalet under en sann effekt till ungefär 83 % av kravet med fast horisont.
6. Rapportera inte den tidiga punktuppskattningen som effektstorlek
Ett test som slutar tidigt därför att Den observerade lyftkraften var ovanligt stor, så uppskattningen är uppåtriktad på grund av konstruktionen. Använd den för fartygsbeslutet, inte för intäktsprognosen. Statsig: "Tidiga beslut ger ofta uppskattningar av underdimensionerade lyftkrafter med hög osäkerhet."
Checklista före lansering
- Ett primärt mätvärde, skriftligen deklarerat före lansering
- Maximalt urval och kalenderslutdatum fastställt
- Ser fast ut i antal och tidpunkt, anpassat till hela veckor
- Utgiftsfunktion vald, tröskelvärden skrivna i ärendet
- Futilitetsregeln definierad, inte bara effektivitetsregeln
- SRM kontrolleras vid varje blick, innan p-värdet avläses
- Skyddsräckets mätvärden övervakas separat, utanför stoppregeln
- Alla som kan stoppa testet vet att oplanerade blickar är förbjudna
Kalibrering av detta för Turkiet och regionen
Turkiet registrerade 5.94 miljarder e-handelstransaktioner under 2025 med en volym på 4.57 biljoner TL, enligt handelsministeriets e-handelsrapport som presenterades i maj 2026 (Dagens Sabah, 12 maj 2026Det är en stor marknad som mestadels består av medelstora butiker, så fyraveckorsfönster är rutinmässigt – tillräckligt långa för att kollidera med en kampanj.
Rabattperioden i slutet av november, lokalt känd som Efsane Cuma, och evenemanget 11.11 före den, förändras som finns på webbplatsen, inte bara hur många. Rabattledda besökare konverterar enligt en annan logik, så ett schema som korsar en kampanjgräns mäter inte en enda population. Vår regel: avsluta före kampanjen eller börja efter den. Om ett test måste köras igenom en, behandla kampanjveckan som ett eget stratum och fatta inga stoppbeslut inuti den.
En andra justering gäller i hela EU och för KVKK-anpassade samtyckesbanners i Turkiet: om analyserna är samtyckesstyrda observeras en del av din trafik inte. Storlek och schema på observerad sessioner, eller varje look anländer senare än kalendern anger.
[INTERNA DATA BEHÖVS: median dagliga sessioner och median realiserad testlängd för Switas e-handelskunder, för att ersätta den illustrativa siffran 5 000 sessioner/dag med en faktisk fördelning.]
Var detta bryts ner
- Kompositionsförändring. Sekventiella metoder antar att den inkommande strömmen är utbytbar över tid. En kampanj eller förändring av betald media bryter detta, och att stoppa tidiga låsningar i vilken vecka som helst var ovanligt.
- Nyhet och primat. En avläsning vecka 1 mäter reaktion, inte stabilt beteende. Om förändringen är synlig för återkommande kunder, sätt ingen effektivitetsgräns alls för utseende 1.
- Tunga mätvärden. Intäkterna per session domineras av sällsynta stora beställningar, och normala approximationer är otillförlitliga vid små interimsprov. Stanna vid konverteringsfrekvensen och läs intäkterna bredvid, eller winsorize och säg det.
- Flera mätvärden. Dessa gränser kontrollerar felet för ett mätvärde. Fem mätvärden med fem stoppregler och ingen ytterligare korrigering placerar dig tillbaka där du började.
- Trasig instrumentering. Ett sekventiellt test överskrider gärna gränserna för korrupt data. Det ersätter inte en SRM-kontroll.
- Inte täckt här: Bayesianska stoppregler, flerarmade banditer och variansreduktion som CUPED. Var och en interagerar med tidig stoppning på sätt som kräver separat behandling.
FAQ
Markera det här avsnittet med FAQPage-schemat.
Kan jag bara använda ett striktare p-värde istället för en utgiftsfunktion?
Ja, om du bestämmer antalet sökningar i förväg och det bara finns ett fåtal. Millers tabell ger tröskelvärdet. Den är mer konservativ än alfautgifter, så du betalar mer för provet än nödvändigt, men det kräver inga nya verktyg.
Betyder sekventiell testning att jag kan hoppa över beräkningen av urvalsstorleken?
Nej. Validiteten bevaras utan en uppskattning av urvalsstorleken; det gör inte styrkan. Både Georgiev- och Spotify-simuleringarna visar samma mönster: när man kan uppskatta urvalsstorleken dominerar en sekventiell gruppdesign.
Tänk om jag snarare förväntar mig en tillbakagång än en vinst?
Det är övervakning av skyddsräcken, inte hypotesprövning. Övervaka säkerhets- och felmätvärden kontinuerligt under en separat, lösare regel och lämna den primära stoppregeln orörd. Att avbryta en variant som skadar användarna kräver ingen ceremoni.
Är Bayesiansk testning immun mot kikning?
Nej. Att stoppa i det ögonblick en posterior sannolikhet korsar ett tröskelvärde ändrar beslutsregelns funktionsegenskaper, såvida inte regeln utformades för valfritt stopp. Priorregeln ändrar problemets form, inte dess existens.
O'Brien-Fleming eller Pocock?
O'Brien-Fleming i nästan alla kommersiella fall. Välj Pocock endast när ett tidigt svar har konkret värde, du kan absorbera ungefär 20 % mer av det maximala provet och någon är redo att leverera med ett resultat vecka 1.
Kan jag lägga till en look jag inte planerat?
Med en alfafunktion för utgifter, ja, förutsatt att beslutet att titta inte styrs av den data du ska se. Att lägga till en titt eftersom instrumentpanelen "såg nära ut" är databeroende timing och upphäver garantin.
Samarbeta med oss på detta
Om du kör experiment på en turkisk eller regional e-handelslokal och stoppregeln idag är "kolla varje morgon", kommer vi att bygga om det tillsammans med dig: storlek, utseendeschema, gränser, meningslöshetsregel och SRM-grind, inskrivet i din experimentmall så att nästa test ärver den. Prata med Switas om ditt experimentprogram.
Källor
- Evan Miller, Hur man inte kör ett A/B-test
- Johari, Pekelis, Walsh och Koomen, Alltid giltig inferens: Kontinuerlig övervakning av A/B-tester; publicerad i Operations Research 70(3), 2022
- Georgi Georgiev, Jämförelse av den statistiska styrkan hos sekventiella tester, Analysverktyg, november 2022 (uppdaterad mars 2023)
- Schultzberg och Ankargren, Att välja ett ramverk för sekventiell testning, Spotify Engineering, mars 2023
- Optimera, Översikt över statistiska analysmetoder
- Statsig, Frekventistisk sekventiell testning
- Ciolino, Kaizer och Bonner, Vägledning om interimanalysmetoder i kliniska prövningar, J Clin Transl Sci 7(1):e124, 2023
- Penn State STAT 509, Alfa-utgiftsfunktionsmetod
- rpakt, Definiera gruppsekventiella gränser
- Turkiets e-handelsvolym ökade med mer än 52 % under 2025., Daily Sabah, 12 maj 2026, rapporterar handelsministeriets e-handelsrapport
