Hvis du tjekker en A/B-test hver morgen og stopper den første gang dashboardet bliver grønt, er din reelle falsk-positive rate ikke 5 %. I en simuleringstest af signifikans efter hver observation målte Evan Miller den til 26.1%, mere end fem gange det niveau, de fleste hold tror, de kører på (Sådan undgår du at køre en A/B-testEn ud af fire "sejre", der ikke kan replikeres, er ikke et statistikproblem. Det er et problem med køreplanen.
Denne guide er til vækst- og CRO-teams, der udfører tests på e-handel eller rejsetrafik, som er for sæsonbestemte til at sidde stille i fire uger. Til sidst vil du være i stand til at planlægge en testplan før lancering, aflæse tærsklen for hvert test fra en tabel, dimensionere testen for den lille ekstra stikprøve, som planlægning koster, og genkende, hvor metoden holder op med at være gyldig.
Hvorfor peeking afbryder en test med fast horisont
En test med fast horisont bruger hele sit 5% fejlbudget én gang, med én foruddeklareret stikprøvestørrelse. Hvert ekstra kig er endnu en chance for at krydse grænsen. Problemet er ikke at se på dataene; det er at se med en tærskelværdi, der er prissat for et enkelt kig. Millers tabel giver det rapporterede signifikansniveau, der er nødvendigt for at holde en ægte 5%-rate, hvis man insisterer på at kigge et bestemt antal gange:
| Antal blikke | Rapporteret signifikans nødvendig for en sand 5% |
|---|---|
| 1 | 2.9% |
| 2 | 2.2% |
| 3 | 1.8% |
| 5 | 1.4% |
| 10 | 1.0% |
Omvendt: kig ti gange, og det, du læser som 1% signifikans, er i virkeligheden 5%. Groft, men ærligt. Metoderne nedenfor gør det samme arbejde mere effektivt.
Tre måder at stoppe tidligt på, og hvad hver enkelt koster dig
| Tilgang | Rettelse før lancering | Omkostninger versus en fast test | Brug det når |
|---|---|---|---|
| Fast horisont | Stikprøvestørrelse, én analysedato | Ingen, men tidlig stop er ikke tilladt | Trafikken er stabil, vinduerne er korte |
| Gruppe sekventiel (alfa-udgifter) | Maksimal prøve, antal og tidspunkt for fremvisninger | Maks. stikprøve stiger ~3% (O'Brien-Fleming) til ~20% (Pocock), 4 visninger | Stikprøvestørrelsen kan estimeres |
| Altid gyldig (mSPRT) | Intet, i princippet | Største effekttab af de tre ved samme prøve | Stikprøvestørrelsen kan ikke estimeres |
Den tredje række er vigtig, fordi det er det, de fleste kommercielle platforme leverer. I Georgi Georgievs simulering med en fast maksimal stikprøve på 7,045 pr. gruppe nåede en test med fast horisont 83.3 % styrke, gruppesekventiel AGILE ramte sit mål på 80 %, SPRT omkring 73 % og altid-gyldig inferens 62.4 %. For at nå 80 % styrke krævede altid-gyldig inferens omtrent ... 85% mere prøve end det gruppesekventielle design (Analyseværktøjskasse, 2022Spotifys ingeniører konkluderede uafhængigt af hinanden det samme: gruppesekventielle tests er "systematisk bedre eller sammenlignelige med altid gyldige tilgange", når stikprøvestørrelsen kan estimeres (Schultzberg og Ankargren, 2023).
Dette er værd at korrigere, fordi leverandørens opfattelse går den modsatte vej. Optimizelys dokumentation fortæller dig, at du skal "springe arbejdet før eksperimentet over, såsom at beregne stikprøvestørrelsen, før du starter eksperimentet" (Optimeret support). Fejlkontrollen er reel, og den underliggende forskning er solid (Johari m.fl., Altid gyldig inferens); hvad framingen udelader er strømregningen. Statsig, der implementerer den samme familie af metoder, siger det tydeligt: "Hvis du har brug for en nøjagtig måling af effektstørrelsen, skal du vente på den fulde effekt, som din effektberegning før eksperimentet estimerer" (Statsig-dokumenter). Læs "ingen stikprøvestørrelse nødvendig" som en påstand om validitet, aldrig som en påstand om effektivitet.
Metoden, trin for trin
Eksempel på udførelse: en tøjforhandler, der tester betaling. Baseline sessionskonvertering 2.4 %, måleffekt +10 % relativ (2.64 %), tosidet alfa 5 %, styrke 80 %, cirka 5,000 sessioner om dagen.
1. Sæt det i størrelse, som om du aldrig vil kigge
To-proportions dimensionering giver 66,943 sessioner pr. arm, 133,886 i alt. Dette er ikke valgfrie overheadomkostninger bare fordi du planlægger at stoppe tidligt; det er det anker, tidsplanen er bygget på.
2. Vælg hvor mange looks, og hvornår
Tre til fem looks indfanger næsten alle de tilgængelige fordele; derudover tilføjer hvert look maksimale stikprøveomkostninger for et lille afkast. Tilpas looks til hele uger, fordi ugedagssammensætningen er en stor kilde til forskydning i detailtrafikken. Med 5,000 sessioner om dagen lander fire ugentlige søgninger på tæt på 140,000 sessioner, hvilket dækker det planlagte maksimum.
3. Vælg en forbrugsfunktion og skriv tærsklerne ned
En alfa-forbrugsfunktion bestemmer, hvor meget af budgettet på 5% hvert look må forbruge, som en funktion af hvor meget data der er akkumuleret (Penn State STAT 509De to klassiske valgmuligheder, med fire lige store mellemrum, tosidet alfa 0.05:
| Se | Andel af planlagt stikprøve | O'Brien-Fleming: stop hvis p | Pocock: stop hvis p |
|---|---|---|---|
| 1 (slutningen af uge 1) | 25% | 0.0001 | 0.0179 |
| 2 (slutningen af uge 2) | 50% | 0.0055 | 0.0179 |
| 3 (slutningen af uge 3) | 75% | 0.0216 | 0.0184 |
| 4 (slutningen af uge 4) | 100% | 0.0411 | 0.0188 |
| Maksimal prøve vs. fast test | + 3% | + 20% |
Disse blev beregnet med Lan-DeMets udgiftsfunktioner og stemmer overens med den publicerede karakterisering: O'Brien-Fleming bruger "meget strenge tærskler tidligt, men den endelige analysetærskel er nær den typiske p < 0.05", mens Pocock har en næsten konstant tærskel omkring p < 0.016 (Ciolino, Kaizer og Bonner, 2023).
O'Brien-Fleming er en billig forsikring: den aktiveres næsten aldrig ved look 1, koster omkring 3 % mere ved den maksimale sample, og dens endelige tærskel er knap strammere end 0.05. Pocock stopper tidligt langt oftere, men opkræver 20 % mere trafik. Standardindstillingen er O'Brien-Fleming for omsætningsrelaterede metrikker.
4. Skriv reglen i billetten inden lancering
Én sætning, synlig for alle, der kan stoppe testen: "Vi ser på slutningen af uge 1 til 4, erklærer kun en vinder, hvis den tosidede p-værdi for [primær metrik] er under den pågældende tærskel, og ellers kører vi til uge 4." En regel, der lever i nogens hoved, er ikke en regel.
5. Sæt også grænsen for nytteløshed
De fleste teams implementerer kun effektgrænser, så de stopper vinderne tidligt og lader tabere løbe i fuld længde, hvilket er bagvendt med hensyn til alternativomkostninger. En ikke-bindende nytteløshedsgrænse - stop når en meningsfuld sejr er blevet usandsynlig - er der, hvor størstedelen af kalenderbesparelsen kommer fra. Med fire O'Brien-Fleming-looks falder den forventede stikprøve under en sand effekt til cirka 83 % af kravet med den faste horisont.
6. Rapporter ikke det tidlige punktestimat som effektstørrelsen
En test, der stopper tidligt, stoppet fordi Den observerede løft var usædvanlig stor, så estimatet er opadrettet på grund af konstruktionen. Brug det til skibsbeslutningen, ikke indtægtsprognosen. Statsig: "Tidlige beslutninger producerer ofte underdimensionerede løftestimater med høj usikkerhed."
Tjekliste før lancering
- Én primær måleenhed, der erklæres skriftligt før lanceringen
- Maksimal stikprøve og kalenderslutdato fastsat
- Ser fast ud i antal og timing, justeret til hele uger
- Valgt udgiftsfunktion, tærskler skrevet ind i billetten
- Defineret nytteløshedsregel, ikke kun effektivitetsreglen
- SRM tjekket ved hvert blik, før p-værdien aflæses
- Autoværnets målinger overvåges separat, uden for stopreglen
- Alle, der kan stoppe testen, ved, at uplanlagte blikke er udelukket
Kalibrering af dette for Tyrkiet og regionen
Tyrkiet registrerede 5.94 milliarder e-handelstransaktioner i 2025 med en volumen på 4.57 billioner TL, ifølge Handelsministeriets e-handelsrapport, der blev præsenteret i maj 2026 (Daglig Sabah, 12. maj 2026Det er et stort marked, der hovedsageligt består af mellemstore butikker, så fire ugers vinduer er rutine – lange nok til at kollidere med en kampagne.
Rabatperioden sidst i november, lokalt kendt som Efsane Cuma, og 11.11-begivenheden før den, ændrer sig der er på webstedet, ikke blot hvor mange. Rabatbaserede besøgende konverterer baseret på en anden logik, så en tidsplan, der krydser en kampagnegrænse, måler ikke én population. Vores regel: slut før kampagnen eller start efter den. Hvis en test skal køre gennem en, skal du behandle kampagneugen som sit eget stratum og ikke træffe nogen stopbeslutning inden for den.
En anden justering gælder i hele EU og for KVKK-tilpassede samtykkebannere i Tyrkiet: hvis analyser er samtykkebaserede, observeres en del af din trafik ikke. Størrelse og tidsplan på observeret sessioner, eller hvert look ankommer senere end kalenderen siger.
[INTERNE DATA NØDVENDIGE: median daglige sessioner og median realiseret testvarighed på tværs af Switas e-handelskunder for at erstatte det illustrative tal på 5,000 sessioner/dag med en faktisk fordeling.]
Hvor dette bryder sammen
- Kompositionsskift. Sekventielle metoder antager, at den indgående strøm kan udskiftes over tid. En ændring af kampagner eller betalte medier bryder dette, og det var usædvanligt at stoppe tidlige låsninger i den uge, der er angivet.
- Nyhed og forrang. En uge 1-aflæsning måler reaktion, ikke stabil adfærd. Hvis ændringen er synlig for tilbagevendende kunder, skal der slet ikke sættes nogen effektgrænse for look 1.
- Tunghalede målinger. Omsætningen pr. session domineres af sjældne store ordrer, og normale estimater er upålidelige ved små, mellemliggende stikprøver. Stop ved konverteringsraten, og læs omsætningen ved siden af, eller winsorize og sig det.
- Flere målinger. Disse grænser kontrollerer fejl for en metrik. Fem metrikker med fem stopregler og ingen yderligere korrektion sætter dig tilbage, hvor du startede.
- Defekt instrumentering. En sekventiel test vil med glæde overskride grænsen for beskadigede data. Den kan ikke erstatte en SRM-kontrol.
- Ikke dækket her: Bayesianske stopregler, flerarmede banditter og variansreduktion såsom CUPED. Hver af dem interagerer med tidlig stopning på måder, der kræver separat behandling.
Ofte stillede spørgsmål
Marker dette afsnit med FAQPage-skemaet.
Kan jeg bare bruge en strengere p-værdi i stedet for en forbrugsfunktion?
Ja, hvis du fastsætter antallet af looks på forhånd, og der kun er få. Millers tabel angiver tærsklen. Den er mere konservativ end alfa-udgifter, så du betaler mere stikprøve end nødvendigt, men det kræver ingen nye værktøjer.
Betyder sekventiel testning, at jeg kan springe beregningen af stikprøvestørrelsen over?
Nej. Validiteten bevares uden et estimat af stikprøvestørrelsen; det gør styrke ikke. Både Georgiev- og Spotify-simuleringerne viser det samme mønster: når man kan estimere stikprøvestørrelsen, dominerer et gruppesekventielt design.
Hvad hvis jeg hellere forventer en tilbagegang end en sejr?
Det er overvågning af autoværnet, ikke hypotesetest. Overvåg sikkerheds- og fejlmålinger løbende under en separat, løsere regel, og lad den primære stopregel være uberørt. Det kræver ingen ceremoni at afskaffe en variant, der skader brugerne.
Er Bayesiansk test immun over for peeking?
Nej. Stop i det øjeblik, en posterior sandsynlighed krydser en tærskel, ændrer beslutningsreglens driftsegenskaber, medmindre reglen er designet til valgfri stopning. Prior-reglen ændrer problemets form, ikke dets eksistens.
O'Brien-Fleming eller Pocock?
O'Brien-Fleming i næsten alle kommercielle tilfælde. Vælg kun Pocock, når et tidligt svar har konkret værdi, du kan absorbere cirka 20 % mere af den maksimale prøve, og nogen er klar til at sende resultaterne fra uge 1.
Kan jeg tilføje et look, jeg ikke havde planlagt?
Med en alfa-forbrugsfunktion, ja, forudsat at beslutningen om at kigge ikke er drevet af de data, du er ved at se. At tilføje et kig, fordi dashboardet "så tæt ud", er dataafhængig timing og ugyldiggør garantien.
Arbejd med os på dette
Hvis du kører eksperimenter på en tyrkisk eller regional e-handelsplatform, og stopreglen i dag er "tjek det hver morgen", genopbygger vi det sammen med dig: størrelse, udseendeplan, grænser, nytteløshedsregel og SRM-gate, skrevet ind i din eksperimentskabelon, så den næste test arver det. Tal med Switas om dit eksperimenteringsprogram.
Kilder
- Evan Miller, Sådan undgår du at køre en A/B-test
- Johari, Pekelis, Walsh og Koomen, Altid gyldig inferens: Kontinuerlig overvågning af A/B-tests; udgivet i Operations Research 70(3), 2022
- Georgi Georgiev, Sammenligning af den statistiske styrke af sekventielle tests, Analyseværktøjskasse, november 2022 (opdateret marts 2023)
- Schultzberg og Ankargren, Valg af et sekventielt testframework, Spotify Engineering, marts 2023
- Optimeret, Oversigt over statistiske analysemetoder
- Statsig, Frekventistisk sekventiel testning
- Ciolino, Kaizer og Bonner, Vejledning om interimanalysemetoder i kliniske forsøg, J Clin Transl Sci 7(1):e124, 2023
- Penn State STAT 509, Alpha Spending Function-tilgangen
- rpact, Definition af gruppesekventielle grænser
- Tyrkiets e-handelsvolumen steg med mere end 52% i 2025, Daily Sabah, 12. maj 2026, rapporterer handelsministeriets e-handelsudsigtsrapport
