Als je elke ochtend een A/B-test uitvoert en deze stopt zodra het dashboard groen wordt, is je werkelijke vals-positieve percentage geen 5%. In een simulatie waarbij de significantie na elke observatie werd getest, mat Evan Miller dit percentage op... 26.1%, meer dan vijf keer het niveau waarop de meeste teams denken te spelen (Hoe je géén A/B-test moet uitvoerenEén op de vier "succesvolle" projecten die niet herhaald kunnen worden, is geen statistisch probleem, maar een probleem met de routekaart.
Deze handleiding is bedoeld voor groei- en CRO-teams die tests uitvoeren op e-commerce- of reisverkeer dat te seizoensgebonden is om vier weken lang stil te staan. Aan het einde van deze handleiding kunt u een look-planning maken vóór de lancering, de drempelwaarde voor elke look aflezen uit een tabel, de testgrootte bepalen voor de kleine extra steekproef die planning met zich meebrengt, en herkennen wanneer de methode niet langer geldig is.
Waarom spieken een test met een vaste horizon verstoort
Een test met een vaste horizon verbruikt zijn volledige foutmarge van 5% slechts één keer, bij een vooraf vastgestelde steekproefomvang. Elke extra analyse is een nieuwe kans om de grens te overschrijden. Het probleem zit hem niet in het analyseren van de data; het probleem zit hem in het analyseren met een drempelwaarde die is afgestemd op één enkele analyse. De tabel van Miller geeft het gerapporteerde significantieniveau weer dat nodig is om een werkelijke foutmarge van 5% te behouden als je per se een vast aantal keren wilt analyseren:
| Aantal looks | Gerapporteerde significantie vereist voor een werkelijke 5% |
|---|---|
| 1 | 2.9% |
| 2 | 2.2% |
| 3 | 1.8% |
| 5 | 1.4% |
| 10 | 1.0% |
Andersom gesteld: kijk tien keer en wat je leest als 1% significantie is in werkelijkheid 5%. Grof, maar eerlijk. De onderstaande methoden doen hetzelfde werk efficiënter.
Drie manieren om eerder te stoppen, en wat de kosten daarvan zijn.
| Aanpak | Repareer dit vóór de lancering. | Kosten versus een vaste test | Gebruik het wanneer |
|---|---|---|---|
| Vaste horizon | Steekproefomvang, één analysedatum | Geen, maar een vroegtijdige stop is niet toegestaan. | Het verkeer is stabiel, het tijdvenster is kort. |
| Groepssequentieel (alfa-uitgaven) | Maximale steekproefomvang, aantal en timing van de blikken | Maximale steekproefgrootte stijgt van ~3% (O'Brien-Fleming) naar ~20% (Pocock), 4 looks | De steekproefomvang is schatbaar. |
| Altijd geldig (mSPRT) | In principe niets. | Het grootste vermogensverlies van de drie bij hetzelfde meetpunt. | De steekproefomvang is niet te schatten. |
De derde rij is belangrijk omdat die door de meeste commerciële platforms wordt meegeleverd. In de simulatie van Georgi Georgiev, met een vast maximum aantal deelnemers per groep van 7,045, bereikte een fixed-horizon test een power van 83.3%, de group-sequential AGILE test haalde de 80%, de SPRT test ongeveer 73% en de always-valid inference test 62.4%. Om een power van 80% te bereiken, had de always-valid inference test ongeveer 7045 deelnemers nodig. 85% meer monster dan het groepssequentiële ontwerp (Analytics-toolkit, 2022De ingenieurs van Spotify kwamen onafhankelijk van elkaar tot dezelfde conclusie: sequentiële groepstests zijn "systematisch beter of vergelijkbaar met altijd geldige benaderingen" wanneer de steekproefomvang kan worden geschat.Schultzberg en Ankargren, 2023).
Dit verdient correctie, omdat de leverancier het juist andersom uitlegt. In de documentatie van Optimizely staat dat je "het voorbereidende werk, zoals het berekenen van de steekproefomvang, moet overslaan voordat je het experiment start".Optimizely-ondersteuningDe foutencontrole is reëel en het onderliggende onderzoek is degelijk.Johari et al., Altijd geldige gevolgtrekkingWat in deze formulering echter wordt weggelaten, is de energierekening. Statsig, dat dezelfde methoden gebruikt, zegt het ronduit: "Als u een nauwkeurige meting van de effectgrootte nodig hebt, wacht dan op het volledige vermogen dat uw vermogensberekening voorafgaand aan het experiment schat."Statsig-documentatie). Lees "geen steekproefomvang nodig" als een bewering over validiteit, nooit over efficiëntie.
De methode, stap voor stap
Uitgewerkt voorbeeld: een kledingwinkel test het afrekenproces. Basisconversiepercentage 2.4%, doeleffect +10% relatief (2.64%), tweezijdige alfa 5%, power 80%, ongeveer 5,000 sessies per dag.
1. Kies een formaat alsof je er nooit stiekem naar zult kijken.
Maatvoering op basis van twee verhoudingen geeft 66,943 sessies per armIn totaal 133,886. Dit zijn geen optionele overheadkosten, alleen omdat je van plan bent eerder te stoppen; het is het anker waarop het schema is gebouwd.
2. Kies hoeveel looks en wanneer.
Drie tot vijf looks benut vrijwel alle beschikbare voordelen; elke extra look brengt extra kosten met zich mee voor weinig rendement. Stem de looks af op... hele wekenOmdat de dag van de week een belangrijke bron van schommelingen in het winkelbezoek is. Bij 5,000 sessies per dag komen vier wekelijkse controles uit op bijna 140,000 sessies, waarmee het geplande maximum wordt gedekt.
3. Kies een uitgavenfunctie en noteer de drempelwaarden.
Een alpha-uitgavenfunctie bepaalt hoeveel van het 5%-budget elke look mag verbruiken, afhankelijk van de hoeveelheid verzamelde data.Penn State STAT 509). De twee klassieke keuzes, bij vier gelijkmatig verdeelde weergaven, tweezijdige alfa 0.05:
| Look | Aandeel van de geplande steekproef | O'Brien-Fleming: stop als p | Pocock: stop als p |
|---|---|---|---|
| 1 (einde van week 1) | 25% | 0.0001 | 0.0179 |
| 2 (einde van week 2) | 50% | 0.0055 | 0.0179 |
| 3 (einde van week 3) | 75% | 0.0216 | 0.0184 |
| 4 (einde van week 4) | 100% | 0.0411 | 0.0188 |
| Maximale steekproef versus vaste test | + 3% | + 20% |
Deze waarden werden berekend met behulp van de Lan-DeMets-uitgavenfuncties en komen overeen met de gepubliceerde karakterisering: O'Brien-Fleming gebruikt "zeer strenge drempelwaarden in een vroeg stadium, maar de uiteindelijke analysedrempel ligt dicht bij de typische p < 0.05", terwijl Pocock een vrijwel constante drempelwaarde hanteert rond p < 0.016 (Ciolino, Kaizer en Bonner, 2023).
O'Brien-Fleming is een goedkope verzekering: het wordt bijna nooit geactiveerd bij de eerste controle, kost ongeveer 3% meer voor de maximale steekproefgrootte en de uiteindelijke drempelwaarde is nauwelijks strenger dan 0.05. Pocock stopt veel vaker vroegtijdig, maar brengt 20% meer verkeer in rekening. Kies standaard voor O'Brien-Fleming voor omzetgerelateerde statistieken.
4. Voeg de regel toe aan het ticket vóór de lancering.
Eén zin, zichtbaar voor iedereen die de test kan stoppen: "We kijken naar het einde van week 1 tot en met 4, roepen alleen een winnaar uit als de tweezijdige p-waarde voor [primaire meetwaarde] onder de drempelwaarde van die analyse ligt, en anders gaan we door tot week 4." Een regel die alleen in iemands hoofd bestaat, is geen regel.
5. Stel ook de grens voor nutteloosheid vast.
De meeste teams hanteren alleen effectiviteitsgrenzen, waardoor ze winnaars vroegtijdig stoppen en verliezers de volledige looptijd laten doorlopen. Dit is echter averechts vanuit het oogpunt van opportuniteitskosten. Een niet-bindende futiliteitsgrens – stoppen wanneer een betekenisvolle winst onwaarschijnlijk is geworden – levert de meeste tijdsbesparing op. Met vier O'Brien-Fleming-analyses daalt de verwachte steekproefomvang onder een werkelijk effect tot ongeveer 83% van de vereiste vaste horizon.
6. Rapporteer de eerste puntschatting niet als de effectgrootte.
Een test die vroegtijdig stopt omdat De waargenomen liftkracht was ongebruikelijk groot, waardoor de schatting door de constructie naar boven is bijgesteld. Gebruik deze schatting voor de beslissing over het schip, niet voor de omzetprognose. Statsig: "Vroege beslissingen leiden vaak tot onderschatte schattingen van de liftkracht met een hoge onzekerheid."
Checklist vóór de lancering
- Een van de belangrijkste meetwaarden, schriftelijk vastgelegd vóór de lancering.
- Maximale steekproefomvang en einddatum van de kalender vastgesteld
- Lijkt vast te staan qua aantal en timing, afgestemd op hele weken.
- Uitgavenfunctie gekozen, drempelwaarden in het ticket vastgelegd
- De futiliteitsregel is gedefinieerd, niet alleen de effectiviteitsregel.
- SRM wordt bij elke controle gecontroleerd. vaardigheden De p-waarde wordt afgelezen.
- De meetgegevens van de vangrail worden afzonderlijk gecontroleerd, buiten de stopregel om.
- Iedereen die de test kan tegenhouden, weet dat ongeplande blikken verboden zijn.
Dit kalibreren voor Turkije en de regio.
Volgens het E-Commerce Outlook Report van het Ministerie van Handel, dat in mei 2026 werd gepresenteerd, registreerde Turkije in 2025 5.94 miljard e-commerce transacties met een volume van 4.57 biljoen TL.Daily Sabah, 12 mei 2026Het is een grote markt die voornamelijk bestaat uit middelgrote winkels, dus periodes van vier weken zijn gebruikelijk — lang genoeg om samen te vallen met een campagne.
De kortingsperiode eind november, lokaal bekend als Efsane Cuma, en het 11.11-evenement dat eraan voorafging, veranderen die Het gaat erom dat bezoekers daadwerkelijk op de site aanwezig zijn, niet alleen om het aantal bezoekers. Bezoekers die door kortingen worden aangetrokken, converteren op basis van andere logica, dus een planning die een campagneperiode overschrijdt, meet niet één enkele populatie. Onze regel: eindig vóór de campagne of begin erna. Als een test toch door een campagne moet lopen, behandel de campagneweek dan als een aparte laag en neem binnen die week geen beslissing over het stoppen.
Een tweede aanpassing geldt voor de hele EU en voor KVKK-conforme toestemmingsbanners in Turkije: als analyses alleen toegankelijk zijn via toestemming, wordt een deel van uw verkeer niet geobserveerd. Grootte en planning op opgemerkt sessies, of elke look arriveert later dan de kalender aangeeft.
[INTERNE GEGEVENS NODIG: mediaan aantal dagelijkse sessies en mediaan aantal daadwerkelijke testduur bij alle e-commerceklanten van Switas, ter vervanging van het illustratieve cijfer van 5,000 sessies per dag door een werkelijke verdeling.]
Waar dit misgaat
- Verandering in samenstelling. Sequentiële methoden gaan ervan uit dat de binnenkomende datastroom in de loop van de tijd uitwisselbaar is. Een campagne- of betaalde mediawijziging doorbreekt dit principe, en het vroegtijdig stoppen ervan in een bepaalde week was ongebruikelijk.
- Nieuwheid en prioriteit. Een meting in week 1 meet de reactie, niet het gevestigde gedrag. Als de verandering zichtbaar is voor terugkerende klanten, stel dan helemaal geen grens aan de effectiviteit van de eerste meting.
- Metrieken met een zware staartverdeling. De omzet per sessie wordt voornamelijk bepaald door zeldzame, grote orders, en normale schattingen zijn onbetrouwbaar bij kleine tussentijdse steekproeven. Focus op het conversiepercentage en lees de omzet erbij, of gebruik de Winsor-methode en vermeld dit expliciet.
- Meerdere meetwaarden. Deze grenzen beperken de foutmarge voor een Metriek. Vijf metrieken met vijf stopregels en geen verdere correctie brengt je terug naar waar je begon.
- Defecte instrumenten. Een sequentiële test zal zonder problemen een grens overschrijden bij corrupte data. Het is echter geen vervanging voor een SRM-controle.
- Niet behandeld in dit document: Bayesiaanse stopregels, multi-armed bandits en variantiereductie zoals CUPED. Elk van deze methoden interacteert met vroegtijdig stoppen op manieren die een aparte behandeling vereisen.
FAQ
Markeer dit gedeelte met het FAQPage-schema.
Kan ik in plaats van een uitgavenfunctie een strengere p-waarde gebruiken?
Ja, als je het aantal looks van tevoren vastlegt en het er maar een paar zijn. De tabel van Miller geeft de drempelwaarde aan. Het is conservatiever dan alpha spending, dus je betaalt voor meer samples dan nodig, maar er is geen nieuwe tooling voor nodig.
Betekent sequentiële testen dat ik de berekening van de steekproefomvang kan overslaan?
Nee. De validiteit blijft behouden zonder schatting van de steekproefomvang; de power niet. Zowel de simulaties van Georgiev als die van Spotify laten hetzelfde patroon zien: wanneer de steekproefomvang wel geschat kan worden, is een sequentieel groepsontwerp superieur.
Wat als ik juist op een terugval in plaats van een overwinning let?
Dat is het bewaken van de veiligheidsmarges, niet het testen van hypothesen. Houd de veiligheids- en foutstatistieken continu in de gaten onder een aparte, minder strenge regel en laat de primaire stopregel ongewijzigd. Het stopzetten van een variant die gebruikers schaadt, vereist geen poespas.
Is Bayesiaans testen immuun voor spieken?
Nee. Stoppen op het moment dat een a posteriori kans een drempelwaarde overschrijdt, verandert de werkingskenmerken van de beslissingsregel, tenzij de regel is ontworpen voor optioneel stoppen. De a priori kans verandert de vorm van het probleem, niet het bestaan ervan.
O'Brien-Fleming of Pocock?
O'Brien-Fleming is in vrijwel alle commerciële gevallen de beste keuze. Kies alleen voor Pocock als een snel antwoord concrete waarde heeft, je ongeveer 20% meer monsters kunt verwerken en iemand klaar is om te leveren op basis van een resultaat in week 1.
Kan ik een look toevoegen die ik niet gepland had?
Met een alpha-uitgavenfunctie, ja, mits de beslissing om te kijken niet gebaseerd is op de gegevens die je op het punt staat te zien. Het toevoegen van een look omdat het dashboard "er dicht bij leek" is afhankelijk van de timing van de gegevens en maakt de garantie ongeldig.
Werk met ons samen aan dit project.
Als u experimenten uitvoert op een Turks of regionaal e-commerceplatform en de stopregel is momenteel "controleer elke ochtend", dan passen we deze samen met u aan: de omvang, het controleschema, de grenzen, de regel voor het afwijzen van mislukte tests en de SRM-gateway. Deze instellingen worden opgenomen in uw experimenttemplate, zodat de volgende test deze overneemt. Bespreek je experimentenprogramma met Switas..
Bronnen
- Evan Miller, Hoe je géén A/B-test moet uitvoeren
- Johari, Pekelis, Walsh en Koomen, Altijd geldige conclusie: Continue monitoring van A/B-tests; gepubliceerd in Operations Research 70(3), 2022
- Georgi Georgiev, Vergelijking van de statistische power van opeenvolgende testsAnalytics-Toolkit, november 2022 (bijgewerkt maart 2023)
- Schultzberg en Ankargren, Het kiezen van een framework voor sequentiële testenSpotify Engineering, maart 2023
- Optimaal, Overzicht van methoden voor statistische analyse
- Statsig, Frequentistische sequentiële testen
- Ciolino, Kaizer en Bonner, Richtlijnen voor methoden voor tussentijdse analyses in klinische studies, J Clin Transl Sci 7(1):e124, 2023
- Penn State STAT 509, Alpha-uitgavenfunctiebenadering
- rpact, Het definiëren van sequentiële groepsgrenzen
- Het e-commercevolume in Turkije zal in 2025 met meer dan 52% stijgen.Daily Sabah, 12 mei 2026, bericht over het e-commerce-vooruitzichtenrapport van het Ministerie van Handel.
