Stel vast of er sprake is van een onjuiste steekproefverhouding in vijf takken voordat u de test weggooit.

Bij Microsoft vertoont ongeveer 6% van de experimenten een mismatch in de steekproefverhouding, wat bij een product dat 10,000 experimenten per jaar uitvoert neerkomt op ongeveer één detectie per dag.Fabijan et al., KDD 2019Teams die veel minder tests uitvoeren, zien dat getal zelden, omdat de controle die hun platform uitvoert bij hun verkeersvolume geen significantie kan bereiken. De test ziet er goed uit, rapporteert een stijging van 4%, maar is desondanks onjuist.

Deze handleiding is bedoeld voor degene die de experimentele resultaten leest en moet beslissen of het monster verzonden moet worden. Aan het einde van deze handleiding kunt u bepalen of uw test groot genoeg is om de mismatch-controle relevant te maken, vijf diagnostische stappen uitvoeren in de volgorde die de oorzaak het snelst aan het licht brengt, en een onevenwichtigheid die de resultaten ongeldig maakt onderscheiden van een onevenwichtigheid die u kunt filteren en behouden.

Wat een SRM-alarm je precies vertelt.

Een mismatch in de steekproefverhouding is een verschil tussen de ingestelde verdeling en de waargenomen verdeling: u hebt 50/50 ingesteld en 50.8/49.2 gekregen. De standaardcontrole is de chi-kwadraat goodness-of-fit-test van Pearson op de blootstellingsaantallen, met één vrijheidsgraad voor een test met twee groepen.

Het is belangrijk omdat het mechanisme dat gebruikers verliest, bijna nooit neutraal is ten opzichte van je meetwaarde. Als een redirect trage verbindingen van de variant blokkeert, zijn de overgebleven gebruikers degenen met betere verbindingen, en zij converteren beter. De verbetering is reëel in de data, maar ontbreekt in de realiteit.

Dit is de eerste fout die de meeste teams maken: er bestaat geen industriestandaard. Platformen verschillen enorm van elkaar.

Twee gevolgen. Een test die op het ene platform als foutief wordt aangemerkt, wordt op een ander platform met identieke gegevens als foutief beschouwd. "Onze tool heeft ons niet gewaarschuwd" is dus geen bewijs van een duidelijke scheiding. En een drempelwaarde van 0.01 markeert één op de honderd gezonde tests als foutief. Als je de p-waarde dagelijks bekijkt gedurende een test van drie weken, is de naïeve grens voor een vals alarm bij onafhankelijke metingen 19%; het werkelijke percentage ligt lager omdat opeenvolgende dagen sterk gecorreleerd zijn, maar het is geen 1%. Daarom voert AB Tasty een sequentiële procedure uit. Als je platform een ​​chi-kwadraattoets met vaste horizon gebruikt, kijk dan slechts één keer, aan het einde, naar de cumulatieve aantallen.

Controleer of uw test überhaupt een onevenwicht kan detecteren.

Bij een 50/50-verdeling vereenvoudigt de chi-kwadraatstatistiek tot 4n(p̂−0.5)², waarbij n het totale aantal blootstellingen is. Keer deze om en je krijgt de kleinste onbalans die je controle kan signaleren:

Beschouw dit als een limiet, niet als een vergunning. Bij 10,000 blootstellingen is alles kleiner dan een onevenwichtigheid van 1.3 punt onzichtbaar voor de controle, en een selectie-effect van 1.3 punt is meer dan genoeg om een ​​kleine conversieverhoging te bewerkstelligen. Dat is het structurele probleem in het grootste deel van de regio. Turkije registreerde in 2025 ongeveer 6 miljard e-commerce transacties bij circa 634,000 bedrijven.Ministerie van Handel, 12 mei 2026), gemiddeld zo'n 9,500 per jaar, en dat gemiddelde wordt flink omhoog getrokken door een handvol marktplaatsen. Een middelgrote webwinkel die een checkout-stap test, werkt met tienduizenden weergaven, niet met miljoenen, dus de SRM-controle detecteert grove fouten en niets subtielers.

Vertrouw bij dat volume niet op het alarm. Verzamel zelf de ruwe blootstellingsgegevens per dag en per segment en beschouw een aanhoudende afwijking in dezelfde richting als verdacht, zelfs als de p-waarde onopvallend is. Als u niet zeker weet waar uw platform die gegevens registreert, SRM Checker-documentatie brengt ze in kaart per tool.

De vijf takken, in de volgorde die de oorzaak het snelst vindt.

De KDD-taxonomie sorteert SRM-oorzaken op basis van de levenscyclusfase: toewijzing, uitvoering, logverwerking, analyse en interferentie. Diagnoseer ze in een andere volgorde, beginnend met de goedkoopste en meest voorkomende oorzaken.

1. Analyse en activering. Symptoom: de splitsing is duidelijk in het ruwe blootstellingslogboek, maar onjuist in de scorecard. Controle: herbereken de ratio zonder uw triggerconditie, datumfilter en joins op metrisch niveau. Bevestigt of de ratio weer aan de verwachting voldoet. Oplossing: evalueer de trigger identiek in beide armen, voordat variantspecifiek gedrag de geschiktheid kan beïnvloeden. Meest voorkomende vals alarm, tien minuten om uit te sluiten.
2. Logboekverwerking. Symptoom: het aantal blootstellingen verschilt tussen twee pipelines, of het verschil treedt op na de ETL-stap. Controle: vergelijk het aantal aan de SDK-kant, het aantal in het datawarehouse en het aantal in de rapportage voor hetzelfde venster, en vergelijk vervolgens de uitsluitingspercentages van het botfilter per arm. Dit bevestigt of de armen stroomopwaarts gelijk zijn en stroomafwaarts ongelijk. Oplossing: filter deterministisch en identiek. Geautomatiseerd verkeer bereikte 53% van het webverkeer in 2026, een stijging ten opzichte van 51% in 2024.Imperva Bad Bot-rapport, 29 april 2026), dus een heuristisch filter gebaseerd op laadtijd of gebruikersgedrag kan varianten met verschillende frequenties uitsluiten. Verlies door toestemming speelt hier ook een rol: wanneer ad_storage wordt geweigerd, stopt het tagplatform van Google met het plaatsen van advertentiecookies (Google Tag Platform-toestemmingsdocumentatie), dus als de afwijzingspercentages in één test per regio verschillen, leidt elke toewijzing die op die identificatoren is gebaseerd tot onevenredig veel gebruikersverlies.
3. Executie. Symptoom: de onbalans neemt toe met de paginagrootte, is erger op mobiel of begint bij een implementatie. Controle: splits de verhouding op per apparaat, browser, verbindingstype en dag; vergelijk de blootstellingstijd tussen de twee varianten. Dit bevestigt of het tekort zich concentreert in trage segmenten of in één browser. Oplossing: dit is waar redirect-tests vastlopen. Een redirect voegt een volledige navigatie toe aan slechts één variant, en iedereen die tijdens de redirect afhaakt, is een selectief verlies. Render beide varianten server-side op één URL, of accepteer dat de varianten niet vergelijkbaar zijn.
4. Opdracht. Symptoom: de verhouding wijkt vanaf het eerste uur af en blijft met een constante factor afwijken. Controle: voer een A/A-test uit op dezelfde toewijzing en controleer of het hash-salt niet is hergebruikt van een eerder experiment met deze populatie. Dit wordt bevestigd als de A/A-test ook de onbalans laat zien. Oplossing: wijs opnieuw toe met een nieuw salt en herstart. Overdracht van een eerdere test is de stille variant hiervan, en alleen de A/A-test brengt het aan het licht.
5. Interferentie. Symptoom: de onbalans is geconcentreerd in een klein aantal identificatoren met hoge activiteit, of in interne IP-bereiken. Controle: de verdeling van het aantal blootstellingen per gebruiker en de 1% van de identificatoren met het hoogste gebeurtenisvolume. Bevestigt of het verwijderen ervan de verhouding herstelt. Oplossing: sluit intern en gescript verkeer uit met behulp van een gedocumenteerde regel, niet handmatig, zodat de uitsluiting de volgende keer identiek is.

Een uitgewerkte handleiding

De onderstaande cijfers zijn illustratief en geen klantgegevens. Een testrapport toont 61,480 blootstellingen aan de controlevariant en 58,520 blootstellingen aan de variant: 51.2/48.8 bij 120,000 gebruikers, chi-kwadraat p lager dan 0.001. Vertakking 1: het weglaten van de triggerconditie levert 60,020/59,980 op, dus de toewijzing is correct en het verlies treedt op na blootstelling. Vertakking 2: de pipeline-tellingen komen overeen, bot-uitsluitingen 0.9% in beide takken. Vertakking 3: desktop staat op 50.1/49.9, mobiel op 52.4/47.6, en de mediane tijd tot blootstelling van de variant is 900 ms hoger op mobiel. Diagnose: de variant verstuurt een extra render-blokkerend verzoek, mobiele gebruikers haken af ​​tijdens dit verzoek, overlevenden hebben betere verbindingen. De uitlezing is ongeldig. De oplossing is een prestatieverbetering en de test wordt opnieuw uitgevoerd, niet opnieuw geïnterpreteerd.

Wat je kunt redden en wat niet.

• Maak de uitlezing ongeldig. wanneer het verliesmechanisme aannemelijk kan worden gecorreleerd met de meetwaarde. Elke uitvoerings- en toewijzingsoorzaak komt standaard in aanmerking.
• Berging per segment Alleen als de onevenwichtigheid beperkt is tot een segment dat je duidelijk kunt uitsluiten, dat segment is gedefinieerd voordat je naar de metriek keek, en de rest zijn eigen SRM-controle doorstaat. Twee van de drie is niet genoeg.
• Bewaar de test De oorzaak lag puur in de analyse en de gecorrigeerde scorekaart is goedgekeurd. Je leest dezelfde gegevens opnieuw met een vast filter, je bent niet aan het vissen.
• Registreer het in beide gevallen. Noteer de oorzaakcategorie van het experiment. De taxonomie werpt cumulatief zijn vruchten af: als drie van je laatste tien tests in tak 3 zijn mislukt, ligt het probleem niet bij het experimenteren, maar bij de front-end levering. [INTERNE GEGEVENS NODIG: percentage van de door Switas uitgevoerde experimenten in de afgelopen 24 maanden die een SRM-controle niet hebben doorstaan, gesplitst per taxonomietak, om de Microsoft-benchmark van 6% te vervangen door een cijfer uit deze markt]

Waar dit misgaat

Deze boom gaat uit van een tweearmige test met een vaste, bekende toewijzing en randomisatie op gebruikersniveau. Hij is niet van toepassing op meerarmige tests, waarbij de volledige chi-kwadraattoets over alle armen nodig is, plus een vervolgonderzoek naar welk paar niet is toegewezen, of op gefaseerde toewijzingen, waarbij de verwachte ratio tijdens de test verandert en een cumulatieve chi-kwadraattoets per definitie de verkeerde toets is. Hij is ook niet van toepassing op cluster- of geografisch gerandomiseerde designs, waarbij de eenheid niet de gebruiker is en de onbalans die ertoe doet, in de clusterkenmerken zit. Hij zegt niets over de juistheid van uw definitie van de metriek. En hij biedt geen uitkomst wanneer blootstellingen niet worden geregistreerd en u de toewijzing afleidt uit een metriekgebeurtenis, wat geen splitsingscontrole is maar een gok.

FAQ

Is een verdeling van 51/49 altijd een probleem? Het hangt volledig af van n. Bij 5,000 opnames is het gewone ruis; bij 500,000 is het vrijwel zeker een defect. Beoordeel de verhouding aan de hand van de detecteerbaarheidstabel, niet aan de hand van een vaste vuistregel in procenten.

Kan ik de armen statistisch gezien opnieuw wegen in plaats van de meting te herhalen? Nee. Door herweging worden de tellingen gecorrigeerd, maar de selectie blijft intact. De gebruikers die je bent kwijtgeraakt, zijn verdwenen en vormden geen willekeurige steekproef uit de arm.

Hoe vaak moet ik naar de SRM p-waarde kijken? Eenmaal, aan het einde, op basis van cumulatieve tellingen, tenzij uw platform een ​​sequentiële procedure uitvoert. Dagelijks kijken naar een chi-kwadraat met een vaste horizon verhoogt het aantal valse alarmen aanzienlijk.

Maakt SRM de beveiligingsstatistieken ook ongeldig? Ja, om dezelfde reden. Als de armen verschillende populaties vertegenwoordigen, is een vlakke vangrail niet betrouwbaarder dan een bewegende primaire meeteenheid.

Wat als een A/A-test ook een mismatch aan het licht brengt? Dan ligt de fout bij de toewijzing of in de logpipeline, niet bij jouw verwerking. Los dit op voordat je iets anders uitvoert, want het beïnvloedt elke test op dat platform.

Veroorzaken redirect-tests altijd SRM? Niet altijd, maar ze brengen een structureel risico met zich mee dat geen enkel ander ontwerp heeft, omdat de extra navigatie zich slechts in één arm bevindt. Als u er toch een wilt gebruiken, controleer dan de verhouding op basis van verbindingssnelheid en apparaat voordat u gegevens interpreteert.

Mijn bezoekersaantallen zijn te laag om die controle zinvol te laten zijn. Wat dan? Monitor de dagelijkse ruwe blootstellingsgegevens op aanhoudende afwijkingen, voer periodiek een A/A-test uit op de toewijzingslaag en registreer vooraf een langere lijst met controles. Je vervangt statistische power door procesgerichtheid.

Moet de botfiltering vóór of na de toewijzing plaatsvinden? Na het registreren van de blootstelling, vóór de analyse, worden deterministische regels gebruikt die identiek op beide armen worden toegepast. Heuristische filtering binnen de SDK zorgt ervoor dat het filter zelf de discrepantie wordt.

Voer de controle uit op je eigen experimentprogramma.

Als u een tweede paar ogen wilt laten kijken naar de status van de tests die u momenteel uitvoert, of een beoordeling van de toewijzings- en loglaag waar ze allemaal van afhankelijk zijn, dan is dat precies wat wij bieden. CRO- en experimentenservice doet.

Bronnen

• Fabijan, Gupchup, Gupta, Omhover, Vermeer, Dmitriev, "Diagnostiek van mismatch in steekproefverhoudingen bij online gecontroleerde experimenten: een taxonomie en vuistregels voor praktijkgerichte professionals", KDD 2019
• AB Tasty-documentatie, Mismatch in monsterverhouding (sequentiële S-SRM, drempelwaarde 0.01)
• Statsig, "Een snelle handleiding voor mismatch in steekproefverhoudingen", 31 augustus 2023 (chi-kwadraat, drempelwaarde 0.01)
• GrowthBook-documentatie, Experimenteren (chi-kwadraat, waarschuwing onder 0.001)
• Imperva, "Bad Bot Report 2026: Bots in the Agentic Age", 29 april 2026
• Ministerie van Handel van de Republiek Turkije, cijfers over e-commerce in 2025, 12 mei 2026
• Google Tag Platform, toestemmingsmodus en opslaggedrag
• SRM Checker-documentatie en FAQ, Lukas Vermeer