Omkring 6 % af eksperimenterne hos Microsoft viser en uoverensstemmelse i stikprøveforholdet, hvilket ved et produkt, der kører 10,000 eksperimenter om året, svarer til cirka én detektion om dagen (Fabijan et al., KDD 2019). Teams, der kører langt færre tests, ser sjældent dette tal, fordi den kontrol, deres platform kører, ikke kan opnå signifikans ved deres trafikvolumen. Testen ser ren ud, rapporterer en stigning på 4 % og er alligevel forkert.
Denne vejledning er til den person, der aflæser eksperimentets udlæsning og skal beslutte, om den skal sendes. Til sidst vil du være i stand til at finde ud af, om din test er stor nok til, at uoverensstemmelsestjekket betyder noget, køre fem diagnosegrene i den rækkefølge, der finder årsagen hurtigst, og adskille en ubalance, der annullerer udlæsningen, fra en, du kan segmentere omkring og beholde.
Hvad en SRM-alarm rent faktisk fortæller dig
En uoverensstemmelse i stikprøveforholdet er et gab mellem den opdeling, du konfigurerede, og den opdeling, du observerer: du satte 50/50 og fik 50.8/49.2. Standardkontrollen er Pearsons chi-i-anden goodness-of-fit-test på eksponeringsantallet, én frihedsgrad for en toarmet test.
Det er vigtigt, fordi den mekanisme, der forårsager tab af brugere, næsten aldrig er neutral i forhold til din metrik. Hvis en omdirigering fjerner langsomme forbindelser fra varianten, er det de overlevende, der har bedre forbindelser, og de konverterer bedre. Stigningen er reel i dataene og fraværende i virkeligheden.
Her er den første ting, de fleste teams tager fejl af: Der er ingen branchegrænse. Platformene er mere end en størrelsesorden uenige.
| perron | Test | Flag kl. | Bemærk |
|---|---|---|---|
| AB Velsmagende | Sekventiel frekventist (S-SRM) | p <0.01 | Bygget til kontinuerlig overvågning, så der tages højde for gentagne kig |
| Statistik | Chi-i-anden | p <0.01 | "Vi anser eksponeringer for at være ubalancerede, hvis SRM p-værdien er under 0.01" |
| Vækstbog | Chi-i-anden | p <0.001 | Advarslen er undertrykt over det |
| Microsoft (bearbejdet illustration) | Chi-i-anden | ~1 ud af 500,000 | En 50.2/49.8 split ved large n opvejer allerede dette |
To konsekvenser. En test, der er markeret på én platform, består på en anden med identiske data, så "vores værktøj advarede os ikke" er ikke bevis for en ren split. Og en tærskel på 0.01 markerer én ud af hundrede raske tests. Hvis du undersøger p-værdien dagligt over en tre-ugers test, er den naive uafhængige peek-grænse for en falsk alarm 19 %; det sande tal er lavere, fordi sammenhængende dage er stærkt korrelerede, men det er ikke 1 %. Derfor kører AB Tasty en sekventiel procedure. Hvis din platform kører en chi-i-anden med fast horisont, skal du kigge én gang, til sidst, på kumulative tællinger.
Tjek om din test overhovedet kan opdage en ubalance
For en 50/50-fordeling forenkles chi-i-anden-statistikken til 4n(p̂−0.5)², hvor n er de samlede eksponeringer. Inverter den, og du får den mindste ubalance, som din check kan markere:
| Samlede eksponeringer | Mindste markerede opdeling ved p < 0.01 | ved p < 0.001 |
|---|---|---|
| 5,000 | 51.8 / 48.2 | 52.3 / 47.7 |
| 10,000 | 51.3 / 48.7 | 51.6 / 48.4 |
| 30,000 | 50.7 / 49.3 | 51.0 / 49.0 |
| 100,000 | 50.4 / 49.6 | 50.5 / 49.5 |
| 1,000,000 | 50.13 / 49.87 | 50.16 / 49.84 |
Læs det som en grænse, ikke en licens. Ved 10,000 eksponeringer er alt mindre end en ubalance på 1.3 point usynligt for kontrollen, og en selektionseffekt på 1.3 point er mere end nok til at frembringe en lille konverteringsstigning. Det er det strukturelle problem i det meste af regionen. Tyrkiet registrerede omkring 6 milliarder e-handelstransaktioner på tværs af cirka 634,000 virksomheder i 2025 (Handelsministeriet, 12. maj 2026), et gennemsnit på næsten 9,500 om året hver, og det gennemsnit trækkes kraftigt op af en håndfuld markedspladser. En mellemstor butik, der tester et kassetrin, arbejder med titusindvis af eksponeringer, ikke millioner, så dens SRM-tjek fanger grove brud og intet mere subtilt.
Ved den mængde skal du ikke stole på alarmen. Indhent selv rå eksponeringstal pr. dag og pr. segment, og behandl en vedvarende drift i samme retning som mistænkelig, selv når p-værdien er ubemærkelsesværdig. Hvis du ikke er sikker på, hvor din platform eksponerer disse tællinger, vil Dokumentation til SRM Checker kortlægger dem pr. værktøj.
De fem grene, i den rækkefølge der finder årsagen hurtigst
KDD-taksonomien sorterer SRM-årsager efter livscyklusfase: tildeling, udførelse, logbehandling, analyse, interferens. Diagnosticer dem i forskellig rækkefølge, med de billigste og mest almindelige først.
- Analyse og udløsning. Symptom: Opdelingen er ren i den rå eksponeringslogg og brudt i scorecardet. Tjek: Genberegn forholdet uden din triggerbetingelse, datofilter og joins på metrikniveau. Bekræft det, hvis forholdet vender tilbage til forventningerne. Rettelse: Evaluer triggering identisk i begge arme, før nogen variantspecifik adfærd kan ændre berettigelsen. Mest almindelige falske alarm, ti minutter til at udelukke.
- Logbehandling. Symptom: Eksponeringsantallet varierer mellem to pipelines, eller hullet opstår efter ETL-trinnet. Kontrol: Sammenlign SDK-sidens antal, lagerets antal og rapporteringsantallet for det samme vindue, og sammenlign derefter botfilter-ekskluderingsrater pr. arm. Bekræfter det, hvis armene er lige store upstream og ulige downstream. Rettelse: Filtrer deterministisk og identisk. Automatiseret trafik nåede 53 % af webtrafikken i 2026, en stigning fra 51 % i 2024 (Imperva Bad Bot-rapport, 29. april 2026), så et heuristisk filter, der er justeret efter indlæsningstiming eller brugeragent-adfærd, kan udelukke med forskellige hastigheder pr. variant. Samtykkedrevet tab findes også her: når
ad_storageafvises, stopper Googles tagplatform med at indstille annonceringscookies (Dokumentation for samtykke til Google Tag-platformen), så hvis afvisningsraterne varierer på tværs af geografiske områder i én test, mister enhver opgave, der læner sig op ad disse identifikatorer, brugere ujævnt. - Udførelse. Symptom: Ubalancen vokser med sidevægten, er værre på mobilen eller starter ved en implementering. Tjek: Opdel forholdet efter enhed, browser, forbindelsestype og dag; sammenlign tid til eksponering mellem arme. Bekræft det, hvis underskuddet koncentrerer sig om langsomme segmenter eller i én browser. Rettelse: Det er her, omdirigeringstests dør. En omdirigering tilføjer en fuld navigation til kun én arm, og alle, der forlader under den, er et selektivt tab. Render begge varianter server-side på én URL, eller accepter, at armene ikke er sammenlignelige.
- Overdragelse. Symptom: Forholdet er forkert fra den første time og forbliver forkert med en konstant faktor. Tjek: Kør en A/A på den samme allokering, og verificer, at hash-saltet ikke blev genbrugt fra et tidligere eksperiment på denne population. Bekræft det, hvis A/A'en også viser ubalancen. Rettelse: Gentildel med et nyt salt, og genstart. Overførsel fra en tidligere test er den stille version af dette, og kun A/A'en eksponerer det.
- Interferens. Symptom: Ubalancen er koncentreret i et lille antal identifikatorer med høj aktivitet eller i interne IP-intervaller. Kontroller: fordelingen af eksponeringsantal pr. bruger og de øverste 1% af identifikatorer efter hændelsesvolumen. Bekræfter det, hvis fjernelse af dem gendanner forholdet. Rettelse: Udeluk intern og scriptet trafik efter en dokumenteret regel, ikke manuelt, så udelukkelsen er identisk næste gang.
En gennemarbejdet gennemgang
Tallene nedenfor er illustrative, ikke klientdata. En checkout-test rapporterer 61,480 kontrol- og 58,520 varianteksponeringer: 51.2/48.8 på 120,000 brugere, chi-i-anden p under 0.001. Gren 1: Hvis triggerbetingelsen fjernes, returneres 60,020 / 59,980, så tildelingen er fin, og tabet sker efter eksponering. Gren 2: Antallet af pipelines stemmer overens, bot-udelukkelser er 0.9 % i begge arme. Gren 3: Desktop ligger på 50.1/49.9, mobil på 52.4/47.6, og variantens mediane tid til eksponering er 900 ms højere på mobil. Diagnose: Varianten sender en ekstra gengivelsesblokerende anmodning, mobilbrugere forlader testen under den, og overlevende har bedre forbindelser. Udlæsningen er ugyldig. Rettelsen er en performancerettelse, og testen køres igen, ikke genfortolkes.
Hvad du kan redde, og hvad du ikke kan
- Annuller aflæsningen når tabsmekanismen plausibelt kunne korrelere med metrikken. Enhver udførelses- og tildelingsårsag kvalificerer som standard.
- Bjærgning efter segment Kun når ubalancen er begrænset til et segment, du rent kan udelukke, det segment blev defineret, før du kiggede på metrikken, og resten består sin egen SRM-kontrol. To ud af tre er ikke nok.
- Behold testen når årsagen udelukkende var i analyse, og det korrigerede scorekort består. Du genlæser de samme data med et fast filter, ikke fisker.
- Log det på begge måder. Registrer årsagskategorien på eksperimentet. Taksonomien betaler sig kumulativt: Hvis tre af dine sidste ti tests ikke bestod i gren 3, er dit problem ikke eksperimentering, men frontend-levering. [INTERNE DATA NØDVENDIGE: andel af Switas-kørte eksperimenter i de sidste 24 måneder, der ikke bestod en SRM-kontrol, opdelt efter taksonomigren, for at erstatte Microsofts 6%-benchmark med et tal fra dette marked]
Hvor dette bryder sammen
Dette træ antager en toarms test med en fast, kendt allokering og randomisering på brugerniveau. Det dækker ikke flerarms tests, som kræver den fulde chi-i-anden på tværs af alle arme plus en opfølgning på hvilket par der er forkert, eller rampede allokeringer, hvor det forventede forhold ændrer sig under testen, og en kumulativ chi-i-anden er den forkerte test. Det gælder ikke for klynge- eller geo-randomiserede designs, hvor enheden ikke er brugeren, og den ubalance, der betyder noget, ligger i klyngekarakteristika. Det siger intet om, hvorvidt din metrikdefinition er korrekt. Og det kan ikke hjælpe, når eksponeringer ikke logges, og du udleder tildeling fra en metrikhændelse, som ikke er en delt kontrol, men et gæt.
Ofte stillede spørgsmål
Er en 51/49-opdeling altid et problem? Det afhænger helt af n. Ved 5,000 eksponeringer er det almindelig støj; ved 500,000 er det en næsten sikker defekt. Bedøm forholdet ud fra detekterbarhedstabellen, ikke ud fra en fast procentregel.
Kan jeg bare vægte armene statistisk i stedet for at løbe om? Nej. Genvægtning korrigerer antallet og lader udvalget være intakt. De brugere, du mistede, er væk, og de var ikke en tilfældig stikprøve fra armen.
Hvor ofte skal jeg se på SRM p-værdien? Én gang, til sidst, på kumulative tællinger, medmindre din platform kører en sekventiel procedure. Daglig kig på en chi-i-anden-værdi med fast horisont forøger falske alarmer betydeligt.
Ugyldiggør SRM også autoværnsmålinger? Ja, af samme grund. Hvis armene kan rumme forskellige populationer, er et fladt autoværn ikke mere troværdigt end en bevægelig primær måling.
Hvad hvis en A/A-test også viser en uoverensstemmelse? Så ligger fejlen i tildelingen eller i logging-pipelinen, ikke i din behandling. Ret det, før du kører noget andet, fordi det forurener alle test på den platform.
Forårsager omdirigeringstests altid SRM? Ikke altid, men de indebærer en strukturel risiko, som intet andet design har, fordi den ekstra navigation kun findes i én arm. Hvis du er nødt til at køre en, skal du kontrollere forholdet efter forbindelseshastighed og enhed, før du aflæser nogen målinger.
Min trafik er for lav til, at checken har nogen betydning. Hvad så? Overvåg rå daglige eksponeringstal for vedvarende drift, kør en periodisk A/A på tildelingslaget, og forhåndsregistrer en længere liste af tilregnelighedstjek. Du erstatter statistisk styrke med proces.
Skal botfiltrering ske før eller efter tildeling? Efter eksponeringslogning, før analyse, anvendes deterministiske regler, der anvendes identisk på begge arme. Heuristisk filtrering i SDK'et er, hvordan selve filteret bliver til uoverensstemmelsen.
Kør kontrollen på dit eget eksperimentprogram
Hvis du ønsker et ekstra par øjne på den opdelte tilstand af de tests, du kører nu, eller en gennemgang af tildelings- og logføringslaget, som de alle afhænger af, er det det, vores CRO og eksperimenteringstjeneste gør.
Kilder
- Fabijan, Gupchup, Gupta, Omhover, Vermeer, Dmitriev, "Diagnostisering af stikprøveforholdsfejl i online kontrollerede eksperimenter: En taksonomi og tommelfingerregler for praktikere", KDD 2019
- AB Tasty-dokumentation, uoverensstemmelse mellem stikprøveforhold (sekventiel S-SRM, tærskel 0.01)
- Statsig, "En hurtig guide til uoverensstemmelse i stikprøveforhold", 31. august 2023 (chi-i-anden, tærskel 0.01)
- GrowthBook-dokumentation, Eksperimentering (chi-i-anden, advarsel under 0.001)
- Imperva, "Rapport om dårlige bots 2026: Bots i agenternes tidsalder", 29. april 2026
- Republikken Tyrkiets Handelsministerium, e-handelstal for 2025, 12. maj 2026
- Google tag-platform, samtykketilstand og lagringsadfærd
- SRM Checker-dokumentation og ofte stillede spørgsmål, Lukas Vermeer
