Diagnosztizáljon mintavételi arány eltérést öt ágban, mielőtt eldobná a tesztet

A Microsoftnál végzett kísérletek körülbelül 6%-a mutat mintavételi aránybeli eltérést, ami egy évi 10 000 kísérletet futtató terméknél nagyjából napi egy észlelést jelent (Fabijan és mtsai., KDD 2019). A sokkal kevesebb tesztet futtató csapatok ritkán látják ezt a számot, mivel a platformjukon futtatott ellenőrzés nem érheti el a jelentős értéket az ő forgalmi volumenük mellett. A teszt tisztának tűnik, 4%-os emelkedést jelez, és amúgy is téves.

Ez az útmutató annak a személynek szól, aki leolvassa a kísérlet eredményét, és el kell döntenie, hogy elküldi-e. A végére képes leszel kideríteni, hogy a teszted elég nagy-e ahhoz, hogy az eltérés-ellenőrzésnek bármi értelme legyen, öt diagnosztikai ágat futtathatsz le abban a sorrendben, amelyik a leggyorsabban megtalálja az okot, és elkülönítheted az eredményt érvénytelenítő egyensúlyhiányt attól, amelyik köré szegmentálhatod és megtarthatod.

Mit mond valójában egy SRM riasztás?

A mintavételi arány eltérése a beállított és a megfigyelt felosztás közötti eltérést jelenti: 50/50-et állít be, és 50.8/49.2-t kap. A standard ellenőrzés a Pearson-féle chi-négyzet illeszkedési teszt az expozíciók számán, ami egy szabadsági fok egy kétkarú teszt esetén.

Ez azért fontos, mert a felhasználók elvesztését okozó mechanizmus szinte soha nem semleges a metrika szempontjából. Ha egy átirányítás lassú kapcsolatokat veszít a változatból, a túlélők azok, akik jobb kapcsolattal rendelkeznek, és jobban konvertálnak. A növekedés az adatokban valós, a valóságban pedig hiányzik.

És itt az első dolog, amit a legtöbb csapat elront: nincs iparági küszöbérték. A platformok között nagyságrendekkel több eltérés is van.

Két következmény. Egy platformon megjelölt teszt azonos adatokkal átmegy egy másikon, tehát a „mi eszközünk nem figyelmeztetett minket” nem bizonyítja a tiszta szétválasztást. És a 0.01-es küszöbérték száz egészséges tesztből egyet jelöl. Ha naponta szemmel nézzük a p-értéket egy háromhetes teszten keresztül, a naiv független betekintési korlát a téves riasztásra 19%; a valódi érték alacsonyabb, mivel az egymást követő napok erősen korrelálnak, de nem 1%. Ezért futtat az AB Tasty szekvenciális eljárást. Ha a platformunk fix horizontú chi-négyzet próbát futtat, nézzük meg egyszer, a végén, a kumulatív darabszámokat.

Ellenőrizd, hogy a teszt kimutat-e egyáltalán egyensúlyhiányt

50/50 arány esetén a chi-négyzet statisztika 4n(p̂−0.5)²-re egyszerűsödik, ahol n a teljes kitettség. Fordítsuk meg, és megkapjuk a legkisebb egyensúlyhiányt, amelyet az ellenőrzés jelezhet:

Korlátként, ne engedélyként értelmezd. 10 000 kitettségnél az 1.3 pontos egyensúlyhiánynál kisebb érték láthatatlan az ellenőrzés számára, és egy 1.3 pontos szelekciós hatás több mint elegendő egy kis konverziós emelkedés létrehozásához. Ez a strukturális probléma a régió nagy részén. Törökországban 2025-ben körülbelül 6 milliárd e-kereskedelmi tranzakciót regisztráltak nagyjából 634 000 vállalkozásban (Kereskedelmi Minisztérium, 2026. május 12.), átlagosan közel 9,500 évente, és ezt az átlagot néhány piactér jelentősen megnöveli. Egy középkategóriás üzlet, amely egy fizetési lépést tesztel, több tízezer, nem pedig millió kitettséggel dolgozik, így az SRM-ellenőrzése csak a nagyobb hibákat észleli, semmi finomabbat.

Ekkora mennyiségnél ne a riasztásra hagyatkozz. Hívd le a nyers expozíciószámokat naponta és szegmensenként, és a tartós azonos irányú eltolódást gyanúsnak tekintsd, még akkor is, ha a p-érték nem jelentős. Ha nem vagy biztos benne, hogy a platformod hol teszi közzé ezeket a számokat, a SRM-ellenőrző dokumentációja eszközönként leképezi őket.

Az öt ág, abban a sorrendben, amelyik a leggyorsabban megtalálja az okot

A KDD taxonómia az SRM okokat életciklus-szakaszok szerint rendezi: hozzárendelés, végrehajtás, naplófeldolgozás, elemzés, interferencia. Diagnosztizálja őket más sorrendben, a legolcsóbbat és a leggyakoribbat kezdve.

1. Elemzés és kiváltás. Tünet: a felosztás tiszta a nyers expozíciós naplóban, de hibás a scorecardban. Ellenőrzés: számolja újra az arányt a trigger feltétel, a dátumszűrő és a metrika szintű illesztések nélkül. Erősítse meg, ha az arány visszatér a várt értékhez. Javítás: értékelje ki azonosan a triggert mindkét karban, mielőtt bármilyen variánsspecifikus viselkedés megváltoztathatná a jogosultságot. A leggyakoribb téves riasztás, tíz perc a kizáráshoz.
2. Naplófeldolgozás. Tünet: az expozíciók száma eltér két folyamat között, vagy a rés az ETL lépés után jelenik meg. Ellenőrzés: hasonlítsa össze az SDK-oldali számlálót, a raktárszámlálót és a jelentési számlálót ugyanarra az ablakra vonatkozóan, majd hasonlítsa össze a bot-szűrő kizárási arányait karonként. Megerősíti, ha a karok egyenlőek az upstream és egyenlőtlenek a downstream oldalon. Javítás: determinisztikusan és azonosan szűrjön. Az automatizált forgalom 2026-ban elérte a webes forgalom 53%-át, szemben a 2024-es 51%-kal.Imperva Bad Bot Jelentés, 2026. április 29.), így egy a betöltési időzítésre vagy a felhasználói ügynök viselkedésére összpontosító heurisztikus szűrő változatonként eltérő arányban zárhat ki. A beleegyezésen alapuló veszteség is itt jelenik meg: amikor ad_storage elutasítva, a Google címkeplatformja leállítja a hirdetési sütik beállítását (Google címkeplatform hozzájárulási dokumentációja), tehát ha az elutasítási arányok egy teszten belül eltérőek a földrajzi területeken, akkor az ezekre az azonosítókra támaszkodó bármely hozzárendelés egyenetlenül veszít felhasználókat.
3. Végrehajtás. Tünet: az egyensúlyhiány az oldal súlyával növekszik, mobilon rosszabbodik, vagy már a telepítésnél elkezdődik. Ellenőrizd: oszd meg az arányt eszköz, böngésző, kapcsolattípus és nap szerint; hasonlítsd össze a megjelenési időt a különböző oldalak között. Erősítsd meg, ha a hiány a lassú szegmensekre vagy egyetlen böngészőre koncentrálódik. Javítás: itt dőlnek el az átirányítási tesztek. Az átirányítás csak az egyik oldalhoz ad teljes navigációt, és mindenki, aki közben kilép, szelektív veszteség. Mindkét változatot jelenítsd meg szerveroldalon egyetlen URL-en, vagy fogadd el, hogy a oldalak nem összehasonlíthatók.
4. Feladat. Tünet: az arány az első órától kezdve eltolódva állandó faktorszámmal marad. Ellenőrzés: futtass egy A/A tesztet ugyanazon az allokáción, és ellenőrizd, hogy a hash salt nem lett-e újra felhasználva egy korábbi kísérletből ezen a populáción. Megerősítheted, ha az A/A is mutatja az egyensúlyhiányt. Javítás: rendelj hozzá új saltot, és indítsd újra. Az előző tesztből átvitel ennek a csendes változata, és csak az A/A teszi elérhetővé.
5. Interferencia. Tünet: az egyensúlyhiány néhány nagy aktivitású azonosítóra vagy belső IP-tartományokra koncentrálódik. Ellenőrizze: a kitettségek számának eloszlását felhasználónként, és az azonosítók eseménymennyiség szerinti felső 1%-át. Megerősíti, ha eltávolításuk visszaállítja az arányt. Javítás: a belső és a szkriptelt forgalmat dokumentált szabály alapján zárja ki, ne kézzel, hogy a kizárás legközelebb azonos legyen.

Egy kidolgozott végigjátszás

Az alábbi számok illusztrációk, nem kliensadatok. Egy fizetési teszt 61 480 kontroll és 58 520 variáns expozíciót jelent: 51.2/48.8 120 000 felhasználónál, chi-négyzet p érték 0.001 alatt. 1. ág: a trigger feltétel elhagyása 60 020 / 59 980 értéket ad vissza, tehát a hozzárendelés rendben van, és a veszteség az expozíció után történik. 2. ág: a folyamatban lévők száma megegyezik, a botok kizárásai mindkét ágban 0.9%-osak. 3. ág: az asztali számítógépen 50.1/49.9, a mobilon 52.4/47.6 az érték, és a variáns átlagos expozíciós ideje 900 ms-mal magasabb mobilon. Diagnózis: a variáns egy extra renderelést blokkoló kérést küld, a mobilfelhasználók megszakítják a tesztet a folyamat során, a túlélők jobb kapcsolattal rendelkeznek. A kijelzés érvénytelen. A javítás egy teljesítményjavítás, és a tesztet újrafuttatják, nem újraértelmezik.

Amit megmenthetsz, és amit nem

• Érvénytelenítse a kiolvasást amikor a veszteségmechanizmus hihetően korrelálhat a metrikával. Minden végrehajtási és hozzárendelési ok alapértelmezés szerint megfelel a kritériumoknak.
• Mentés szegmensenként csak akkor, ha az egyensúlyhiány egy olyan szegmensre korlátozódik, amelyet egyértelműen ki tudsz zárni, ezt a szegmenst még a metrika megtekintése előtt definiálták, és a fennmaradó rész átmegy a saját SRM-ellenőrzésén. Háromból kettő nem elég.
• Tartsd meg a tesztet amikor az ok pusztán elemzésben volt, és a javított eredménytábla sikeres volt. Ugyanazokat az adatokat olvasod újra fix szűrővel, nem horgászol.
• Akárhogy is, úgy is naplózd. Jegyezd fel a kísérlet ok-kategóriáját. A taxonómia kumulatív módon kifizetődő: ha az utolsó tíz tesztedből három a 3. ágban halt meg, akkor a probléma nem a kísérletezéssel, hanem a front-end teljesítéssel van. [SZÜKSÉGES BELSŐ ADATOK: az elmúlt 24 hónapban a SRM-ellenőrzésen megbukott, Switas által futtatott kísérletek aránya taxonómiai ágak szerint lebontva, a Microsoft 6%-os referenciaértékének a piacról származó adattal való helyettesítéséhez.]

Hol bukik ez meg

Ez a fa egy kétkarú tesztet feltételez fix, ismert allokációval és felhasználói szintű randomizálással. Nem terjed ki a többkarú tesztekre, amelyekhez a teljes chi-négyzet próbára van szükség az összes karon, plusz egy nyomon követést arról, hogy melyik pár hibás, vagy a rámpázott allokációkra, ahol a várható arány a teszt során változik, és egy kumulatív chi-négyzet próba egyértelműen rossz teszt. Nem vonatkozik klaszteres vagy geo-randomizált tesztekre, ahol az egység nem a felhasználó, és a fontos egyensúlyhiány a klaszterjellemzőkben rejlik. Semmit sem mond arról, hogy a metrika definíciója helyes-e. És nem segíthet, ha az expozíciók nincsenek naplózva, és a hozzárendelést egy metrika eseményből következtetjük ki, ami nem egy felosztási ellenőrzés, hanem egy találgatás.

FAQ

Az 51/49-es arány mindig problémát jelent? Teljes mértékben n-től függ. 5,000 expozíciónál ez közönséges zaj; 500 000-nél pedig szinte biztos hiba. Az arányt a kimutathatósági táblázat alapján ítéld meg, ne egy fix százalékos ökölszabály alapján.

Statisztikailag újrasúlyozhatom a karokat ahelyett, hogy újrafutnám? Nem. Az újrasúlyozás korrigálja a darabszámokat, és a kiválasztást érintetlenül hagyja. Az elvesztett felhasználók eltűntek, és nem a csoport véletlenszerű mintáját alkották.

Milyen gyakran kell megnéznem az SRM p-értékét? Egyszer, a végén, az összesített számlálásoknál, kivéve, ha a platformod szekvenciális eljárást futtat. A fix horizontú khi-négyzet napi lesése jelentősen növeli a téves riasztások számát.

Az SRM a védőkorlát metrikáit is érvényteleníti? Igen, ugyanazon okból. Ha a karok különböző populációkat tartanak, egy lapos korlát nem megbízhatóbb, mint egy mozgó elsődleges mérőszám.

Mi van, ha egy A/A teszt is eltérést mutat? Akkor a hiba a hozzárendelésben vagy a naplózási folyamatban van, nem a kezelésben. Javítsd ki, mielőtt bármi mást futtatnál, mert ez minden tesztet beszennyez az adott platformon.

Az átirányítási tesztek mindig SRM-et okoznak? Nem mindig, de olyan strukturális kockázatot hordoznak, amit más kialakítások nem, mivel a hozzáadott navigáció csak az egyik karban létezik. Ha mégis futtatnod kell egyet, ellenőrizd a kapcsolat sebessége és az eszköz szerinti arányt, mielőtt bármilyen mutatót leolvasnál.

Túl alacsony a forgalmam ahhoz, hogy a csekknek bármit is jelentsen. Akkor mi van? Figyelje a nyers napi expozíciós számokat az állandó eltérés szempontjából, futtasson rendszeres időközönkénti A/A-t a hozzárendelési rétegen, és előre regisztráljon egy hosszabb listát az épségellenőrzésekről. A statisztikai erőt folyamatként helyettesíti.

A botszűrést a feladat előtt vagy után kell elvégezni? Az expozíció naplózása után, az elemzés előtt, determinisztikus szabályok alkalmazásával, amelyeket mindkét karra azonosan alkalmazunk. Az SDK-n belüli heurisztikus szűrés az, ahogyan maga a szűrő eltér.

Végezzen ellenőrzést a saját kísérleti programján

Ha szeretnéd, hogy egy második szem is átlássa a jelenleg futtatott tesztek állapotát, vagy hogy áttekinthesd a hozzárendelési és naplózási réteget, amelytől mind függenek, akkor erre van szükségünk. CRO és kísérleti szolgáltatás igen.

Források

• Fabijan, Gupchup, Gupta, Omhover, Vermeer, Dmitriev, „Minta arány eltérésének diagnosztizálása online kontrollált kísérletekben: Taxonómia és ökölszabályok szakemberek számára”, KDD 2019
• AB Tasty dokumentáció, Mintavételi arány eltérés (szekvenciális S-SRM, küszöbérték 0.01)
• Statsig, „Rövid útmutató a mintavételi arányok eltéréséhez”, 2023. augusztus 31. (khi-négyzet, küszöbérték 0.01)
• GrowthBook dokumentáció, Kísérletezés (khi-négyzet, figyelmeztetés 0.001 alatt)
• Imperva, „Rossz botokról szóló jelentés 2026: Botok az ágenskorban”, 2026. április 29.
• Török Köztársaság Kereskedelmi Minisztériuma, 2025-ös e-kereskedelmi adatok, 2026. május 12.
• Google címkeplatform, hozzájárulási mód és tárolási viselkedés
• SRM Checker dokumentáció és GYIK, Lukas Vermeer