Mintavételi arány eltérése (SRM)

A mintavételi arány eltérése, amelyet általában SRM-nek rövidítenek, akkor fordul elő, amikor a forgalom tényleges megoszlása ​​a kísérleti variánsok között jobban eltér a tervezetttől, mint amit a véletlenszerű variáció meg tudna magyarázni. Egy egyenletes 50/50 arányú megosztásra konfigurált teszt, amely 51 200 látogatót eredményez a kontrollcsoportban és 48 800-at a variánsban, nem egyszerűen peches volt; ekkora rés statisztikailag valószínűtlen helyes randomizálás mellett. Az SRM-et khi-négyzet próbával észlelik a várt elosztással szemben, és minden olyan tesztet, amely ezt mutatja, érvénytelennek kell tekinteni, amíg az okot meg nem találják.

Az SRM azért fontos, mert azt jelzi, hogy a két csoport már nem összehasonlítható. Egy kontrollált kísérlet teljes logikája a véletlenszerű hozzárendelésen alapul, amely olyan csoportokat hoz létre, amelyek csak az alkalmazott kezelésben különböznek. Ha valamilyen szisztematikus folyamat bizonyos látogatókat egy csoportba terel, vagy látogatókat vesz ki az egyik csoportból, mielőtt megszámolnák őket, akkor a konverzióban megfigyelt bármilyen különbség ezt a folyamatot tükrözheti, nem pedig a tesztelt változást. A jelentett eredmény nemcsak pontatlan; valami mást mér, mint amit a csapat szerint mér.

Az okok szinte mindig technikaiak, nem pedig statisztikaiak. A lassan betöltődő variánskód miatt a látogatók a számlálás előtt távoznak, szisztematikusan eltávolítva a legkevésbé türelmes felhasználókat az egyik csoportból. Az átirányításon alapuló tesztek forgalmat veszítenek az átirányítás során, és a veszteség nem oszlik el egyenletesen az eszközök vagy a csatlakozási sebességek között. A botszűrés következetlen alkalmazása a variánsok között, az egyik verziót aránytalanul kiszolgáló rétegek gyorsítótárazása, az egyik variánsban a renderelés befejezése előtt, de a másikban a renderelés befejezése után aktiválódó hívások nyomon követése, valamint az egyidejűleg futó kísérletek közötti interakciók mind SRM-et eredményeznek. Ezek mindegyike egy valós hiba, amely torzítaná az eredményeket, függetlenül attól, hogy bárki ellenőrizte-e az arányt.

A megfelelő válasz a teszt leállítása, az ok diagnosztizálása, javítása és a nulláról való újraindítás. Az SRM által érintett teszt megmentésére tett kísérletek a csoportok újrasúlyozásával vagy egy részhalmaz elemzésével ritkán védhetők, mivel a hiányzó vagy rosszul elosztott forgalom nem véletlenszerűen hiányzik. Erős az ösztön egy olyan teszt megmentésére, amely már három hét forgalmát felemésztette, különösen akkor, ha úgy tűnik, hogy győzelmet mutat, de egy hibás randomizálásból származó eredménynek nincs bizonyító ereje, és az egyik alapján történő szállítás rosszabb, mint a tesztelés teljes mellőzése.

Mivel az SRM láthatatlan, hacsak valaki nem keresi, az ellenőrzést automatizálni kell. A kiforrott programok minden kísérleten SRM tesztet futtatnak a standard elemzési folyamat részeként, megjelölnek minden szigorú küszöbértéket meghaladó eltérést, és megtagadják az eredmények közzétételét, amíg a jelölést nem törlik. A múltbeli kísérletek retrospektív auditjai gyakran a korábbi tesztek jelentős részét érintettnek találják, ami az egyik legkellemetlenebb felfedezés, amit egy tesztelési program tehet, és az egyik legértékesebb is, mert megmagyarázza, hogy bizonyos múltbeli sikerek miért nem materializálódtak az üzleti eredményekben.

Az eltérés kivizsgálása inkább szisztematikus folyamat, mintsem vadászat. Az első lépés annak ellenőrzése, hogy az egyensúlyhiány a tesztelőeszköz saját hozzárendelési rekordjaiban vagy csak az analitikai platform rekordjaiban van-e jelen, ami megkülönbözteti a véletlenszerűségi problémát a követési problémától. A második az arány eszköz, böngésző, földrajz és forgalmi forrás szerinti szegmentálása, mivel az ok gyakran aránytalanul egy csoportot érint, és a legnagyobb eltérést mutató szegmens általában közvetlenül a mechanizmusra mutat. A harmadik az időzítés ellenőrzése, mivel az eredetileg helyes, majd később eltolódott arány gyakran telepítésre, gyorsítótárazási változásra vagy egy harmadik féltől származó, a teszt közben bevezetett szkriptre utal. Minden egyes vizsgálat dokumentálása egy katalógust épít fel az ismétlődő okokról, és a legtöbb szervezet ugyanazt a két vagy három mechanizmust találja felelősnek az incidensek többségéért.

Az automatikus SRM-ellenőrzés bevezetése általában az egyik legkorábbi technikai ajánlás egy CRO szolgáltatás elköteleződést, mivel nagyon kevésbe kerül a megvalósítása, és azonnal növeli a program által utána előállított dolgok megbízhatóságát. Ahol az SRM variánsrenderelési késésre vagy átirányítási késleltetésre vezethető vissza, a megoldás a következő: webes teljesítmény inkább a tesztelési eszközzel, mint magával a kísérlettel, és az alapvető sebességprobléma megoldása általában javítja mind a kísérletek érvényességét, mind az általuk mért konverziós arányt.