Szekvenciális tesztelés

A szekvenciális tesztelés olyan kísérlettervek családja, amelyek lehetővé teszik az eredmények folyamatos vagy tervezett időközönkénti kiértékelését, miközben szabályozzák a hibaszázalékot, amelyet az ismételt kiértékelés egyébként megnövelne. Egy hagyományos fix horizontú tesztben az elemzés csak egyetlen, előre kiszámított mintaelemszám esetén érvényes; minden további keresés növeli a téves pozitív eredmény esélyét. A szekvenciális módszerek a döntési határt úgy módosítják, hogy figyelembe vegyék azt a tényt, hogy több keresés is történik, így jogossá válik a teszt korai leállítása, amikor a bizonyítékok elég erősek.

A kereskedelmi vonzerő nyilvánvaló. Egy fix horizontú tesztnek, amely négy hétnyi forgalmat igényel, négy hétig kell futnia, még akkor is, ha a variáns az első héten súlyosan károsítja a bevételt, kivéve, ha a csapat hajlandó feladni a terv statisztikai érvényességét. A szekvenciális megközelítések lehetővé teszik egy valóban katasztrofális variáns gyors leállítását, és egy valóban nagy nyertes változat korai leszállítását, ami egyrészt csökkenti a tesztelés költségeit, másrészt növeli az egy webhelyen évente futtatható kísérletek számát. Azoknál a vállalkozásoknál, ahol egy rossz variáns valódi bevételi kockázatot hordoz, ez nem finomítás, hanem követelmény.

Több technika is ebbe a kategóriába tartozik. A csoportos szekvenciális tervek kis számú közbenső elemzést határoznak meg, mindegyiknél módosított küszöbértékekkel. Az alfa-költési függvények elosztják a teljes megengedett téves pozitív arányt ezek között a megjelenések között. A mindig érvényes következtetési és szekvenciális valószínűségi arány tesztek folyamatos monitorozást tesznek lehetővé olyan határokkal, amelyek az adatok gyűlésével szűkülnek. A bayesi megközelítések konstrukciójuk révén megkerülik a fix horizont problémáját, bár saját megfontolásokkal rendelkeznek az elfogultság megállításával kapcsolatban. A legtöbb kereskedelmi tesztelési platform ma már ezek egyikét valósítja meg a felszín alatt, ezért a jelentett konfidenciaértékeik már nem úgy viselkednek, mint a naiv ismételt szignifikanciatesztelés.

A fontos kikötés, hogy a szekvenciális érvényesség nem szünteti meg a korai leállítás minden kockázatát. Az öt nap után leállított teszt továbbra is olyan teszt, amely nem látott teljes heti ciklust, nem gyűjtött be visszatérő látogatókat, és nem élte túl azt az újdonsághatást, amelyet egy látható tervezési változás a megjelenés első napjaiban kivált. A statisztika érvényes lehet, miközben az üzleti következtetés továbbra is téves, mivel a minta nem reprezentatív a normál működési körülményekre, és nem is túl kicsi. A minimális futási időre vonatkozó szabályok, jellemzően legalább egy, de lehetőleg két teljes üzleti ciklus, a szekvenciális határok mellett helyezkednek el, ahelyett, hogy azok helyettesítenék őket.

A korai leállítás szintén torzítja a becsült hatásméretet. Azok a tesztek, amelyek egy határ átlépésekor leállnak, ezt azokban a pillanatokban teszik, amikor a véletlenszerű változás a variánsnak kedvez, így a leállítási ponton megfigyelt emelkedés hajlamos túlbecsülni a valódi hatást. Ahol a döntés egyszerűen arról szól, hogy szállítsanak-e, ez ritkán számít. Ahol a szám a bevételi előrejelzésbe kerül, ott nagyon számít, és a jelentett értéket diszkontálni vagy újrabecsülni kell, ahelyett, hogy közvetlenül idéznénk.

Mivel a megvalósítások eltérőek, érdemes megállapítani, hogy egy tesztelési platform valójában mit csinál, mielőtt az ítéleteire hagyatkoznánk. A gyártói dokumentációnak tartalmaznia kell, hogy a jelentett megbízhatóság érvényes-e folyamatos monitorozás mellett, melyik módszert használják, és hogy a jelentett hatásméret korrigálva van-e a korai leállítás miatt. Egyes platformok mindig érvényes következtetést alkalmaznak, mások csoportos szekvenciális határokat alkalmaznak fix ellenőrzőpontokon, és vannak, akik továbbra is naiv, fix horizontú statisztikákat jelentenek egy élő irányítópulton, ami a gyakorlatban a legtöbb téves pozitív eredményt produkálja. A különbségtétel nem elméleti: ugyanazok az adatok az egyik módszerrel megbízható ítéletet eredményezhetnek, a másikkal pedig nem, és a platformot váltott csapatok néha rájönnek, hogy a korábbi győzelmeik nagy részét nem hirdették volna ki az új eszköz módszertanával.

Egy nagy kadenciájú programot futtató tanácsadó cég számára a szekvenciális tervek teszik az agresszív kísérleti sebességet összeegyeztethetővé a statisztikai fegyelemmel. konverziós arány optimalizálása A szabályokat általában előre dokumentálják: melyik határvonal-módszer érvényes, a minimális futási idő a határtól függetlenül, a vészleállítást kiváltó korlátmérőszámok, és kinek van joga azt elrendelni. Ez az irányítás különösen fontos a következőkben: e-commerce olyan környezetekben, ahol egy csúcsidőszakban a pénztárnál kárt okozó variáns három nap alatt többe kerülhet, mint amennyibe a teljes tesztelési program egy negyedév alatt bekerül.