Ha minden reggel megnézel egy A/B tesztet, és leállítod, amikor az irányítópanel először zöldre vált, akkor a valódi téves pozitív arány nem 5%. Egy szimulációs tesztelés során Evan Miller minden megfigyelés után megmérte a szignifikanciát. 26.1%, több mint ötszöröse annak a szintnek, amelyen a legtöbb csapat úgy gondolja, hogy fut (Hogyan ne futtassunk A/B tesztet). Minden negyedik, megismétlődő „győzelem” nem statisztikai probléma. Ez egy ütemtervvel kapcsolatos probléma.
Ez az útmutató növekedési és CRO-csapatoknak szól, akik olyan e-kereskedelmi vagy utazási forgalomra végeznek teszteket, amelyek túl szezonálisak ahhoz, hogy négy hétig egy helyben üljenek. A végére képes leszel megtervezni a megjelenési ütemtervet a bevezetés előtt, leolvasni az egyes megjelenések küszöbértékeit az asztalról, méretezni a tesztet a tervezési költségekkel járó kis extra mintához, és felismerni, hogy a módszer hol nem érvényes.
Miért szakítja meg a bekukucskálás a fix horizontú tesztet?
Egy fix horizontú teszt a teljes 5%-os hibakeretét egyszer, egy előre meghatározott mintaelemszám mellett költi el. Minden további keresés egy újabb esély a határ átlépésére. A probléma nem az adatok vizsgálata, hanem egy olyan küszöbértékkel való keresés, amely egyetlen keresésre árazva van. Miller táblázata megadja a valódi 5%-os arány fenntartásához szükséges jelentett szignifikanciaszintet, ha ragaszkodunk egy meghatározott számú kereséshez:
| Megjelenések száma | A valódi 5%-hoz szükséges jelentett jelentőség |
|---|---|
| 1 | 2.9% |
| 2 | 2.2% |
| 3 | 1.8% |
| 5 | 1.4% |
| 10 | 1.0% |
Fordítva: ha tízszer lepillantasz, az, amit 1%-os szignifikanciaként olvasol le, valójában 5%. Nyers, de őszinte. Az alábbi módszerek hatékonyabban végzik el ugyanazt a munkát.
Három módszer a korai leállításra, és ezek költségei
| Megközelítés | Javítás indulás előtt | Költség kontra fix teszt | Használd, amikor |
|---|---|---|---|
| Fix horizont | Mintaelemszám, egy elemzési dátum | Nincs, de korai megállás nem engedélyezett | A forgalom stabil, az ablak rövid. |
| Csoportos szekvenciális (alfa kiadások) | Maximális mintavétel, a keresések száma és időzítése | A maximális mintavétel ~3%-kal (O'Brien-Fleming) ~20%-ra (Pocock) emelkedik, 4 megjelenés | A minta mérete becsülhető |
| Mindig érvényes (mSPRT) | Elvileg semmi | A három közül a legnagyobb teljesítményveszteség ugyanazon mintán | A minta mérete nem becsülhető meg |
A harmadik sor azért fontos, mert a legtöbb kereskedelmi platform ezt kínálja. Georgi Georgiev szimulációjában, csoportonként 7,045 fős fix maximális mintán, a fix horizontú teszt 83.3%-os teljesítményt ért el, a csoportszekvenciális AGILE teszt elérte a 80%-os célértéket, az SPRT körülbelül 73%-ot, a mindig érvényes következtetés pedig 62.4%-ot. A 80%-os teljesítmény eléréséhez a mindig érvényes következtetésre nagyjából 85%-kal több minta mint a csoportos szekvenciális tervezés (Analytics-Toolkit, 2022). A Spotify mérnökei egymástól függetlenül ugyanerre a következtetésre jutottak: a csoportos szekvenciális tesztek „szisztematikusan jobbak vagy összehasonlíthatóak a mindig érvényes megközelítésekkel”, ha a minta mérete becsülhető (Schultzberg és Ankargren, 2023).
Ezt érdemes kijavítani, mert a gyártói keretezés fordítva működik. Az Optimizely dokumentációja azt javasolja, hogy „hagyd ki a kísérlet előtti munkát, például a minta méretének kiszámítását a kísérlet elindítása előtt” (Optimizely támogatás). A hibakezelés valós, és az alapjául szolgáló kutatás megalapozott (Johari és mtsai. Mindig érvényes következtetés); amit a keretezés kihagy, az a teljesítményszámla. A Statsig, ugyanazt a metóduscsaládot megvalósítva, világosan kimondja: „Ha a hatásméret pontos mérésére van szüksége, várja meg a kísérlet előtti teljesítményszámítás által becsült teljes teljesítményt” (Statsig dokumentációk). A „nincs szükség mintanagyságra” kifejezést soha nem a hatékonyságra, hanem az érvényességre vonatkozó állításként értelmezzük.
A módszer, lépésről lépésre
Kidolgozott példa: egy ruházati kiskereskedő teszteli a pénztárt. Alapérték: munkamenet-konverzió 2.4%, célérték: +10% relatív hatás (2.64%), kétoldalas alfa 5%, teljesítmény 80%, nagyjából 5,000 munkamenet naponta.
1. Úgy méretezze be, mintha soha nem fogna lesni
A kétarányú méretezés ad 66 943 munkamenet karonként, összesen 133 886. Ez nem opcionális többletköltség csak azért, mert korán tervezed leállítani; ez az a horgony, amelyre az ütemterv épül.
2. Válaszd ki, hány megjelenést és mikor
Három-öt pillantás szinte az összes elérhető előnyt lefedi; ezen felül minden pillantás maximális mintavételi költséget eredményez csekély megtérülés mellett. A nézeteket a következőhöz igazítjuk: egész hetek, mivel a hét napjai szerinti összetétel a kiskereskedelmi forgalom jelentős eltolódásának forrása. Napi 5,000 munkamenet mellett négy heti keresés közel 140 000 munkamenetet eredményez, ami lefedi a tervezett maximumot.
3. Válasszon ki egy költési függvényt, és írja le a küszöbértékeket
Egy alfa költési függvény dönti el, hogy az egyes megjelenések az 5%-os költségvetésből mennyit fogyaszthatnak, a felhalmozott adatmennyiség függvényében (Penn State STAT 509). A két klasszikus választási lehetőség, négy egyenlő távolságra lévő megjelenésnél, kétoldalas alfa 0.05:
| néz | A tervezett minta aránya | O'Brien-Fleming: állj meg, ha p | Pocock: állj meg, ha p |
|---|---|---|---|
| 1 (a 1. hét vége) | 25% | 0.0001 | 0.0179 |
| 2 (a 2. hét vége) | 50% | 0.0055 | 0.0179 |
| 3 (a 3. hét vége) | 75% | 0.0216 | 0.0184 |
| 4 (a 4. hét vége) | 100% | 0.0411 | 0.0188 |
| Max. minta vs. fix teszt | + 3% | + 20% |
Ezeket a Lan-DeMets költési függvényekkel számították ki, és megfelelnek a közzétett jellemzésnek: az O'Brien-Fleming „koraiban nagyon szigorú küszöbértékeket alkalmaz, de a végső elemzési küszöbérték a tipikus p < 0.05 közelében van”, míg a Pocock közel állandó küszöbértéket tart fenn p < 0.016 körül (Ciolino, Kaizer és Bonner, 2023).
Az O'Brien-Fleming olcsó biztosítás: szinte soha nem aktiválódik az 1. pillantásnál, körülbelül 3%-kal többe kerül a maximális mintához, és a végső küszöbértéke alig szűkebb, mint 0.05. A Pocock sokkal gyakrabban áll le korán, de 20%-kal több forgalmat számol fel. A bevételhez kötött mutatók esetében az O'Brien-Fleming az alapértelmezett.
4. Írd be a szabályt a ticketbe az indítás előtt
Egy mondat, amely mindenki számára látható, aki le tudja állítani a tesztet: „Az 1–4. hét végét vizsgáljuk, csak akkor hirdetünk győztest, ha az [elsődleges metrika] kétoldali p-értéke az adott küszöbérték alatt van, egyébként pedig a 4. hétig futunk.” Egy olyan szabály, ami valakinek a fejében él, nem szabály.
5. Húzz határt a hiábavalóság határán is
A legtöbb csapat csak hatékonysági határokat alkalmaz, így a győzteseket korán megállítják, a veszteseket pedig teljes hosszban hagyják futni, ami fordított a lehetőségköltség szempontjából. Egy nem kötelező érvényű hiábavalósági határ – amely akkor áll le, amikor egy érdemi győzelem valószínűtlenné válik – adja a naptári megtakarítás nagy részét. Négy O'Brien-Fleming-vizsgálattal a valódi hatás melletti várható minta a fix horizontú követelmény nagyjából 83%-ára esik vissza.
6. Ne a korai pontbecslést adjuk meg hatásméretként
Egy korán leállt teszt leállt mert A megfigyelt emelőerő szokatlanul nagy volt, így a becslést a kivitelezés felfelé torzítja. Ezt használja a hajóval kapcsolatos döntéshez, ne a bevételi előrejelzéshez. Statisztika: „A korai döntések gyakran alacsony teljesítményű emelőerő-becsléseket eredményeznek nagy bizonytalansággal.”
Indítás előtti ellenőrzőlista
- Egy elsődleges mutató, amelyet írásban deklarálnak a bevezetés előtt
- Maximális mintavétel és naptári befejezési dátum rögzítve
- Számában és időzítésében fixnek tűnik, egész hetekhez igazítva
- Kiválasztott költési funkció, a jegybe beírt küszöbértékek
- A hiábavalósági szabály meghatározása, nem csak a hatékonysági szabály
- Az SRM minden pillantásnál ellenőrizve, előtt a p-értéket leolvassák
- A korlát mérőszámait külön figyelik, a megállási szabályon kívül.
- Mindenki, aki meg tudja állítani a tesztet, tudja, hogy a nem tervezett pillantások tilosak.
Kalibrálás Törökországra és a régióra
A Kereskedelmi Minisztérium 2026 májusában bemutatott e-kereskedelmi kilátásokról szóló jelentése szerint Törökország 2025-ben 5.94 milliárd e-kereskedelmi tranzakciót regisztrált, 4.57 billió líra értékben.Napi Hír, 2026. május 12.). Ez egy nagy piac, amely többnyire közepes méretű üzletekből áll, így a négyhetes ablakok megszokottak – elég hosszúak ahhoz, hogy ütközzenek egy kampánysal.
A helyiek által Efsane Cuma néven ismert november végi leárazási időszak és az azt megelőző 11.11-i esemény változást hozott akik van az oldalon, nem csupán a számuk. A kedvezményvezérelt látogatók más logika alapján konvertálnak, így egy kampányhatárt átlépő ütemterv nem egy populációt mér. A szabályunk: a kampány előtt fejezd be, vagy utána kezdd. Ha egy tesztnek végig kell futnia egyen, akkor a kampányhetet külön rétegként kezeld, és ne hozz leállítási döntést azon belül.
Egy második kiigazítás az egész EU-ra és a KVKK-val összhangban lévő beleegyezési bannerekre vonatkozik Törökországban: ha az elemzések beleegyezéshez kötöttek, a forgalom egy része észrevétlen marad. Méret és ütemezés bekapcsolva megfigyelt fotózások, vagy minden megjelenés később érkezik, mint ahogy a naptár mondja.
[SZÜKSÉGES BELSŐ ADATOK: a Switas e-kereskedelmi ügyfelei körében mért napi munkamenetek mediánja és a teszt tényleges időtartamának mediánja, hogy a szemléltető 5,000 munkamenet/nap értéket egy tényleges eloszlással helyettesítsük.]
Hol bukik ez meg
- Kompozícióváltás. A szekvenciális módszerek feltételezik, hogy a bejövő adatfolyam idővel felcserélhető. Egy kampány vagy fizetett média változása ezt megszakítja, és a korai zárolásokat a szokatlan héten állítják le.
- Újdonság és elsőbbség. Az 1. heti leolvasás a reakciót méri, nem a beállt viselkedést. Ha a változás látható a visszatérő vásárlók számára, ne szabj hatékonysági határt az 1. vizsgálathoz.
- Nehézfarkú metrikák. A munkamenetenkénti bevételt a ritka nagy megrendelések uralják, és a normál közelítések megbízhatatlanok kis időközi minták esetén. Állj meg a konverziós aránynál, és olvasd el a bevétel mellett, vagy winsorise-t, és mondd el ezt.
- Többszörös mutatók. Ezek a határok szabályozzák a hibát egy metrika. Öt metrika öt leállítási szabállyal és további korrekció nélkül visszakerülsz oda, ahol elkezdted.
- Törött műszerek. Egy szekvenciális teszt sikeresen átlépi a sérült adatok határait. Nem helyettesíti az SRM ellenőrzést.
- Nem szerepel itt: Bayes-féle leállítási szabályok, többkarú banditák és varianciacsökkentés, mint például a CUPED. Mindegyik kölcsönhatásban áll a korai leállítással olyan módon, ami külön kezelést igényel.
FAQ
Jelöld meg ezt a részt a FAQPage sémával.
Használhatok szigorúbb p-értéket a költési függvény helyett?
Igen, ha előre meghatározod a keresések számát, és csak néhány van belőlük. Miller táblázata megadja a küszöbértéket. Ez konzervatívabb, mint az alfa-költés, így több mintát fizetsz a szükségesnél, de nincs szükség új eszközökre.
A szekvenciális tesztelés azt jelenti, hogy kihagyhatom a minta méretének kiszámítását?
Nem. Az érvényesség megmarad a minta méretének becslése nélkül; a teljesítmény nem. Mind a Georgiev, mind a Spotify szimuláció ugyanazt a mintát mutatja: amikor meg lehet becsülni a minta méretét, a csoportos szekvenciális elrendezés dominál.
Mi van, ha inkább visszaesést várok, mint győzelmet?
Ez védőkorlát-monitorozás, nem hipotézisvizsgálat. A biztonsági és hibametrikákat folyamatosan figyeljük egy különálló, lazább szabály alatt, és az elsődleges leállító szabályt hagyjuk érintetlenül. Egy felhasználókat károsító variáns elpusztítása nem igényel ceremóniát.
A Bayes-tesztelés immunis a kukucskálásra?
Nem. Ha egy utólagos valószínűség átlép egy küszöbértéket, akkor a döntési szabály működési jellemzőit megállítjuk, kivéve, ha a szabályt opcionális leállításra tervezték. Az előzetes valószínűség a probléma alakját változtatja meg, nem a létezését.
O'Brien-Fleming vagy Pocock?
O'Brien-Fleming szinte minden kereskedelmi esetben. Csak akkor válaszd a Pocockot, ha egy korai válasznak konkrét értéke van, nagyjából 20%-kal több mintát tudsz befogadni, és valaki készen áll az 1. heti eredmény szállítására.
Hozzáadhatok egy olyan kinézetet, amit nem terveztem?
Egy alfa költési függvénnyel igen, feltéve, hogy a megtekintésről szóló döntést nem a megtekinteni kívánt adatok vezérlik. Ha azért adunk hozzá egy megtekintésről szóló döntést, mert az irányítópult "alaposan megvizsgálta", az adatfüggő időzítés, és érvényteleníti a garanciát.
Dolgozz velünk ezen
Ha kísérleteket futtatsz egy török vagy regionális e-kereskedelmi platformon, és a leállítási szabály ma az, hogy „minden reggel ellenőrizd”, akkor újraépítjük veled: méretezés, keresési ütemterv, határok, hiábavalósági szabály és SRM-kapu, beírva a kísérleti sablonodba, így a következő teszt örökli azt. Beszéljen Switasszal a kísérleti programjáról.
Források
- Evan Miller, Hogyan ne futtassunk A/B tesztet
- Johari, Pekelis, Walsh és Koomen, Mindig érvényes következtetés: Az A/B tesztek folyamatos monitorozása; megjelent a következő címen: Műveleti kutatások 70(3), 2022
- Georgi Georgiev, A szekvenciális tesztek statisztikai erejének összehasonlítása, Analytics-Toolkit, 2022. november (frissítve: 2023. március)
- Schultzberg és Ankargren, Szekvenciális tesztelési keretrendszer kiválasztása, Spotify Engineering, 2023. március
- Optimalizálva, Statisztikai elemzési módszerek áttekintése
- Statisztika, Frekventista szekvenciális tesztelés
- Ciolino, Kaizer és Bonner, Útmutató a klinikai vizsgálatokban alkalmazott időközi elemzési módszerekhez, J Clin Transl Sci 7(1):e124, 2023
- Penn State STAT 509, Alfa Költési Funkció Megközelítés
- rpact, Csoportok szekvenciális határainak meghatározása
- Törökország e-kereskedelmi volumene több mint 52%-kal nőtt 2025-ben, a Daily Sabah 2026. május 12-i száma, a Kereskedelmi Minisztérium e-kereskedelmi kilátásokról szóló jelentésének beszámolója szerint







