A legtöbb A/B teszt már azelőtt megbukik, hogy egyetlen látogató is látná. Nem azért, mert a hipotézis gyenge volt, vagy a felépítés rossz, hanem azért, mert senki sem vizsgálta meg, hogy a teszt egyáltalán képes-e választ adni.
A minta ismerős. Egy csapat kiad egy variánst, figyeli az irányítópanelt, és tíz nap múlva látja, hogy a kihívó 6%-kal emelkedik, 0.14-es p-értékkel. Valaki azt mondja: "pozitív trend van, adjunk neki még egy hetet". Eltelik egy újabb hét. Most 4%-os pluszban van, p = 0.09. A tesztet "irány szerinti győzelemnek" nevezik és kiadják, vagy nem meggyőző eredmény miatt leállítják. Akárhogy is, három hétnyi forgalom nem eredményezett semmilyen információt – és ezt az eredményt a bevezetés előtt teljes mértékben meghatározták négy szám, amelyeket senki sem ellenőrizett.
Ez a cikk erről a négy számról szól.
A négy bemenet
A minta mérete nem megítélés kérdése. Négy paramétertől függ, és minden komoly kísérleti program ezeket a bevezetés előtt, nem pedig utána határozza meg.
| Bemenet | Mit jelent | Tipikus érték |
|---|---|---|
| Alap konverziós arány | A tesztelt mutató aktuális aránya, a teszt által futtatott pontos oldalon és közönségen mérve. | Bármit is mondanak az adataid |
| Minimálisan kimutatható hatás (MDE) | A legkisebb változás, amelyet a tesztnek meg kell találnia | 5–20% relatív, a forgalomtól függően |
| Szignifikanciaszint (α) | A toleranciád egy olyan győztes kihirdetésével kapcsolatban, aki nem igazi | 0.05 |
| Statisztikai teljesítmény (1−β) | Annak a valószínűsége, hogy olyan hatást észlel, amely is igazi | 0.80 |
Adjuk meg egy számológépnek ezt a négyet, és az visszaadja a szükséges látogatók számát. változatonként. A ingyenes A/B teszt kalkulátor pontosan ezt teszi, és körülbelül harminc másodpercig tart – és ez a lényeg. Azért hagyják ki a csapatok ezt a lépést, mert nehéz. Hanem azért, mert a válasz gyakran nemkívánatos.
Az MDE az a bemenet, amit mindenki rosszul értelmez.
A minimálisan kimutatható hatás az a paraméter, amely a legnagyobb kárt okozza, mivel a neve valami olyasmit sugall, ami nem az.
MDE nem a várt emelkedés. Ez nem egy előrejelzés, nem cél vagy előrejelzés. Ez a kimutathatóság alsó határa: a legkisebb valódi hatás, amelyet a teszted 80% eséllyel kimutat. Ha az MDE-t 5%-ra állítod, azt mondod: "ha a valódi javulás kisebb, mint 5%, akkor elfogadom, hogy ez a teszt valószínűleg nem fogja kimutatni."
Két következmény következik, és mindkettő számít.
Egy teszt csak arra a kérdésre tud választ adni, amelyre méretezted. Ha 20%-os MDE-re méretezzük, és a valódi hatás 7%, a teszt nagy valószínűséggel a „nincs szignifikáns különbség” eredményt adja vissza. Ez nem bizonyíték arra, hogy a variáns semmit sem tesz. Azt bizonyítja, hogy a teszted nem tudott ilyen mértékű hatásokat látni – ez egy teljesen más állítás, amelyet a csapatok rutinszerűen úgy fordítanak le, hogy „teszteltük, nem működött”.
A relatív és az abszolút MDE nem felcserélhető. 2.5%-os alapérték 10%-os relatív Az MDE azt jelenti, hogy 2.75%-ra való elmozdulást észlelünk – egy abszolút 0.25 százalékpontos különbség. Írj be 10-et a számológép mezőjébe, abszolút százalékpontokat várva, és most 2.5%-ról 12.5%-ra történő elmozdulás észlelését kérted, az eszköz pedig vidáman közli, hogy 400 látogató elég lesz. Ellenőrizd, hogy a számológéped milyen konvenciót használ. Ez az egyetlen összeférhetetlenség több teszttervet érvénytelenít, mint bármely más hiba, amit látunk.
Egy működő példa
Egy e-kereskedelmi ügyfél egy új termékadatlap-elrendezést szeretne tesztelni. Az adott oldalon az alap konverziós arány 2.5%. 10%-os relatív javulást szeretnének elérni – ami 2.75%-ra való elmozdulást jelent.
α = 0.05 és 80%-os teljesítmény esetén a követelmény nagyjából 64 000 látogató változatonként, vagyis összesen körülbelül 128 000.
Az oldal havi 40 000 látogatót vonz. Tehát a tesztnek valamivel több mint három hónapra van szüksége ahhoz, hogy elérje a tervezett mintanagyságot.
Ez az a szám, ami megváltoztatja a beszélgetést. Nem azért, mert három hónap lehetetlen, hanem azért, mert ez most egy nyílt döntés – még a bevezetés előtt, látható kompromisszumokkal –, ahelyett, hogy a 21. napon lassú csalódásként fedeznénk fel.
Most változtasson meg egy bemenetet. Tartsa meg ugyanazt az alapértéket, de a méretet 20%-os relatív emelkedésre állítsa be 10% helyett:
| MDE (relatív) | Abszolút különbség | Látogatók száma változatonként | Idő 40 ezer/hónap áron |
|---|---|---|---|
| 5% | 0.125 pp | ~ 256,000 | ~ 13 hónap |
| 10% | 0.25 pp | ~ 64,000 | ~ 3.2 hónap |
| 20% | 0.5 pp | ~ 16,800 | ~ 25 nap |
| 30% | 0.75 pp | ~ 7,700 | ~ 12 nap |
Az MDE felezése nagyjából négyszeresére növeli a mintát. Ez a kapcsolat nem ezen számok furcsasága – a minta mérete a hatásméret négyzetének fordított arányában skálázódik. Ez a kísérlettervezés leghasznosabb eleme, amit érdemes elsajátítani, mert megmutatja, hol van a tőkeáttétel: A nagyobb változás sokkal olcsóbb, mint a nagyobb forgalom gyűjtése.
Egy félénk variáns, amely egy gombot két pixellel elmozdít, akkora mintavételt igényel, amit egyetlen közepes méretű webhely sem tud biztosítani. Egy variánsnak, amely átalakítja az oldalt, van esélye. Ezért akadoznak az óvatos tesztelési programok – nem azért, mert az ötletek rosszak, hanem azért, mert túl kicsik ahhoz, hogy mérni lehessen őket.
Hol van valójában a forgalom
A másik, a számtanban megbúvó tényező az alapérték. A mintaelemszámra vonatkozó követelmények meredeken csökkennek az alapérték emelkedésével.
Vegyük ugyanazt a 10%-os relatív MDE-t, de futtassuk le a fizetés szállítási lépésénél, ahol az érkezések 40%-a folytatja a fizetést:
- Alapérték 2.5% → ~64,000 változatonként
- Alapérték 40% → ~2,400 változatonként
Ugyanaz az MDE, ugyanaz a magabiztosság, ugyanaz a teljesítmény. Huszonhatszor kevesebb forgalom.
Természetesen az az oldal sokkal kevesebb látogatót lát, mint a PDP. De a követelmény gyorsabban csökken, mint a forgalom, ezért a mélytesztek gyakran az egyetlen tesztek, amelyeket egy közepes forgalmú webhely ténylegesen el tud végezni. Ha az egész webhelyre kiterjedő konverzió 2%, akkor a kezdőlap tesztelése egy évig tartó elkötelezettséget, a fizetési folyamat tesztelése pedig két hetet vesz igénybe.
Gyakorlati útmutató: amikor a kalkulátor lehetetlen számot ad vissza, mielőtt kiszélesítenéd az MDE-t, ellenőrizd, hogy van-e lejjebbi lépés a tölcsérben, ahol ugyanaz a hipotézis tesztelhető egy magasabb alapvonallal szemben.
Mi romlik el valójában, ha kihagyod
Kétféle meghibásodási mód létezik, és a második sokkal kevésbé ismert, mint az első.
Valódi fejlesztésekről maradsz le. Egy gyenge teszt „nincs szignifikáns különbség” eredményt ad egy valóban működő változtatás esetén. A csapat arra a következtetésre jut, hogy az ötlet rossz volt, és felhagy egy olyan irányvonallal, amely kifizetődő lett volna. Ez az a kudarc, amiről mindenki tud, és a kettő közül az olcsóbb.
A nyerteseid felfújtak. Ez az, ami csendben eltorzítja egy műsor számait. Egy alulteljesített tesztben az eredmény csak akkor lépheti át a szignifikanciaküszöböt, ha a véletlenszerű zaj elég messzire tolja azt – ami azt jelenti, hogy a hatások, amiket te do A jelentősnek nyilvánított tételek szisztematikusan nagyobbak az igazságnál. Minél alacsonyabb a hatvány, annál súlyosabb a túlzás.
Tehát egy alulteljesített program nem csak kihagy dolgokat. Egy tesztnaplót készít, amely tele van nyertesekkel, túlbecsült növekedésekkel, amelyeket aztán megszoroznak a forgalommal, így előrejelzik a soha be nem teljesülő bevételt. Hat hónappal később valaki megkérdezi, hogy miért nem jelenik meg a nyereségek összege a bevételi adatokban. Ez általában a válasz.
Ezt nem lehet elemzéssel korrigálni. Már a tervezés során meg kell előzni.
Változatonként, nem összesen
A számológép kimenete a követelmény minden karhoz a teszt. Két változat kétszeres számot jelent. Ez nyilvánvalónak hangzik, és folyamatosan félreértelmezik, általában az optimista irányba.
Több variáns kétszeresen bonyolítja a problémát. Egy A/B/C/D teszthez négyszeres mintára van szükség az egykarú ábra mintájához képest, és a A kontrollcsoporttal való három egyidejű összehasonlítás jóval a névleges 5%-nál is magasabbra növeli legalább egy álpozitív esély esélyét. Ennek korrigálása ismét magasabbra emeli a követelményt.
A legtöbb webhely esetében a gyakorlati szabály a következő: hacsak nincs felesleges forgalmad, futtass két kísérletet. Egy négyutas teszt egy olyan oldalon, amely alig tud kétutas tesztet lebonyolítani, nem négyszeres tanulási eredményt ad. Zérószoros tanulási eredményt ad, lassabban teljesítve.
Az időtartam különálló korlát
A minta méretének elérése szükséges. Nem elég.
Egy teszt, amely négy nap alatt eléri a kívánt értéket, négy nap viselkedését vizsgálta. A hétköznapi és hétvégi forgalom konverziója eltérő. A fizetésnapi ciklusok számítanak az e-kereskedelemben. A teszt közben induló fizetett kampányok megváltoztatják a közönség összetételét. Az új designok újdonsághatást is keltenek, amely azonban elmúlik – a korai interakció egy ismeretlen elrendezéssel nem stabil becslése az állandó teljesítménynek.
Legalább egy teljes hétig, de lehetőleg kettőig futtasd a programot, függetlenül attól, hogy mit enged meg a minta méretének kiszámítása. Az a hosszabb korlát – a minta mérete vagy az üzleti ciklus –, az irányadó. És előre állítsd be a befejező dátumot, ahelyett, hogy minden reggel ellenőriznéd és leállítanád, amikor a számok jónak tűnnek, ami egy különálló és nagyon hatékony módja a hamis nyertesek gyártásának.
Amikor a szám lehetetlen
Néha az őszinte válasz az, hogy a tesztet nem lehet lefuttatni. Ez hasznos információ, és öt ésszerű válasz létezik.
Tesztelj egy nagyobb változást. A kvadratikus kapcsolat miatt ez a legnagyobb tőkeáttételű opció, messze felülmúlva. A folyamatot kell újratervezni a gomb helyett.
Váltson magasabb alapértékre. Vásárlás helyett kosárba helyezés vagy pénztárba belépés esetén tesztelj. A hatás mértékét egy nagyobb bázishoz viszonyítva méred, és a mintavételi követelmény összeomlik. Fogadd el, hogy egy helyettesítő értéket mérsz, és külön ellenőrizd a bevételhez való kapcsolódást.
Teszteljen lejjebb a tölcsérben, mint fentebb.
Csoportosítsd a hasonló oldalakat. Egyetlen kategória helyett az összes kategóriaoldalon futtatott teszt megsokszorozza az elérhető forgalmat, feltéve, hogy az oldalak viselkedése elég hasonló ahhoz, hogy a csoportosítás védhető legyen.
Hagyd abba a tesztelést, és kezdj el kutatni. Ha egy weboldal nem képes kísérleteket futtatni, az A/B tesztelés nem a megfelelő eszköz. A használhatósági tesztelés, a munkamenet-rögzítések és a heurisztikus áttekintés gyorsabban és olcsóbban megtalálja a hibás dolgokat. A mennyiségi validáció később történik, amikor a változások elég nagyok ahhoz, hogy mérhetők legyenek. Nincs ebben semmi szégyen – a szigorúság érzetéért futtatni nem elég hatékony teszteket rosszabb, mint egyáltalán nem futtatni őket.
Repülés előtti ellenőrzőlista
Bármely tesztindítás előtt:
- [ ] Az alapérték a teszt tényleges oldalán és közönségén mérve, nem pedig az egész webhelyen
- [ ] Az MDE írásban kifejezetten kijelentve, relatív vagy abszolút meghatározással
- [ ] Kiszámított mintaelemszám változatonként és megszorozva a karok számával
- [ ] A szükséges időtartam összehasonlítása az elérhető forgalommal – és az indítás előtt elfogadott válasz
- [ ] Előre meghatározott befejezési dátum
- [ ] Legalább egy teljes üzleti ciklus, bármit is mond a mintaszámítás
- [ ] A randomizációs egység megegyezik az elemzési egységgel (látogatói szintű hozzárendelés, látogatói szintű metrikák)
- [ ] A forgalomfelosztás az első órákban ellenőrizve van – egy 50/50-es teszt 53/47-et ad, ami műszerproblémát jelent, és az eredmények használhatatlanok, amíg meg nem találják.
Számítsd ki a variánst, mielőtt elkészíted
Az egész számítás fél percet vesz igénybe, és befolyásolja, hogy mit építesz. Azok a csapatok, amelyek először méretre szabják a tesztjeiket, merészebb variánsokat terveznek, mert látják, hogy a félénkebbek mennyibe kerülnének.
Add meg az alap konverziós arányodat, a kívánt hatást, valamint a magabiztossági és teljesítménybeállításaidat. Ha a visszaadott szám nagyobb, mint a forgalmad, az még nem ok az indulásra – a teszt az, ami arra int, hogy változtass a terveden.
Gyakran Ismételt Kérdések
Hány látogatóra van szükségem egy A/B teszthez? Nincs univerzális szám. Ez az alap konverziós aránytól, a kimutatni kívánt legkisebb hatástól, valamint a kiválasztott szignifikancia- és teljesítményszintektől függ. Egy 2.5%-os konverziós aránnyal rendelkező oldalnak nagyjából 64 000 látogatóra van szüksége változatonként ahhoz, hogy 10%-os relatív javulást észleljen; egy 40%-os konverziós aránnyal rendelkező fizetési lépésnek körülbelül 2,400 látogatóra van szüksége ugyanehhez a relatív hatáshoz.
Mi a jó minimálisan kimutatható hatás? A legalacsonyabb érték, amelyet a forgalmad ésszerű időkereten belül el tud viselni. Kezdd a rendelkezésre álló forgalommal és egy két-négy hetes célzott időtartammal, majd oldd meg visszafelé a megfelelő MDE-t. Ha ez az MDE nagyobb, mint amit a tesztelt változás hihetően produkálna, tervezd át a tesztet.
Leállíthatom a tesztet idő előtt, ha egyértelműen nyerő? Egy szabványos fix horizontú teszttel nem. Az ismételt ellenőrzés és az első szignifikáns eredménynél való leállítás jóval 5% fölé duzzasztja a téves pozitív arányt. Ha szükséged van a korai leállítás lehetőségére, használj egy erre a célra kifejlesztett módszert – szekvenciális tesztelést vagy egy Bayes-keretrendszert –, és ezt a bevezetés előtt döntsd el, ne közben.
Mi van, ha a tesztem eléri a szignifikáns szintet, mielőtt elérném a minta méretét? Gyanakodva kezeld, és folytasd a tervezett befejezést. Egy alulteljesített ablak korai jelentősége pontosan az a minta, amely felfújt, reprodukálhatatlan nyerteseket eredményez.
Elég a 80%-os teljesítmény? Ez a hagyományos alapértelmezett érték, és egy elfogadható kiindulópont, de azt jelenti, hogy 20% esélyt kell elfogadni arra, hogy egy valódi hatást elszalasztunk. Nagy téttel bíró döntéseknél – például a pénztárgép újratervezése, árváltozás – a 90%-os teljesítmény megéri a plusz mintát. Alacsony költségű, visszafordítható változtatásoknál a 80% is megfelelő.
Nem biztos benne, hogy a tesztelési programod valós válaszokat ad?
Ha a tesztnapló tele van apró sikerekkel, amelyek soha nem jelennek meg a legfelső sorban, a probléma általában az elemzés előtt van. Áttekintjük a kísérleti programokat, és világosan megmondjuk, hol hibázik a terv.
