Bayes-féle A/B tesztelés

A Bayes-féle A/B tesztelés a kísérletelemzés egy olyan megközelítése, amely a megfigyelt adatok és a korábban szolgáltatott előzetes információk alapján annak valószínűségét méri, hogy az egyik változat jobb, mint a másik. Ez ellentétben áll a frequentista megközelítéssel, amely azt méri, hogy mennyire lennének meglepőek az adatok, ha a változatnak nem lenne hatása. A gyakorlati különbség a kimenetben rejlik: a Bayes-féle módszerek olyan állításokat produkálnak, mint például: „93 százalékos a valószínűsége annak, hogy a B változat jobban teljesít, mint a kontroll, és a várható veszteség 0.2 százalék, ha rosszul választunk”, amelyek közvetlenül az üzleti döntésekre vonatkoznak.

A módszer úgy működik, hogy egy előzetes eloszlást – amely a teszt előtti valószínűsíthető hatással kapcsolatos hiedelmeket képviseli – kombinál a megfigyelt adatokkal, így létrehozva a valószínűsíthető hatások utólagos eloszlását. Ez az utólagos eloszlás ezután bármilyen módon lekérdezhető a döntéshez: bármilyen javulás valószínűsége, egy kereskedelmileg jelentős küszöbérték feletti javulás valószínűsége, vagy a rossz döntés várható költsége. Számos széles körben használt tesztelési platform pontosan emiatt az okból alkalmazza a Bayes-jelentéskészítést alapértelmezettként, mivel a kimenetek kevesebb fordítást igényelnek, mielőtt az érdekelt felek cselekedhetnének.

A leggyakrabban említett előny, hogy a Bayes-féle eredmények robusztusabbak a folyamatos monitorozással szemben. Mivel az utólagos becslés az adatok beérkezésekor frissül, és nem fix minta feltételezésén alapul, az eredmények ismételt vizsgálata nem növeli a hibaszázalékot úgy, mint a naiv frequencysta p-értékek esetében. Ez valóban hasznos kereskedelmi környezetben, ahol az érdekelt felek az elemzési protokolltól függetlenül ellenőrzik az irányítópultokat. Ez azonban nem jogosít fel arra, hogy leállítsuk a tesztet abban a pillanatban, amikor egy szám jónak tűnik: a figyelt metrika alapján történő leállítás továbbra is felfelé torzítja a becsült hatásméretet, és a rövid tesztek továbbra is kihagyják a heti ciklusokat és az újdonsághatásokat, függetlenül a statisztikai keretrendszertől.

Az előzetes érték egyben a módszer erőssége és egyben a leggyakoribb vitaforrása is. Egy gyengén informatív előzetes érték, amelyet a legtöbb platform alapértelmezés szerint használ, kevés hatással van az eredményre, miután elegendő adat halmozódott fel. Egy erős előzetes érték, amely egy szervezet saját korábbi kísérleteiből származik, jelentősen javíthatja a becsléseket, különösen az alacsony forgalmú tesztek esetében, azáltal, hogy a valószínűtlenül nagy megfigyelt hatásokat visszahúzza a tapasztalatok szerint reális tartományba. De egy kívánt következtetés alátámasztására kiválasztott előzetes érték védhetetlen, ezért az előzetes értékeket a teszt elindítása előtt kell dokumentálni és egyeztetni, ahelyett, hogy az elemzés során választanánk ki őket.

Egyik keretrendszer sem ment meg egy rosszul megtervezett kísérletet. Egy hibás randomizációval, követési hibával, mintavételi arány eltéréssel vagy az üzleti értéket nem tükröző mutatóval végzett teszt Bayes-analízise magabiztos és pontos választ ad a rossz kérdésre. A keretrendszerek közötti választás jelentéstételi és döntéselméleti döntés; az alatta lévő kísérletterv minősége határozza meg, hogy a válasz ér-e valamit.

A keretrendszer kereskedelmi környezetben valóban hasznos kimenete a várható veszteség, amelyet néha kockázatnak is neveznek. Ahelyett, hogy azt kérdezné, hogy egy változat jobb-e, azt kérdezi, hogy átlagosan mennyit kellene feladni, ha a változatot választanánk, ha az rosszabbnak bizonyulna. Egy döntési szabály, amelyet a várható veszteség egy olyan küszöbérték alá esésekor való elszállításként fejezünk ki, amelyet az üzletileg elhanyagolhatónak tekintő küszöbérték alá esik, közvetlenül leképezi a kereskedelmi döntések tényleges meghozatalát, mivel senkinek sincs szüksége bizonyosságra egy olyan változással kapcsolatban, amelynek hátránya elhanyagolható. Kezeli azt a gyakori helyzetet is, amikor két változat szinte azonosan teljesít: annak valószínűsége, hogy az egyik jobb, a végtelenségig ötven százalék körül mozoghat, míg a várható veszteség mindkét irányban minimális, ami helyesen jelzi, hogy a választás nem számít, és a csapatnak abba kell hagynia a forgalom ráfordítását.

Egy projekten belül a keretrendszer kiválasztását általában korán eldöntik, majd magára hagyják, mivel a program közbeni váltás összehasonlíthatatlanná teszi a korábbi eredményeket. CRO szolgáltatás A csapat jellemzően szabványosítja azt a megközelítést, amelyet az ügyfél meglévő platformja és analitikai kultúrája támogat, előre meghatározza a döntési küszöbértékeket, és a statisztikai filozófia helyett a kísérlettervezésre és a priorizálásra összpontosít. Ahol egy szervezet saját mérési rendszert épít, a választás általában a tágabb jelentési architektúra mellett történik, amelyet a fejlesztő kezel. adatelemzés függvény, így a kísérleti kimenetek és az üzleti intelligencia egységes nyelvet használ a bizonytalanság kezelésére.