Çağdaş Polat · · 4 perc olvasás
Az A/B tesztelés a weboldalak és alkalmazások optimalizálásának alapvető módszere, amely lehetővé teszi a vállalkozások számára, hogy összehasonlítsák egy weboldal vagy alkalmazás két változatát, és megállapítsák, melyik teljesít jobban. Az A/B tesztelés kulcsmetrikáinak és fogalmainak ismerete elengedhetetlen az eredmények pontos értelmezéséhez. Ebben a cikkben megvizsgáljuk a legfontosabb A/B tesztelési metrikákat és fogalmakat, többek között a p-értéket, a konfidenciaintervallumot, az egyoldalú és kétoldalú teszteket, a z-pontszámot, a megfigyelt erőt (observed power), a variánst, a kontrollcsoportot, a növekményi bevételt, a konverziós rátát és a bayesi számítást.
Az A/B tesztelés legfontosabb metrikái és fogalmai
1. Variáns
A variáns az A/B tesztben vizsgált változatok egyikét jelöli. Jellemzően a meglévő változatot nevezik kontrollnak, az újat pedig variánsnak.
Példa: Egy céloldal A/B tesztjében az A változat (a jelenlegi oldal) a kontroll, a B változat (az új design) pedig a variáns.
2. Kontrollcsoport
A kontrollcsoport az A/B tesztben az eredeti változatnak (kontrollnak) kitett felhasználók csoportja. Alapvonalként szolgál a variáns teljesítményének összehasonlításához.
Példa: Ha 10 000 felhasználó látogat meg egy weboldalt, 5000 láthatja a kontrolloldalt (kontrollcsoport), és 5000 a variánsoldalt.

3. Növekményi bevétel
A növekményi bevétel az A/B teszt során végrehajtott változtatások eredményeként keletkező többletbevételt jelenti. Segít felmérni a teszt pénzügyi hatását.
Példa: Ha a variánsoldal 5 dollárral növeli az átlagos rendelési értéket, és 1000 további vásárlás történik, a növekményi bevétel 5000 dollár.

4. Konverziós ráta
A konverziós ráta azon felhasználók százalékos aránya, akik végrehajtanak egy kívánt műveletet, például vásárlást vagy hírlevél-feliratkozást, az összes látogatóhoz viszonyítva.
Példa: Ha 1000 látogatóból 100 vásárol, a konverziós ráta 10%.
5. P-érték
A p-érték azt a valószínűséget méri, hogy a két változat között megfigyelt különbség véletlenül jött létre. Az alacsonyabb p-érték (jellemzően 0,05 alatt) azt jelzi, hogy a megfigyelt különbség statisztikailag szignifikáns.
Példa: Tegyük fel, hogy egy A/B teszt egy céloldal két változatát hasonlítja össze. Az A változat konverziós rátája 5%, a B változaté 7%. Ha a p-érték 0,03, akkor 3% az esélye annak, hogy a megfigyelt különbség véletlenül alakult ki, ami a két változat közötti szignifikáns különbségre utal.

6. Konfidenciaintervallum
A konfidenciaintervallum olyan tartományt ad meg, amelyen belül a valódi hatásméret egy bizonyos megbízhatósági szinten (általában 95%) várhatóan elhelyezkedik. Segít felmérni a teszteredmények megbízhatóságát.
Példa: Ugyanebben az A/B tesztben a konverziós ráták különbségének 95%-os konfidenciaintervalluma [1%, 3%] lehet. Ez azt jelenti, hogy 95%-os biztonsággal állíthatjuk, hogy a konverziós ráták valódi különbsége 1% és 3% között van.
7. Egyoldalú és kétoldalú tesztek
Az egyoldalú teszt a hatás irányát vizsgálja (például azt, hogy a B változat jobb-e az A változatnál), míg a kétoldalú teszt azt, hogy van-e bármilyen különbség, bármelyik irányban.
Egyoldalú teszt példája: Azt vizsgálja, hogy a B változat konverziós rátája magasabb-e, mint az A változaté.
Kétoldalú teszt példája: Azt vizsgálja, hogy van-e bármilyen különbség az A és a B változat konverziós rátái között, iránytól függetlenül.

8. Z-pontszám
A z-pontszám azt méri, hogy egy elem hány szórásnyira van az átlagtól. Az A/B tesztelésben a két változat között megfigyelt különbség szignifikanciájának meghatározására használják. Gyakori megbízhatósági szintek és z-pontszám megfelelőik:
- 95%-os konfidenciaintervallum
- Kétoldalú z-pontszám: 1,96
- Egyoldalú z-pontszám: 1,65
- 99%-os konfidenciaintervallum
- Kétoldalú z-pontszám: 2,58
- Egyoldalú z-pontszám: 2,33
- 90%-os konfidenciaintervallum
- Kétoldalú z-pontszám: 1,64
- Egyoldalú z-pontszám: 1,28
Példa: Ha az A és a B változat konverziós rátái közötti különbség z-pontszáma 2,5, az azt jelzi, hogy a különbség 2,5 szórásnyira van az átlagtól, ami statisztikailag szignifikáns különbségre utal.
9. Megfigyelt erő (observed power)
A megfigyelt erő annak a valószínűségét jelenti, hogy a teszt helyesen elveti a nullhipotézist, amikor valódi hatás áll fenn. A magasabb megfigyelt erő nagyobb valószínűséget jelent a valódi különbség kimutatására.
Példa: Egy 0,8-as (80%) megfigyelt erejű A/B tesztben 80% az esélye annak, hogy a teszt kimutatja a változatok közötti valódi különbséget, ha az létezik.

10. Bayesi számítás
A bayesi számítás a Bayes-tétel alkalmazását jelenti arra, hogy egy hipotézis valószínűségi becslését újabb bizonyítékok birtokában frissítsük. Az A/B tesztelésben valószínűségi keretet biztosít az adatokon alapuló döntésekhez.
Példa: Bayesi módszerekkel meghatározható, hogy a megfigyelt adatok alapján mekkora a valószínűsége annak, hogy az egyik variáns jobb a kontrollnál, ahelyett, hogy kizárólag a hagyományos p-értékekre támaszkodnánk.

11. Frekvencialista statisztika
A frekvencialista statisztika a hipotézisvizsgálat hagyományos megközelítése, amely az adatok gyakoriságára vagy arányára összpontosít. Rögzített adathalmazokra támaszkodik, és nem építi be az előzetes ismereteket vagy valószínűségi eloszlásokat.
Példa: Az A/B tesztelés frekvencialista megközelítésében p-értékeket és konfidenciaintervallumokat használunk a tesztek eredményeinek szignifikanciájának meghatározásához, előzetes valószínűségek beépítése nélkül.
Gyakorlati példák
1. példa: E-mail kampány A/B tesztje
Egy vállalat két e-mail tárgysort tesztel annak megállapítására, melyik eredményez magasabb megnyitási arányt.
- A tárgysor: 25%-os megnyitási arány
- B tárgysor: 28%-os megnyitási arány
- P-érték: 0,02 (szignifikáns különbségre utal)
- Konfidenciaintervallum: [2%, 5%] (95%-os bizonyossággal a megnyitási arányok valódi különbsége 2% és 5% között van)
- Z-pontszám: 2,33 (statisztikailag szignifikáns különbségre utal)
- Megfigyelt erő: 0,85 (85% az esélye a valódi különbség kimutatásának)
2. példa: Weboldal céloldalának A/B tesztje
Egy webáruház két céloldal-designt tesztel annak megállapítására, melyik vezet több vásárláshoz.
- A design: 4%-os konverziós ráta
- B design: 5%-os konverziós ráta
- P-érték: 0,045 (szignifikáns különbségre utal)
- Konfidenciaintervallum: [0,5%, 1,5%] (95%-os bizonyossággal a konverziós ráták valódi különbsége 0,5% és 1,5% között van)
- Z-pontszám: 2,01 (statisztikailag szignifikáns különbségre utal)
- Megfigyelt erő: 0,78 (78% az esélye a valódi különbség kimutatásának)
Az A/B tesztelés hatékony eszköz a digitális élmények optimalizálásához, kulcsmetrikáinak és fogalmainak ismerete pedig elengedhetetlen a pontos értelmezéshez. A Switas tudja, hogyan kell hatékony A/B teszteket végezni, így a vállalkozások adatvezérelt döntésekkel javíthatják teljesítményüket, mi pedig megbízható és gyakorlatban hasznosítható felismeréseket nyújtunk, amelyek növekedést és sikert hajtanak.




