A/B-testaus on tärkeä menetelmä verkkosivustojen ja sovellusten optimoinnissa. Sen avulla yritykset voivat verrata kahta verkkosivun tai sovelluksen versiota määrittääkseen, kumpi toimii paremmin. A/B-testaukseen liittyvien keskeisten mittareiden ja terminologian ymmärtäminen on olennaista tulosten tarkan tulkinnan kannalta. Tässä artikkelissa tarkastelemme tärkeitä A/B-testauksen mittareita ja terminologiaa, mukaan lukien p-arvo, luottamusväli, yksipuoliset ja kaksipuoliset testit, z-pisteet, havaittu teho, variantti, kontrolliryhmä, lisätulo, tulosprosentti ja Bayesin laskelma.
Tärkeimmät A/B-testausmittarit ja terminologia
1. Variantti
Variantti viittaa yhteen A/B-testissä testattavasta versiosta. Tyypillisesti olemassa olevaa versiota kutsutaan ohjaukseksi, ja uutta versiota kutsutaan muunnelmaksi.
Esimerkiksi: Aloitussivun A/B-testissä versio A (nykyinen sivu) on ohjausobjekti ja versio B (uusi ulkoasu) on muunnelma.
2. Ohjausryhmä
Vertailuryhmä on ryhmä käyttäjiä, jotka altistuvat alkuperäiselle versiolle (kontrollille) A/B-testissä. Se toimii lähtökohtana muunnelman suorituskyvyn vertailussa.
Esimerkiksi: Jos 10,000 5,000 käyttäjää vierailee verkkosivustolla, 5,000 XNUMX saattaa nähdä vertailusivun (vertailuryhmän) ja XNUMX XNUMX muunnelmasivun.
3. Lisätulot
Lisätulolla tarkoitetaan lisätuloa, joka syntyy A/B-testin aikana tehtyjen muutosten seurauksena. Se auttaa arvioimaan testin taloudellisia vaikutuksia.
Esimerkiksi: Jos muunnelmasivu lisää keskimääräistä tilauksen arvoa 5 dollarilla ja tehdään 1,000 5,000 lisäostoa, lisätulo on XNUMX XNUMX dollaria.
4. Muuntokurssi
Tulosprosentti on niiden käyttäjien prosenttiosuus, jotka suorittavat halutun toiminnon, kuten ostavat tai tilaavat uutiskirjeen, vierailijoiden kokonaismäärästä.
Esimerkiksi: Jos 100 kävijää 1,000:sta tekee ostoksen, tulosprosentti on 10 %.
5. P-arvo
P-arvo mittaa todennäköisyyttä, että havaittu ero kahden muunnelman välillä tapahtui sattumalta. Alempi p-arvo (tyypillisesti alle 0.05) osoittaa, että havaittu ero on tilastollisesti merkitsevä.
Esimerkiksi: Oletetaan, että A/B-testi vertaa aloitussivun kahta versiota. Version A muuntoprosentti on 5 % ja version B muuntoprosentti on 7 %. Jos p-arvo on 0.03, on 3 % todennäköisyys, että havaittu ero tapahtui sattumalta, mikä osoittaa merkittävän eron näiden kahden version välillä.
6. Luottamusväli
Luottamusväli tarjoaa alueen, jonka sisällä todellisen vaikutuksen koon odotetaan olevan tietyllä luottamustasolla (yleensä 95%). Se auttaa arvioimaan testitulosten luotettavuutta.
Esimerkki: Samassa A/B-testissä tulosprosenttieron 95 %:n luottamusväli saattaa olla [1 %, 3 %]. Tämä tarkoittaa, että olemme 95 % varmoja siitä, että todellinen ero tulosprosenteissa on 1–3 %.
7. Yksipuoliset ja kaksipuoliset testit
Yksipuolinen testi arvioi vaikutuksen suunnan (esim. onko versio B parempi kuin versio A), kun taas kaksipuolinen testi arvioi, onko kumpaankin suuntaan eroa.
Esimerkki yksipuolisesta testistä: Testaa, onko version B muuntoprosentti korkeampi kuin version A.
Esimerkki kaksipuolisesta testistä: Testaa, onko version A ja version B muuntokurssien välillä eroa suunnasta riippumatta.
8. Z-pisteet
Z-pistemäärä mittaa kuinka monta standardipoikkeamaa elementillä on keskiarvosta. A/B-testauksessa sitä käytetään kahden muunnelman välisen havaitun eron merkityksen määrittämiseen. Yleiset luottamustasot ja niiden z-pisteet:
- Luottamusväli 95 %
- Kaksipuolinen Z-piste: 1.96
- Yksipuolinen Z-pisteet: 1.65
- Luottamusväli 99 %
- Kaksipuolinen Z-piste: 2.58
- Yksipuolinen Z-pisteet: 2.33
- Luottamusväli 90 %
- Kaksipuolinen Z-piste: 1.64
- Yksipuolinen Z-pisteet: 1.28
Esimerkiksi: Jos version A ja version B muuntokurssien eron z-piste on 2.5, se osoittaa, että ero on 2.5 keskihajonnan päässä keskiarvosta, mikä viittaa tilastollisesti merkitsevään eroon.
9. Havaittu teho
Havaittu teho viittaa todennäköisyyteen, että testi hylkää oikein nollahypoteesin, kun sillä on todellinen vaikutus. Suurempi havaittu teho osoittaa suurempaa todennäköisyyttä havaita todellinen ero.
Esimerkiksi: A/B-testissä, jonka havaittu teho on 0.8 (80 %), on 80 %:n mahdollisuus havaita todellinen ero variaatioiden välillä, jos sellainen on olemassa.
10. Bayesin laskenta
Bayesin laskennassa käytetään Bayesin lausetta hypoteesin todennäköisyysestimaatin päivittämiseen, kun lisätodisteita hankitaan. A/B-testauksessa se tarjoaa todennäköisyyspohjaisen kehyksen datan perusteella tehtyjen päätösten tekemiseen.
Esimerkiksi: Bayesin menetelmiä käyttämällä voit määrittää todennäköisyyden, että yksi variantti on parempi kuin kontrolli havaittujen tietojen perusteella, sen sijaan, että luottaisi pelkästään perinteisiin p-arvoihin.
11. Frequentist Statistics
Frequentist Statistics on perinteinen lähestymistapa hypoteesien testaamiseen, joka keskittyy tiedon tiheyteen tai osuuteen. Se perustuu kiinteisiin tietosarjoihin, eikä se sisällä aiempaa tietoa tai todennäköisyysjakaumia.
Esimerkiksi: Frequentist-lähestymistavassa A/B-testaukseen käyttäisit p-arvoja ja luottamusväliä testitulosten merkityksen määrittämiseen ilman, että aiempia todennäköisyyksiä otetaan huomioon.
Käytännön esimerkkejä
Esimerkki 1: Sähköpostikampanjan A/B-testi
Yritys haluaa testata kahta sähköpostin aiheriviä nähdäkseen, kumpi johtaa korkeampiin avausmääriin.
- Aiherivi A: 25 % avoin korko
- Aihe rivi B: 28 % avoin korko
- P-arvo: 0.02 (merkitsee merkittävää eroa)
- Luottamusväli: [2 %, 5 %] (95 %:n luottamus siihen, että avointen korkojen todellinen ero on 2 % ja 5 % välillä
- Z-pisteet: 2.33 (olettaa tilastollisesti merkitsevän eron)
- Havaittu teho: 0.85 (85 %:n mahdollisuus havaita todellinen ero)
Esimerkki 2: Verkkosivuston aloitussivun A/B-testi
Verkkokauppasivusto testaa kahta aloitussivumallia määrittääkseen, kumpi johtaa enemmän ostoksiin.
- Suunnittelu A: 4 % muuntoprosentti
- Suunnittelu B: 5 % muuntoprosentti
- P-arvo: 0.045 (merkitsee merkittävää eroa)
- Luottamusväli: [0.5 %, 1.5 %] (95 % varmuudella, että todellinen ero tulosprosenteissa on 0.5 % ja 1.5 % välillä
- Z-pisteet: 2.01 (olettaa tilastollisesti merkitsevän eron)
- Havaittu teho: 0.78 (78 %:n mahdollisuus havaita todellinen ero)
/ B-testaus on tehokas työkalu digitaalisten kokemusten optimointiin, ja sen keskeisten mittareiden ja terminologian ymmärtäminen on ratkaisevan tärkeää tarkan tulkinnan kannalta. Switas osaa käyttäytyä tehokkaasti A / B-testit, joka varmistaa, että yritykset voivat tehdä dataan perustuvia päätöksiä parantaakseen suorituskykyään ja tarjoaa luotettavia ja käyttökelpoisia näkemyksiä, jotka edistävät kasvua ja menestystä.
