Useimmat A/B-testit epäonnistuvat ennen kuin yksikään kävijä näkee ne. Ei siksi, että hypoteesi olisi ollut heikko tai suunnittelu huono, vaan koska kukaan ei selvittänyt, voisiko testi ylipäätään tuottaa vastauksen.
Kaava on tuttu. Tiimi julkaisee variantin, seuraa kojelautaa ja kymmenen päivän kuluttua näkee haastajan arvon nousseen 6 % p-arvon ollessa 0.14. Joku sanoo "trendi on positiivinen, annetaan sille vielä viikko aikaa". Toinen viikko kuluu. Nyt se on noussut 4 %, p = 0.09. Testiä kutsutaan "suuntaavan voiton" testiksi ja se julkaistaan, tai se hylätään epäselvänä. Joka tapauksessa kolmen viikon liikenne ei tuottanut tietoa – ja tulos oli täysin määrätty ennen julkaisua neljän numeron perusteella, joita kukaan ei tarkistanut.
Tämä artikkeli käsittelee näitä neljää numeroa.
Neljä tuloa
Otoskoko ei ole harkintavalta. Se riippuu neljästä parametrista, ja jokainen vakava kokeiluohjelma korjaa ne ennen julkaisua eikä sen jälkeen.
| panos | Mitä se tarkoittaa | Tyypillinen arvo |
|---|---|---|
| Perustason konversioprosentti | Testattavan mittarin nykyinen nopeus mitattuna juuri sillä sivulla ja yleisöllä, jolla testi suoritetaan. | Mitä tahansa datasi sanookin |
| Pienin havaittava vaikutus (MDE) | Pienin muutos, jonka haluat testin löytävän | 5–20 % suhteellisesti, liikenteestä riippuen |
| Merkitsevyystaso (α) | Suvaitsevaisuutesi julistaa voittaja, joka ei ole todellinen | 0.05 |
| Tilastollinen teho (1−β) | Todennäköisyytesi havaita vaikutus, joka is todellinen | 0.80 |
Anna laskimelle nuo neljä, niin se palauttaa vaaditut kävijämäärät varianttia kohden. Meidän ilmainen A/B-testin laskin tekee juuri tämän, ja se kestää noin kolmekymmentä sekuntia – mikä onkin pointti. Syy siihen, miksi tiimit ohittavat tämän vaiheen, ei ole sen vaikeus. Vaan se, että vastaus on usein ei-toivottu.
MDE on syöte, jonka kaikki ymmärtävät väärin
Pienin havaittava vaikutus on parametri, joka aiheuttaa eniten vahinkoa, koska sen nimi viittaa johonkin, mitä se ei ole.
MDE on emme odottamaasi nousua. Se ei ole ennuste, tavoite tai ennuste. Se on havaittavuuden alaraja: pienin todellinen vaikutus, jonka testisi havaitsee 80 %:n todennäköisyydellä. Aseta MDE arvoon 5 %, niin sanot: "Jos todellinen parannus on alle 5 %, hyväksyn, että tämä testi todennäköisesti ohittaa sen."
Siitä seuraa kaksi seurausta, ja molemmat ovat merkityksellisiä.
Testi voi vastata vain siihen kysymykseen, johon se on mitoitettu. Jos mitoitat 20 %:n MDE:n mukaan ja todellinen vaikutus on 7 %, testi todennäköisesti palauttaa "ei merkittävää eroa". Tämä ei ole todiste siitä, että variantti ei tee mitään. Se on todiste siitä, että testisi ei voinut havaita tuon kokoisia vaikutuksia – täysin erilainen väite, jonka tiimit rutiininomaisesti tulkitsevat väärin muotoon "testasimme sitä, se ei toiminut".
Suhteellinen ja absoluuttinen MDE eivät ole keskenään vaihdettavissa. Lähtötaso 2.5 % ja 10 % suhteellinen MDE tarkoittaa 2.75 prosenttiin siirtymisen havaitsemista. absoluuttinen 0.25 prosenttiyksikön ero. Syötä laskimen kenttään 10 odottaen absoluuttisia prosenttiyksiköitä ja olet juuri pyytänyt havaitsemaan muutoksen 2.5 prosentista 12.5 prosenttiin, ja työkalu kertoo iloisesti, että 400 kävijää riittää. Tarkista, mitä käytäntöä laskimesi käyttää. Tämä yksittäinen sekaannus mitätöi useampia testisuunnitelmia kuin mikään muu näkemämme virhe.
Toimiva esimerkki
Verkkokauppa-asiakas haluaa testata uutta tuotetietosivun asettelua. Sivun lähtötason konversioprosentti on 2.5 %. He haluavat havaita 10 %:n suhteellisen parannuksen – siirtymän 2.75 %:iin.
Arvolla α = 0.05 ja teholla 80 % vaatimus on suunnilleen 100 000 kävijää varianttia kohdeneli yhteensä noin 128 000.
Sivulla on 40 000 kävijää kuukaudessa. Joten testi tarvitsee hieman yli kolme kuukautta saavuttaakseen suunnitellun otoskoon.
Tämä luku muuttaa keskustelun. Ei siksi, että kolme kuukautta olisi mahdotonta, vaan koska päätös tehdään nyt avoimesti – ennen julkaisua, kompromissit näkyvissä – eikä hitaasti 21. päivänä havaittavana pettymyksenä.
Muuta nyt yhtä syötettä. Säilytä sama lähtötaso, mutta käytä kokoa 20 %:n suhteelliselle nousulle 10 %:n sijaan:
| MDE (suhteellinen) | Absoluuttinen ero | Kävijöitä varianttia kohden | Aikaa 40 000/kk |
|---|---|---|---|
| 5% | 0.125 s | ~ 256,000 | ~ 13 kuukautta |
| 10% | 0.25 s | ~ 64,000 | ~ 3.2 kuukautta |
| 20% | 0.5 s | ~ 16,800 | ~ 25 päivää |
| 30% | 0.75 s | ~ 7,700 | ~ 12 päivää |
MDE:n puolittaminen noin nelinkertaistaa otoksen. Tämä suhde ei johdu näistä luvuista – otoskoko skaalautuu käänteisen neliön mukaan vaikutuksen koon mukaan. Se on hyödyllisin yksittäinen asia, joka kannattaa sisäistää koesuunnittelussa, koska se kertoo, missä vipuvaikutus on: Muutoksen tekeminen suuremmaksi on paljon halvempaa kuin lisää liikenteen kerääminen.
Arka variantti, joka liikuttaa nappia kahden pikselin verran, tarvitsee otoskoon, jota mikään keskikokoinen sivusto ei pysty tarjoamaan. Variantilla, joka uudistaa sivun rakennetta, on mahdollisuus. Tästä syystä varovaiset testausohjelmat pysähtyvät – ei siksi, että ideat olisivat vääriä, vaan koska ne ovat liian pieniä mitattavaksi.
Missä liikenne todellisuudessa on
Toinen aritmetiikan vipu on lähtötaso. Otoskokovaatimukset pienenevät jyrkästi lähtötason noustessa.
Ota sama 10 %:n suhteellinen MDE, mutta suorita se kassan toimitusvaiheessa, jossa 40 % saapumisista jatkaa maksuun:
- Lähtötaso 2.5 % → ~2 400 varianttia kohden
- Lähtötaso 40 % → ~2 400 varianttia kohden
Sama MDE, sama luotettavuus, sama teho. 26 kertaa vähemmän liikennettä.
Tuolla sivulla käy tietenkin paljon vähemmän kävijöitä kuin PDP-sivulla. Mutta vaatimus laskee nopeammin kuin kävijämäärä, minkä vuoksi syväsuppilotestit ovat usein ainoita testejä, jotka keskimääräisen liikenteen sivusto voi itse asiassa suorittaa. Jos koko sivuston konversioaste on 2 %, kotisivun testaaminen on vuoden mittainen sitoumus ja kassaprosessin testaaminen kahden viikon mittainen.
Käytännön ohje: kun laskin palauttaa mahdottoman luvun, tarkista ennen MDE:n laajentamista, onko suppilossa askelta pidemmälle, jossa samaa hypoteesia voidaan testata korkeampaa lähtötasoa vasten.
Mikä oikeasti menee pieleen, jos sen ohittaa
Tässä on kaksi vikaantumistapaa, ja toinen on paljon vähemmän tunnettu kuin ensimmäinen.
Jätät paitsi todellisista parannuksista. Tehottomassa testissä ei havaittu merkittävää eroa, vaikka muutos todella toimii. Tiimi päättelee idean olleen huono ja hylkää suunnan, joka olisi kannattanut. Tämä on epäonnistuminen, josta kaikki tietävät, ja se on näistä kahdesta halvempi.
Voittajasi ovat liioiteltuja. Tämä on se, joka hiljaisesti vääristää ohjelman numeroita. Alitehoisessa testissä tulos voi ylittää merkitsevyyskynnyksen vain, jos satunnainen kohina työntää sitä tarpeeksi pitkälle – mikä tarkoittaa, että vaikutukset, joita havaitset do julistaa merkittäviksi ovat systemaattisesti suurempia kuin totuus. Mitä pienempi potenssi, sitä pahempi liioittelu.
Joten alitehoinen ohjelma ei vain jätä asioita huomaamatta. Se tuottaa testilokin täynnä voittajia, joiden nousut ovat liioiteltuja. Nämä nousut kerrotaan sitten liikenteellä, jolloin saadaan ennustettu tuotto, joka ei koskaan toteudu. Kuusi kuukautta myöhemmin joku kysyy, miksi voittojen summa ei näy tuottoluvussa. Tämä on yleensä vastaus.
Tätä ei voi korjata analyysissä. Se on estettävä suunnitteluvaiheessa.
Muunnelmaa kohden, ei yhteensä
Laskimen tuloste on vaatimus jokaiselle käsivarrelle testin. Kaksi varianttia tarkoittaa kaksinkertaista lukua. Tämä kuulostaa itsestään selvältä ja sitä tulkitaan jatkuvasti väärin, yleensä optimistiseen suuntaan.
Useat variantit pahentavat ongelmaa kahdesti. A/B/C/D-testiin tarvitaan neljä kertaa suurempi otos kuin yksihaaraiseen kuvioon, ja Kolme samanaikaista vertailua kontrolliin verrattuna kasvattavat ainakin yhden väärän positiivisen todennäköisyyden selvästi yli nimellisen 5 %:n. Tämän korjaaminen nostaa vaatimusta jälleen.
Useimmille sivustoille käytännön sääntö on: ellei sinulla ole ylimääräistä liikennettä, suorita kaksi testiä. Neljän tason testi sivulla, joka tuskin riittää kaksisuuntaiseen testiin, ei ole nelinkertainen oppimistulos. Se on nolla kertaa oppimistulos, ja se toimitetaan hitaammin.
Kesto on erillinen rajoite
Otoskoon saavuttaminen on välttämätöntä. Se ei yksin riitä.
Testi, joka saavuttaa numeronsa neljässä päivässä, on analysoinut neljän päivän käyttäytymistä. Arkipäivän ja viikonlopun liikenne konvertoituu eri tavalla. Maksupäiväsykleillä on merkitystä verkkokaupassa. Testin aikana käynnistyvät maksulliset kampanjat muuttavat kohdeyleisökoostumusta. Uudet mallit tuottavat myös uutuusvaikutuksen, joka kuitenkin laantuu – varhainen sitoutuminen vieraaseen asetteluun ei ole vakaa arvio vakaasta suorituskyvystä.
Suorita vähintään yksi kokonainen viikko, ja mieluiten kaksi, riippumatta siitä, mitä otoskoon laskenta sallii. Pidempi rajoitus – otoskoko tai suhdanne – on se, joka on määräävä. Ja aseta lopetuspäivämäärä etukäteen sen sijaan, että tarkistaisit joka aamu ja lopettaisit, kun luvut näyttävät hyviltä, mikä on erillinen ja erittäin tehokas tapa tuottaa vääriä voittajia.
Kun numero on mahdoton
Joskus rehellinen vastaus on, että testiä ei voida suorittaa. Se on hyödyllistä tietoa, ja siihen on viisi järkevää vastausvaihtoehtoa.
Testaa isompaa muutosta. Neliöllinen suhde tekee tästä ylivoimaisesti vipuvoimaisimman vaihtoehdon. Suunnittele työnkulku uudelleen painikkeen sijaan.
Siirry korkeampaan lähtötason mittariin. Testaa ostoksen sijaan ostoksen sijaan ostoksen kautta tapahtuvaa lisäystä tai kassalle siirtymistä vasten. Vaikutuksen kokoa mitataan suurempaan joukkoon nähden, joten otantavaatimus ei täyty. Hyväksy, että mittaat sijaisarvoa, ja validoi yhteys tuloihin erikseen.
Testaa alempana suppilossa, kuten yllä.
Ryhmittele samankaltaisia sivuja. Yhden testin suorittaminen kaikilla luokkasivuilla yhden luokan sijaan moninkertaistaa käytettävissä olevan liikenteen, edellyttäen, että sivut ovat käyttäytymiseltään riittävän samankaltaisia, jotta yhdistäminen on perusteltua.
Lopeta testaaminen ja aloita tutkiminen. Jos sivusto ei pysty tukemaan kokeilua, A/B-testaus on sille väärä väline. Käytettävyystestaus, istuntojen tallenteet ja heuristinen tarkastelu löytävät rikkinäiset asiat nopeammin ja halvemmalla. Määrällinen validointi tapahtuu myöhemmin, kun muutokset ovat riittävän suuria mitattavaksi. Tässä ei ole mitään hävettävää – alitehoisten testien suorittaminen tiukkojen testien tunteen vuoksi on pahempi kuin niiden suorittamatta jättäminen.
Lentoa edeltävä tarkistuslista
Ennen minkään testin käynnistämistä:
- [ ] Lähtötaso mitattuna testin varsinaisella sivulla ja yleisöllä, ei koko sivustolla
- [ ] MDE, joka on ilmoitettu nimenomaisesti kirjallisesti ja jossa suhteellinen tai absoluuttinen arvo on määritelty
- [ ] Laskettu otoskoko varianttia kohden ja kerrottuna käsivarsien lukumäärällä
- [ ] Vaadittu kesto verrattuna käytettävissä olevaan liikenteeseen — ja vastaus hyväksytty ennen julkaisua
- [ ] Päättymispäivä vahvistettu etukäteen
- [ ] Vähintään yksi kokonainen suhdannesykli, mitä tahansa esimerkkilaskelmat sanovatkin
- [ ] Satunnaisyksikkö vastaa analyysiyksikköä (kävijätason määritys, kävijätason mittarit)
- [ ] Liikenteen jakautuminen varmistettu ensimmäisten tuntien aikana — 50/50-testi, joka antaa tuloksen 53/47, tarkoittaa instrumentointiongelmaa, ja tulokset ovat käyttökelvottomia, kunnes se löytyy.
Laske numerot ennen variantin rakentamista
Koko laskelma vie puoli minuuttia ja se muuttaa sitä, mitä rakennat. Tiimit, jotka ensin mittaavat testinsä, suunnittelevat rohkeampia variantteja, koska he näkevät, mitä pienemmät versiot maksaisivat.
Syötä lähtötason konversioprosenttisi, haluamasi vaikutus sekä luottamus- ja tehoasetuksesi. Jos saamasi luku on suurempi kuin liikenteesi, se ei ole syy käynnistää kampanjaa – testi kehottaa sinua muuttamaan suunnitelmaa.
Usein kysyttyjä kysymyksiä
Kuinka monta kävijää tarvitsen A/B-testiin? Universaalia lukua ei ole. Se riippuu lähtötason konversioasteestasi, pienimmästä havaittavasta vaikutuksesta sekä valitsemistasi merkitsevyys- ja tehotasoista. Sivu, joka konvertoi 2.5 %:lla, tarvitsee noin 64 000 kävijää varianttia kohden havaitakseen 10 %:n suhteellisen parannuksen; kassavaihe, joka konvertoi 40 %:lla, tarvitsee noin 2 400 kävijää saman suhteellisen vaikutuksen saavuttamiseksi.
Mikä on hyvä pienin havaittava vaikutus? Pienin arvo, jota liikenteesi pystyy tukemaan kohtuullisessa ajassa. Aloita käytettävissä olevasta liikenteestäsi ja kahdesta neljään viikkoon kestävästä tavoitekestosta ja ratkaise sitten taaksepäin sopiva MDE. Jos kyseinen MDE on suurempi kuin testaamasi muutos voisi uskottavasti tuottaa, suunnittele testi uudelleen.
Voinko keskeyttää testin aikaisemmin, jos se selvästi voittaa? Ei tavallisessa kiinteähorisonttisessa testissä. Toistuva tarkistaminen ja ensimmäisen merkittävän tuloksen kohdalla pysähtyminen nostaa väärien positiivisten määrän reilusti yli 5 %:n. Jos tarvitset mahdollisuuden pysähtyä aikaisin, käytä sitä varten kehitettyä menetelmää – peräkkäistä testausta tai Bayes-viitekehystä – ja päätä se ennen julkaisua, ei sen aikana.
Mitä jos testini saavuttaa merkitsevyyden ennen kuin otoskoko on saavutettu? Suhtaudu siihen epäluuloisesti ja jatka suunniteltuun loppuun asti. Varhainen merkitys alitehoisessa ikkunassa on juuri se kaava, joka tuottaa paisutettuja, toistettavissa olevia voittajia.
Riittääkö 80% teho? Se on tavanomainen oletusarvo ja järkevä lähtökohta, mutta se tarkoittaa 20 %:n mahdollisuuden hyväksymistä todellisen vaikutuksen ohittamiseen. Korkean panoksen päätöksissä – kassan uudelleensuunnittelussa, hinnoittelun muutoksessa – 90 %:n teho on ylimääräisen otoksen arvoinen. Edullisissa, palautuvissa muutoksissa 80 % on riittävä.
Etkö ole varma, tuottaako testausohjelmasi todellisia vastauksia?
Jos testilokisi on täynnä pieniä voittoja, jotka eivät koskaan näy kokonaisluvuissa, ongelma on yleensä analyysin alkuvaiheessa. Tarkistamme kokeiluohjelmat ja kerromme selvästi, missä suunnittelu epäonnistuu.
