Tilastollinen merkitsevyys

Tilastollinen merkitsevyys on standardi, jota käytetään päätettäessä, onko kahden ryhmän välillä kokeessa havaittu ero niin suuri, ettei se todennäköisesti ole pelkästään sattumanvarainen. Konversio-optimoinnin yhteydessä se vastaa tiettyyn kysymykseen: jos kontrolli ja variantti olisivat aidosti identtisiä kävijöiden käyttäytymiseen kohdistuvassa vaikutuksessaan, kuinka usein tämän kokoinen kokeilu tuottaisi vähintään yhtä suuren eron kuin mitattu? Kun tämä todennäköisyys laskee alle ennalta sovitun kynnysarvon, useimmiten 5 prosenttia, tulosta kuvataan tilastollisesti merkitseväksi 95 prosentin luottamustasolla.

Konsepti on tärkeä, koska konversiodata on luonnostaan ​​kohinaista. Kaksi identtistä versiota samasta sivusta, jotka näytetään kahdelle satunnaisesti jaetulle puoliskolle samasta liikenteestä, eivät juuri koskaan tuota täsmälleen samaa konversioprosenttia. Päivittäiset vaihtelut, liikenteen lähteiden sekoittuminen, laiteerot ja yksinkertainen satunnaisuus luovat kaikki näennäisiä aukkoja, joilla ei ole mitään merkitystä. Ilman merkitsevyyskynnystä tiimit päätyvät julkaisemaan muutoksia kohinan perusteella, ja testausohjelman kokonaisvaikutus on nolla tai negatiivinen, vaikka kaikki mukana olevat uskovat sen toimivan.

Merkitsevyys määritellään ennen testin aloittamista, eikä sitä löydetä sen jälkeen. Vakiokäytäntönä on määrittää merkitsevyystaso, haluttu tilastollinen teho ja havaitsemisen arvoinen pienin vaikutuskoko, sitten laskea tarvittava otoskoko ja suorittaa testi kyseiselle otoskoolle. Tulosten toistuva tarkistaminen ja testin pysäyttäminen kynnysarvon ylittyessä kasvattaa väärien positiivisten tulosten määrää huomattavasti, koska jokainen lisätarkistus on uusi mahdollisuus satunnaisvaihtelulle ylittää raja. Testausalustat, jotka raportoivat reaaliaikaisen merkitsevyysluvun, tekevät tämän virheen tekemisen helpoksi, minkä vuoksi kurinalaiset ohjelmat käsittelevät ennalta rekisteröityä pysäytyssääntöä sitovana.

Jatkuva väärinkäsitys on, että merkittävä tulos todistaa variantin olevan parempi ja että epämerkitsevä tulos todistaa kahden version olevan yhtäpitäviä. Kumpikaan ei pidä paikkaansa. Merkitsevyys kuvaa datan yhteensopivuutta erottomuuden hypoteesin kanssa; se ei kerro mitään vaikutuksen suuruudesta tai liiketoiminnallisesta merkityksestä. Hyvin suuren liikenteen testissä voidaan havaita tilastollisesti merkitsevä prosenttiyksikön murto-osan parannus, joka ei ole toimituskustannusten arvoinen. Kääntäen epämerkitsevä tulos alitehoisessa testissä tarkoittaa yksinkertaisesti sitä, että kokeella ei ollut herkkyyttä havaita vaikutusta, joka saattaa hyvinkin olla olemassa. Luottamusvälin raportointi tuloksen rinnalla antaa paljon hyödyllisemmän kuvan kuin binääritunniste.

Konsultointityössä merkityksellisyys on se, missä analyyttinen tarkkuus kohtaa kaupallisen harkinnan. CRO-palvelu Sitoutumisen on tasapainotettava tilastollista ihannetta sen todellisuuden kanssa, että useimmilla sivustoilla ei ole rajattomasti liikennettä ja että yritys ei voi odottaa kolmea kuukautta varmuutta jokaisesta ideasta. Käytännön ratkaisu on varata tiukat kynnysarvot korkean riskin ja vaikeasti peruuttamattomille muutoksille, kuten hinnoittelulle, kassaprosessille tai navigointiarkkitehtuurille, ja hyväksyä nopeampia, vähemmän luotettavia päätöksiä matalan riskin teksti- ja ulkoasumuutoksista, joissa virheen kustannukset ovat pienet ja peruuttamattomat. Tämä kalibrointi on strateginen eikä tilastollinen päätös, ja se asetetaan yleensä suunnitteluvaiheessa. muuntokurssin optimointi ohjelma ensisijaisten ja suojakaiteiden mittareiden määrittelyn rinnalla.

Hyödyllinen kurinalaisuus mille tahansa tälle alueelle uudelle tiimille on suorittaa A/A-testi ennen alustan arvioihin luottamista. Liikenteen jakaminen kahden identtisen version kesken ei rakenteellisesti pitäisi tuottaa todellista eroa, ja työkalun raporttien seuraaminen kahden tai kolmen viikon ajalta on opettavaista. Tiimit huomaavat rutiininomaisesti, että heidän alustansa julistaa merkittävän voittajan kahden identtisen sivun välillä jossain vaiheessa testiä, mikä on juuri sitä, mitä toistuva null-tuloksen tarkistaminen ennustaa, ja saman näkeminen heidän omalle liikenteelleen on vakuuttavampaa kuin mikään selitys taustalla oleville tilastoille. Harjoitus nostaa esiin myös instrumentointiongelmia, kuten epätasaisen liikenteen kohdentamisen, seurannan, joka käynnistyy eri tavoin eri varianttien välillä, ja bottiliikenteen, jota ei suodateta johdonmukaisesti, jotka kaikki muutoin vääristäisivät jokaisen seuraavan kokeen ja pysyisivät näkymättöminä.

Tällä alueella kypsyneet tiimit lakkaavat kysymästä, onko tulos merkittävä, ja alkavat kysyä, mitä päätöstä todisteet tukevat. He dokumentoivat vaikutusten suuruuksia ja välejä, he seuraavat, kuinka usein aiemmat merkittävät voitot pitivät paikkansa uudelleenmittauksissa, ja he käsittelevät jokaista koetta yhtenä panoksena asiakkaistaan ​​kertyvään tietoon sen sijaan, että he tekisivät kerran annetun ja koskaan uudelleenarvioidun arvion.