Tilastollinen voima

Tilastollinen teho on todennäköisyys sille, että koe havaitsee tietyn kokoisen aidon vaikutuksen, jos kyseinen vaikutus todella on olemassa. Yleisimmin käytetty käytäntö, 80 prosentin teholla varustettu testi, tunnistaa oikein tietyn kokoisen todellisen parannuksen neljä kertaa viidestä ja epäonnistuu lopuilla kerran viidestä. Teho on merkitsevyystason vastine: merkitsevyys kontrolloi sitä, kuinka usein testi huutaa sutta, teho kontrolloi sitä, kuinka usein se ei huomaa sutta.

Teho päätetään etukäteen yhdessä merkitsevyystason, lähtötason konversioasteen ja pienimmän havaittavan vaikutuksen kanssa, ja nämä yhdessä määrittävät vaaditun otoskoon. Tehovaatimuksen nostaminen 80 prosentista 90 prosenttiin lisää tarvittavaa liikennettä merkittävästi, minkä vuoksi 80 prosentista on tullut kaupallisen testauksen oletusarvo, vaikka kliinisessä tutkimuksessa on yleistä käyttää korkeampia standardeja. Valinta heijastaa liiketoiminnan kompromissia hyvän idean ohittamisen kustannusten ja sen etsimiseen käytetyn liikenteen kustannusten välillä.

Tehoton testaus on optimointiohjelmien yleisin ja vähiten näkyvä vika. Testit, jotka suoritetaan kiinteän kalenterijakson ajan lasketun otoskoon sijaan, ovat oletusarvoisesti tehottomia aina, kun liikenne on oletettua pienempi. Seurauksena ei ole vain hukkaan heitettyä työtä, vaan systemaattisesti harhaanjohtavia johtopäätöksiä: tehoton ohjelma tuottaa virran epäselviä tuloksia, jotka kirjataan "ei vaikutusta". Tämä luo ajan myötä väärän institutionaalisen uskomuksen siitä, että kokonaisella muutosten kategorialla ei ole merkitystä. Todellisia mahdollisuuksia hylätään, koska mittauslaite ei ole koskaan ollut riittävän herkkä havaitsemaan niitä.

On olemassa toinen, salakavalampi seuraus. Alitehoisessa kokeessa jokaisen merkitsevän tuloksen on aritmeettisesti osoitettava suuri havaittu vaikutus. Tämä paisuttaa ohjelman raportoiman jokaisen voiton näennäistä kokoa, ilmiötä kutsutaan joskus voittajan kiroukseksi. Alitehoisia testejä suorittava ohjelma raportoi siksi portfolion dramaattisia voittoja, joista yksikään ei toistu raportoidussa suuruusluokassa käyttöönoton jälkeen, ja ennustetun ja toteutuneen tuoton välinen ero lopulta tuhoaa luottamuksen käytäntöön.

Tehon parantaminen ei aina tarkoita suuremman liikenteen odottamista. Suppilon korkeammalle sijoittuvan mittarin valitseminen suuremmalla perusnopeudella lisää tehoa samalla kävijämäärällä. Varianssin vähentäminen käyttämällä kovariaateilla korjattua analyysia tai rajaamalla testi homogeenisempaan yleisösegmenttiin voi lyhentää merkittävästi suoritusaikaa. Rohkeampien muutosten testaaminen suuremmilla odotetuilla vaikutuksilla nostaa testin havaitseman vaikutuksen kokoa ja siten alentaa otosvaatimusta. Jokainen näistä on suunnittelupäätös, joka tehdään ennen julkaisua, ja jokainen on tuottavampi kuin jo ennestään epäselvän testin jatkaminen siinä toivossa, että luvut kääntyvät parempaan suuntaan.

Varianssin vähentämiseen on kiinnitettävä enemmän huomiota kuin se tavallisesti saa, koska se parantaa herkkyyttä vaatimatta lisää liikennettä. Vakiintunein tekniikka käyttää analyysin kovariaattina kunkin kävijän esikoedataa, kuten heidän käyttäytymistään testiä edeltävinä viikkoina, poistaen vaihtelun, jolla ei ole mitään tekemistä käsittelyn kanssa. Kun merkittävä osa liikenteestä on palaavia kävijöitä, joilla on historiaa, tämä voi vähentää tarvittavaa otosta merkittävästi, mikä lyhentää koko ohjelman suoritusaikoja sen sijaan, että parantaisi yksittäistä testiä. Vähemmän muuttuvan mittarin valitseminen tuottaa samanlaisen vaikutuksen: binäärimuunnos on vähemmän kohinaista kuin kävijää kohden laskettu liikevaihto, jota hallitsee pieni määrä suuria tilauksia, joten konversioon perustuva ja tuottoja toissijaisena mittarina raportoiva testi pääsee usein johtopäätöksiin paljon nopeammin kuin suoraan tuottoihin perustuva testi.

Konsultointikäytännöissä voima-analyysi on se, missä testaussuunnitelmasta tulee rehellinen sen tarjoamien tulosten suhteen. Ennen kuin muuntokurssin optimointi Ohjelma käynnistyy, saavutettavan tehon laskeminen nykyisellä liikenteellä kertoo asiakkaalle, kuinka monta koetta neljännesvuosittain on realistista ja mitkä kysymykset vaativat kokonaan erilaisen menetelmän. Sivustoilla, joissa aritmetiikka ei tue jatkuvaa kokeilutahtia, tehokkaampi reitti on yleensä strukturoitu tutkimus ja asiantuntija-arviointi, joka toteutetaan UX-tarkastus, ja kokeiluja on varattu pienelle määrälle paljon liikennettä saavia, arvokkaita tietovirtoja, joissa luvut todella toimivat.