Testikurkistus

Testikurkistus on käytäntö, jossa kokeen tuloksia tarkistetaan toistuvasti sen ollessa vielä käynnissä ja lopetetaan se heti, kun merkitsevyyskynnys ylittyy. Se on yleisin tapa, jolla pätevät tilastolliset menetelmät muutetaan virheellisiksi johtopäätöksiksi, ja se tehdään lähes aina hyvillä aikomuksilla ihmisten toimesta, jotka uskovat vain seuraavan edistymistä. Kiinteän horisontin testin matematiikka olettaa yhden analyysin ennalta lasketulla otoskoolla; jokainen lisätarkistus on uusi mahdollisuus satunnaiselle vaihtelulle ylittää raja, ja todellinen väärien positiivisten tulosten määrä kasvaa jokaisen tarkistuksen myötä.

Vääristymän laajuus yllättää ihmisiä. Testi, jonka tarkoituksena on toimia 5 prosentin väärien positiivisten tulosten osuudella ja jota tarkistetaan päivittäin muutaman viikon ajan "merkittävien keinojen ollessa tehty" -pysäytyssäännöllä, voi lopulta johtaa moninkertaiseen väärien positiivisten tulosten osuuteen. Ohjelma kerää sitten voittoportfolion, josta huomattava osa on kohinaa, eikä kokonaisliiketoimintavaikutus vastaa raportoitujen vaikutusten summaa. Koska jokainen yksittäinen testi näytti analysoitavan asianmukaisesti, vajeen syytä tunnistetaan harvoin, ja tavallinen johtopäätös on, että optimointi ei yksinkertaisesti toimi tässä yrityksessä.

Kurkistus vaikuttaa myös säilyvien vaikutusten kokoon. Testi, joka pysäytetään merkitsevyyden saavuttamishetkellä, pysäytetään myös sillä hetkellä, kun satunnainen vaihtelu suosii varianttia, joten havaittu nousu tuolloin systemaattisesti liioittelee todellista vaikutusta, vaikka vaikutus olisi todellinen. Ohjelmat, jotka pysäytetään aikaisin, raportoivat siksi suurempia voittoja kuin ne tuottavat, mikä vahingoittaa uskottavuutta ajan myötä tavalla, josta on vaikea toipua, kun rahoitusala on huomannut kuilun.

Paine kurkistaa on pikemminkin rakenteellista kuin henkilökohtaista. Testausalustat näyttävät reaaliaikaisia ​​merkitsevyyslukuja kojelaudoillaan. Sidosryhmät tarkistavat ne. Variantti, jolla on suuri alkuvaiheen johtoasema, luo todellista kaupallista painetta toimittaa tuote välittömästi, ja variantti, jolla on alkuvaiheen lasku, luo painetta lopettaa tuotteen katsominen ja leikata tappioita. Ihmisten käskeminen olemaan katsomatta on tehotonta; käytännön ratkaisut ovat prosessuaalisia ja teknisiä. Sopi otoksen koko ja lopetuspäivämäärä kirjallisesti ennen lanseerausta. Käytä peräkkäisiä tai bayesilaisia ​​menetelmiä, jotka on suunniteltu jatkuvaan seurantaan, jotta katsominen on oikeutettua. Määritä kojelaudat piilottamaan merkitys, kunnes suunniteltu otos on saavutettu. Varaa varhainen pysäyttäminen aidoille hätätilanteille, jotka on havaittu kaidemittareiden avulla, nimetyllä päätöksentekijällä ja dokumentoidulla perustelulla.

Kurkistamisen ja seurannan välillä on tärkeä ero. Virhemäärien, sivun suorituskyvyn, otossuhteen ja vakavien suojakaiteiden rikkoutumisten seuraaminen testin aikana ei ole ainoastaan ​​sallittua, vaan myös välttämätöntä, koska rikkinäinen tai vahingollinen variantti tulee pysäyttää välittömästi. Analyysiä vääristää ensisijaisen liiketoimintamittarin käyttäminen pysäytyskriteerinä esirekisteröidyn suunnitelman ulkopuolella. Toiminnan seurannan erottaminen tulosanalyysistä erillisillä kojelaudoilla ja eri käyttöoikeuksilla riittää usein ratkaisemaan ongelman käytännössä.

Kun sidosryhmä vaatii tietoa testin suorituskyvystä ennen sen päättymistä, suora kieltäytyminen on yleensä haitallista ja numeron antaminen heikentää protokollaa. Toimiva välimuoto on raportoida toiminnan tilasta eikä tuloksesta: varmistetaan, että testi toimii oikein, että liikenne jakautuu konfiguroidusti, että mitään suojakaidetta ei ole rikottu ja kuinka monta päivää on jäljellä suunniteltuun analyysiin. Tämä vastaa pyynnön taustalla olevaan oikeutettuun huoleen, joka yleensä liittyy riskiin eikä uteliaisuuteen, paljastamatta numeroa, jonka perusteella toimitaan. Tämän järjestelyn sopiminen etukäteen osana kokeiluprotokollaa on paljon helpompaa kuin neuvotella siitä kesken testin, joka näyttää olevan voitolla, kun kaupallinen paine toimittaa testi välittömästi on suurimmillaan ja argumentti kärsivällisyydestä on vähiten tervetullut.

Tämän kurinalaisuuden luominen on yksi vähiten teknisistä ja arvokkaimmista optimointiohjelman käytettävissä olevista interventioista. Tyypillisesti CRO-palvelu Sitoutuminen, analyysiprotokolla, pysäytyssäännöt ja hätäpysäytysvaltuudet dokumentoidaan ennen ensimmäisten testien käynnistymistä, ja tulokset julkaistaan ​​kiinteällä tahdilla eikä pyynnöstä. Kun organisaatio tarvitsee jatkuvaa näkyvyyttä oikeutetuista kaupallisista syistä, ratkaisu on omaksua sitä tukeva peräkkäinen suunnittelu sen sijaan, että suoritettaisiin kiinteähorisonttisia testejä ja toivottaisiin, ettei kukaan katso.