Statistisk signifikant

Statistisk signifikans er standarden som brukes for å avgjøre om en forskjell observert mellom to grupper i et eksperiment er stor nok til at det er usannsynlig at den bare skyldes tilfeldigheter. I en konverteringsoptimaliseringskontekst svarer den på et spesifikt spørsmål: Hvis kontrollen og varianten virkelig var identiske i sin effekt på besøksatferd, hvor ofte ville et eksperiment av denne størrelsen produsere et gap som er minst like stort som det målte? Når denne sannsynligheten faller under en forhåndsbestemt terskel, vanligvis 5 prosent, beskrives resultatet som statistisk signifikant på 95 prosent konfidensnivå.

Konseptet er viktig fordi konverteringsdata iboende er støyende. To identiske versjoner av samme side, vist til to tilfeldig delte halvdeler av samme trafikk, vil nesten aldri produsere nøyaktig samme konverteringsfrekvens. Daglige svingninger, blanding av trafikkilder, enhetsforskjeller og enkel tilfeldighet skaper tilsynelatende hull som ikke betyr noe. Uten en signifikansgrense ender team opp med å sende endringer basert på støy, og den samlede effekten av et testprogram blir null eller negativ mens alle involverte tror det fungerer.

Signifikans defineres før en test starter, ikke oppdages etter den. Standard praksis er å fastsette signifikansnivået, ønsket statistisk styrke og minimum effektstørrelse som er verdt å oppdage, deretter beregne den nødvendige utvalgsstørrelsen og kjøre testen til den utvalgsstørrelsen. Å sjekke resultatene gjentatte ganger og stoppe i det øyeblikket en terskel krysses, blåser opp den falske positive raten betydelig, fordi hvert ekstra blikk er en ny mulighet for tilfeldig variasjon å krysse grensen. Testplattformer som rapporterer et live signifikansstall gjør denne feilen enkel å begå, og det er derfor disiplinerte programmer behandler den forhåndsregistrerte stoppregelen som bindende.

En vedvarende misforståelse er at et signifikant resultat beviser at en variant er bedre, og at et ikke-signifikant resultat beviser at de to versjonene er likeverdige. Ingen av delene er sant. Signifikans beskriver dataenes kompatibilitet med hypotesen om ingen forskjell; det sier ingenting om størrelsen eller forretningsrelevansen til en effekt. En test med veldig stor trafikk kan finne en statistisk signifikant forbedring på en brøkdel av et prosentpoeng som ikke er verdt ingeniørkostnadene ved frakt. Omvendt betyr et ikke-signifikant resultat på en test med lav ytelse ganske enkelt at eksperimentet manglet følsomheten til å oppdage en effekt som godt kan eksistere. Å rapportere konfidensintervallet sammen med konklusjonen gir et langt mer nyttig bilde enn en binær etikett.

I konsulentarbeid er det viktig å se hvor analytisk nøyaktighet møter kommersiell vurdering. CRO-tjeneste Engasjement må balansere det statistiske idealet mot realiteten at de fleste nettsteder ikke har ubegrenset trafikk, og at en bedrift ikke kan vente tre måneder på sikkerhet for hver idé. Den praktiske løsningen er å reservere strenge terskler for endringer med høy risiko som er vanskelige å reversere, for eksempel priser, betalingsflyt eller navigasjonsarkitektur, og å akseptere raskere beslutninger med lavere tillit om endringer i tekst og layout med lav risiko der kostnaden ved å ta feil er liten og reversibel. Denne kalibreringen er en strategisk beslutning snarere enn en statistisk, og den settes vanligvis i planleggingsfasen av en konverteringsfrekvensoptimalisering program sammen med definisjonen av primære og rekkverksmålinger.

En nyttig disiplin for ethvert team som er nytt i dette territoriet er å kjøre en A/A-test før de stoler på plattformens vurderinger. Å dele trafikk mellom to identiske versjoner skal per konstruksjon ikke gi noen reell forskjell, og det er lærerikt å observere hva verktøyet rapporterer over to eller tre uker. Team opplever rutinemessig at plattformen deres erklærer en betydelig vinner mellom to identiske sider på et tidspunkt i løpet av kjøringen, noe som er akkurat det gjentatt sjekk av et nullresultat forutsier, og å se det skje med sin egen trafikk er mer overbevisende enn noen forklaring på den underliggende statistikken. Øvelsen avdekker også instrumentproblemer, inkludert ujevn trafikkallokering, sporing som utløses forskjellig på tvers av varianter, og bottrafikk som ikke filtreres konsekvent, som ellers ville ødelagt hvert påfølgende eksperiment samtidig som det forblir usynlig.

Team som modnes på dette området slutter å spørre om et resultat er signifikant og begynner å spørre hvilken avgjørelse bevisene støtter. De dokumenterer effektstørrelser og intervaller, de sporer hvor ofte tidligere signifikante seire holdt seg når de ble målt på nytt, og de behandler hvert eksperiment som ett input til en akkumulerende mengde kunnskap om kundene sine, snarere enn en dom som er avsagt én gang og aldri vurdert på nytt.