SwitasKontakt oss

Slik forstår du A/B-testmetrikker og terminologi

Çağdaş Polat · · 4 min lesetid

A/B-testing er en viktig metode for å optimalisere nettsteder og applikasjoner, og lar virksomheter sammenligne to versjoner av en nettside eller app for å finne ut hvilken som presterer best. Å forstå de viktigste metrikkene og begrepene i A/B-testing er avgjørende for å tolke resultatene riktig. I denne artikkelen ser vi på viktige metrikker og begreper i A/B-testing, blant annet p-verdi, konfidensintervall, ensidige og tosidige tester, z-score, observert styrke, variant, kontrollgruppe, inkrementell omsetning, konverteringsrate og bayesiansk beregning.

Viktige metrikker og begreper i A/B-testing

1. Variant

En variant er en av versjonene som testes i en A/B-test. Vanligvis kalles den eksisterende versjonen kontrollen, og den nye versjonen varianten.

Eksempel: I en A/B-test av en landingsside er versjon A (dagens side) kontrollen, og versjon B (det nye designet) er varianten.

2. Kontrollgruppe

Kontrollgruppen er gruppen brukere som får se den opprinnelige versjonen (kontrollen) i en A/B-test. Den fungerer som referanse for å sammenligne ytelsen til varianten.

Eksempel: Hvis 10 000 brukere besøker et nettsted, kan 5000 få se kontrollsiden (kontrollgruppen), og 5000 kan få se variantsiden.

 

Incremental-revenue.png
Kilde: https://getrecast.com/incrementality/

 

3. Inkrementell omsetning

Inkrementell omsetning er den ekstra omsetningen som genereres som følge av endringene i en A/B-test. Den hjelper deg med å vurdere testens økonomiske effekt.

Eksempel: Hvis variantsiden øker gjennomsnittlig ordreverdi med 5 dollar og det gjennomføres 1000 ekstra kjøp, er den inkrementelle omsetningen 5000 dollar.

 

65a7d2b7e323ce3c628e0eeb_conversion-rate-formula.png

 

4. Konverteringsrate

Konverteringsrate er andelen brukere som gjennomfører en ønsket handling, som å kjøpe noe eller melde seg på et nyhetsbrev, av det totale antallet besøkende.

Eksempel: Hvis 100 av 1000 besøkende gjennomfører et kjøp, er konverteringsraten 10 %.

5. P-verdi

P-verdien måler sannsynligheten for at den observerte forskjellen mellom to varianter har oppstått tilfeldig. En lavere p-verdi (vanligvis under 0,05) tyder på at den observerte forskjellen er statistisk signifikant.

Eksempel: Anta at en A/B-test sammenligner to versjoner av en landingsside. Versjon A har en konverteringsrate på 5 %, og versjon B har en konverteringsrate på 7 %. Hvis p-verdien er 0,03, er det 3 % sjanse for at den observerte forskjellen har oppstått tilfeldig, noe som tyder på en signifikant forskjell mellom de to versjonene.

 

confidence-interval-formula.jpg

 

6. Konfidensintervall

Konfidensintervallet angir et område der den sanne effektstørrelsen forventes å ligge, med et bestemt konfidensnivå (vanligvis 95 %). Det hjelper deg med å vurdere påliteligheten til testresultatene.

Eksempel: I den samme A/B-testen kan 95 %-konfidensintervallet for forskjellen i konverteringsrate være [1 %, 3 %]. Det betyr at vi er 95 % sikre på at den sanne forskjellen i konverteringsrate ligger mellom 1 % og 3 %.

7. Ensidige og tosidige tester

En ensidig test vurderer retningen på effekten (for eksempel om versjon B er bedre enn versjon A), mens en tosidig test vurderer om det er noen forskjell i en av retningene.

Eksempel på ensidig test: Tester om versjon Bs konverteringsrate er høyere enn versjon As.
Eksempel på tosidig test: Tester om det er noen forskjell mellom konverteringsratene til versjon A og versjon B, uavhengig av retning.

 

1_FCAkTCjZtmuADgbSNwYudA.jpg

 

8. Z-score

Z-scoren måler hvor mange standardavvik et element ligger fra gjennomsnittet. I A/B-testing brukes den til å avgjøre hvor signifikant den observerte forskjellen mellom to varianter er. Vanlige konfidensnivåer og tilsvarende z-score:

  • Konfidensintervall 95 %
    • Tosidig z-score: 1,96
    • Ensidig z-score: 1,65
  • Konfidensintervall 99 %
    • Tosidig z-score: 2,58
    • Ensidig z-score: 2,33
  • Konfidensintervall 90 %
    • Tosidig z-score: 1,64
    • Ensidig z-score: 1,28

Eksempel: Hvis z-scoren for forskjellen i konverteringsrate mellom versjon A og versjon B er 2,5, betyr det at forskjellen ligger 2,5 standardavvik fra gjennomsnittet, noe som tyder på en statistisk signifikant forskjell.

9. Observert styrke

Observert styrke er sannsynligheten for at testen riktig forkaster nullhypotesen når det finnes en reell effekt. Høyere observert styrke betyr større sannsynlighet for å oppdage en reell forskjell.

Eksempel: I en A/B-test med observert styrke på 0,8 (80 %) er det 80 % sjanse for å oppdage en reell forskjell mellom variantene hvis det finnes en.

 

bayesian-formula.png
Kilde: https://www.freecodecamp.org/news/bayes-rule-explained/

 

10. Bayesiansk beregning

Bayesiansk beregning innebærer å bruke Bayes' teorem til å oppdatere sannsynlighetsanslaget for en hypotese etter hvert som ny evidens kommer inn. I A/B-testing gir det et sannsynlighetsbasert rammeverk for å ta beslutninger ut fra dataene.

Eksempel: Med bayesianske metoder kan du fastslå sannsynligheten for at én variant er bedre enn kontrollen gitt de observerte dataene, i stedet for å støtte deg utelukkende på tradisjonelle p-verdier.

 

ba93f062-2975-4281-8923-4374ed171a9a_1920x1080.png
Kilde: https://thepalindrome.org/p/is-probability-frequentist-or-bayesian

 

11. Frekventistisk statistikk

Frekventistisk statistikk er en tradisjonell tilnærming til hypotesetesting som fokuserer på frekvensen eller andelen i dataene. Den bygger på faste datasett og tar ikke hensyn til forhåndskunnskap eller sannsynlighetsfordelinger.

Eksempel: I en frekventistisk tilnærming til A/B-testing ville du brukt p-verdier og konfidensintervaller for å avgjøre hvor signifikante testresultatene er, uten å ta med forhåndssannsynligheter.

Praktiske eksempler

Eksempel 1: A/B-test av e-postkampanje

Et selskap vil teste to e-postemnelinjer for å se hvilken som gir høyest åpningsrate.

  • Emnelinje A: 25 % åpningsrate
  • Emnelinje B: 28 % åpningsrate
  • P-verdi: 0,02 (tyder på en signifikant forskjell)
  • Konfidensintervall: [2 %, 5 %] (95 % sikkerhet for at den sanne forskjellen i åpningsrate ligger mellom 2 % og 5 %)
  • Z-score: 2,33 (tyder på en statistisk signifikant forskjell)
  • Observert styrke: 0,85 (85 % sjanse for å oppdage en reell forskjell)
Eksempel 2: A/B-test av landingsside på nettsted

En nettbutikk tester to design for landingssiden for å finne ut hvilket som fører til flest kjøp.

  • Design A: 4 % konverteringsrate
  • Design B: 5 % konverteringsrate
  • P-verdi: 0,045 (tyder på en signifikant forskjell)
  • Konfidensintervall: [0,5 %, 1,5 %] (95 % sikkerhet for at den sanne forskjellen i konverteringsrate ligger mellom 0,5 % og 1,5 %)
  • Z-score: 2,01 (tyder på en statistisk signifikant forskjell)
  • Observert styrke: 0,78 (78 % sjanse for å oppdage en reell forskjell)

A/B-testing er et kraftig verktøy for å optimalisere digitale opplevelser, og forståelse av de viktigste metrikkene og begrepene er avgjørende for riktig tolkning. Switas vet hvordan man gjennomfører effektive A/B-tester, slik at virksomheter kan ta datadrevne beslutninger for å styrke resultatene sine, og leverer pålitelig og handlingsrettet innsikt som driver vekst og suksess.

Relaterte artikler

Alle artikler →

La oss bygge den neste.

Kontakt oss