SwitasKontakt os

Forstå målinger og terminologi i A/B-test

Çağdaş Polat · · 4 min. læsning

A/B-test er en afgørende metode til at optimere websites og applikationer, som gør det muligt for virksomheder at sammenligne to versioner af en webside eller app for at afgøre, hvilken der performer bedst. Det er afgørende at forstå de centrale målinger og den terminologi, der bruges i A/B-test, for at kunne fortolke resultaterne korrekt. I denne artikel gennemgår vi vigtige målinger og begreber i A/B-test, herunder p-værdi, konfidensinterval, ensidede og tosidede test, z-score, observeret styrke, variant, kontrolgruppe, inkrementel omsætning, konverteringsrate og bayesiansk beregning.

Centrale målinger og terminologi i A/B-test

1. Variant

En variant er en af de versioner, der testes i en A/B-test. Typisk kaldes den eksisterende version kontrollen, og den nye version er varianten.

Eksempel: I en A/B-test af en landingsside er version A (den nuværende side) kontrollen, og version B (det nye design) er varianten.

2. Kontrolgruppe

Kontrolgruppen er den gruppe af brugere, der får vist den oprindelige version (kontrollen) i en A/B-test. Den fungerer som baseline for sammenligning af variantens performance.

Eksempel: Hvis 10.000 brugere besøger et website, kan 5.000 få vist kontrolsiden (kontrolgruppen), og 5.000 kan få vist variantsiden.

 

Incremental-revenue.png
Kilde: https://getrecast.com/incrementality/

 

3. Inkrementel omsætning

Inkrementel omsætning er den ekstra omsætning, der genereres som følge af ændringer foretaget under en A/B-test. Den hjælper med at vurdere testens økonomiske effekt.

Eksempel: Hvis variantsiden øger den gennemsnitlige ordreværdi med 5 dollars, og der foretages 1.000 ekstra køb, er den inkrementelle omsætning 5.000 dollars.

 

65a7d2b7e323ce3c628e0eeb_conversion-rate-formula.png

 

4. Konverteringsrate

Konverteringsraten er den procentdel af brugere, der gennemfører en ønsket handling, såsom at foretage et køb eller tilmelde sig et nyhedsbrev, ud af det samlede antal besøgende.

Eksempel: Hvis 100 ud af 1.000 besøgende foretager et køb, er konverteringsraten 10 %.

5. P-værdi

P-værdien måler sandsynligheden for, at den observerede forskel mellem to variationer er opstået ved tilfældigheder. En lavere p-værdi (typisk under 0,05) viser, at den observerede forskel er statistisk signifikant.

Eksempel: Antag, at en A/B-test sammenligner to versioner af en landingsside. Version A har en konverteringsrate på 5 %, og version B har en konverteringsrate på 7 %. Hvis p-værdien er 0,03, er der 3 % sandsynlighed for, at den observerede forskel er opstået ved tilfældigheder, hvilket tyder på en signifikant forskel mellem de to versioner.

 

confidence-interval-formula.jpg

 

6. Konfidensinterval

Konfidensintervallet angiver et interval, som den sande effektstørrelse forventes at ligge inden for, med et vist konfidensniveau (normalt 95 %). Det hjælper med at vurdere testresultaternes pålidelighed.

Eksempel: I den samme A/B-test kan 95 %-konfidensintervallet for forskellen i konverteringsrater være [1 %, 3 %]. Det betyder, at vi er 95 % sikre på, at den sande forskel i konverteringsrater ligger mellem 1 % og 3 %.

7. Ensidede og tosidede test

En ensidet test vurderer effektens retning (f.eks. om version B er bedre end version A), mens en tosidet test vurderer, om der er nogen forskel i en af retningerne.

Eksempel på ensidet test: Tester, om version B's konverteringsrate er højere end version A's.
Eksempel på tosidet test: Tester, om der er nogen forskel mellem version A's og version B's konverteringsrater, uanset retning.

 

1_FCAkTCjZtmuADgbSNwYudA.jpg

 

8. Z-score

Z-scoren måler, hvor mange standardafvigelser et element ligger fra gennemsnittet. I A/B-test bruges den til at afgøre signifikansen af den observerede forskel mellem to variationer. Almindelige konfidensniveauer og deres tilsvarende z-scorer:

  • Konfidensinterval 95 %
    • Tosidet z-score: 1,96
    • Ensidet z-score: 1,65
  • Konfidensinterval 99 %
    • Tosidet z-score: 2,58
    • Ensidet z-score: 2,33
  • Konfidensinterval 90 %
    • Tosidet z-score: 1,64
    • Ensidet z-score: 1,28

Eksempel: Hvis z-scoren for forskellen i konverteringsrater mellem version A og version B er 2,5, betyder det, at forskellen ligger 2,5 standardafvigelser fra gennemsnittet, hvilket tyder på en statistisk signifikant forskel.

9. Observeret styrke

Observeret styrke (observed power) er sandsynligheden for, at testen korrekt forkaster nulhypotesen, når der er en sand effekt. Højere observeret styrke betyder større sandsynlighed for at opdage en sand forskel.

Eksempel: I en A/B-test med en observeret styrke på 0,8 (80 %) er der 80 % chance for at opdage en sand forskel mellem variationerne, hvis der findes en.

 

bayesian-formula.png
Kilde: https://www.freecodecamp.org/news/bayes-rule-explained/

 

10. Bayesiansk beregning

Bayesiansk beregning indebærer at bruge Bayes' sætning til at opdatere sandsynlighedsestimatet for en hypotese, efterhånden som der opnås yderligere evidens. I A/B-test giver den en sandsynlighedsbaseret ramme for at træffe beslutninger på baggrund af dataene.

Eksempel: Med bayesianske metoder kan du bestemme sandsynligheden for, at en variant er bedre end kontrollen, givet de observerede data, i stedet for udelukkende at støtte dig til traditionelle p-værdier.

 

ba93f062-2975-4281-8923-4374ed171a9a_1920x1080.png
Kilde: https://thepalindrome.org/p/is-probability-frequentist-or-bayesian

 

11. Frekventistisk statistik

Frekventistisk statistik er en traditionel tilgang til hypotesetest, der fokuserer på dataenes hyppighed eller andel. Den bygger på faste datasæt og inddrager ikke forhåndsviden eller sandsynlighedsfordelinger.

Eksempel: I en frekventistisk tilgang til A/B-test ville du bruge p-værdier og konfidensintervaller til at afgøre testresultaternes signifikans uden at inddrage forudgående sandsynligheder.

Praktiske eksempler

Eksempel 1: A/B-test af e-mailkampagne

En virksomhed vil teste to emnelinjer i e-mails for at se, hvilken der giver højere åbningsrate.

  • Emnelinje A: 25 % åbningsrate
  • Emnelinje B: 28 % åbningsrate
  • P-værdi: 0,02 (tyder på en signifikant forskel)
  • Konfidensinterval: [2 %, 5 %] (95 % sikkerhed for, at den sande forskel i åbningsrater ligger mellem 2 % og 5 %)
  • Z-score: 2,33 (tyder på en statistisk signifikant forskel)
  • Observeret styrke: 0,85 (85 % chance for at opdage en sand forskel)
Eksempel 2: A/B-test af landingsside på et website

Et e-handelswebsite tester to designs af landingssiden for at afgøre, hvilket der fører til flest køb.

  • Design A: 4 % konverteringsrate
  • Design B: 5 % konverteringsrate
  • P-værdi: 0,045 (tyder på en signifikant forskel)
  • Konfidensinterval: [0,5 %, 1,5 %] (95 % sikkerhed for, at den sande forskel i konverteringsrater ligger mellem 0,5 % og 1,5 %)
  • Z-score: 2,01 (tyder på en statistisk signifikant forskel)
  • Observeret styrke: 0,78 (78 % chance for at opdage en sand forskel)

A/B-test er et stærkt værktøj til at optimere digitale oplevelser, og det er afgørende at forstå de centrale målinger og den terminologi, der hører til, for at kunne fortolke resultaterne korrekt. Switas ved, hvordan man gennemfører effektive A/B-test, så virksomheder kan træffe datadrevne beslutninger, der forbedrer deres performance, og leverer pålidelig og handlingsorienteret indsigt, der driver vækst og succes.

Relaterede artikler

Alle artikler →

Lad os bygge det næste.

Kontakt os