SwitasKontakta oss

Förstå mätvärden och termer inom A/B-test

Çağdaş Polat · · 4 min läsning

A/B-test är en avgörande metod för att optimera webbplatser och appar, och gör det möjligt för företag att jämföra två versioner av en webbsida eller app för att se vilken som presterar bäst. Att förstå de viktigaste mätvärdena och termerna i A/B-test är avgörande för att tolka resultaten korrekt. I den här artikeln går vi igenom viktiga mätvärden och termer inom A/B-test, bland annat p-värde, konfidensintervall, ensidiga och tvåsidiga test, z-värde, observerad styrka, variant, kontrollgrupp, inkrementell intäkt, konverteringsgrad och bayesiansk beräkning.

Viktiga mätvärden och termer inom A/B-test

1. Variant

En variant är en av de versioner som testas i ett A/B-test. Vanligtvis kallas den befintliga versionen kontrollen och den nya versionen varianten.

Exempel: I ett A/B-test av en landningssida är version A (den nuvarande sidan) kontrollen och version B (den nya designen) varianten.

2. Kontrollgrupp

Kontrollgruppen är den grupp användare som exponeras för originalversionen (kontrollen) i ett A/B-test. Den fungerar som utgångspunkt för att jämföra variantens prestanda.

Exempel: Om 10 000 användare besöker en webbplats kan 5 000 se kontrollsidan (kontrollgruppen) och 5 000 se variantsidan.

 

Incremental-revenue.png
Källa: https://getrecast.com/incrementality/

 

3. Inkrementell intäkt

Inkrementell intäkt är den extra intäkt som genereras till följd av ändringar som gjorts under ett A/B-test. Den hjälper till att bedöma testets ekonomiska effekt.

Exempel: Om variantsidan ökar det genomsnittliga ordervärdet med 5 dollar och 1 000 ytterligare köp genomförs, är den inkrementella intäkten 5 000 dollar.

 

65a7d2b7e323ce3c628e0eeb_conversion-rate-formula.png

 

4. Konverteringsgrad

Konverteringsgraden är andelen användare som genomför en önskad handling, som att göra ett köp eller prenumerera på ett nyhetsbrev, av det totala antalet besökare.

Exempel: Om 100 av 1 000 besökare genomför ett köp är konverteringsgraden 10 %.

5. P-värde

P-värdet mäter sannolikheten att den observerade skillnaden mellan två varianter uppstod av en slump. Ett lägre p-värde (vanligtvis under 0,05) tyder på att den observerade skillnaden är statistiskt signifikant.

Exempel: Anta att ett A/B-test jämför två versioner av en landningssida. Version A har en konverteringsgrad på 5 % och version B en konverteringsgrad på 7 %. Om p-värdet är 0,03 finns det en risk på 3 % att den observerade skillnaden uppstod av en slump, vilket tyder på en signifikant skillnad mellan de två versionerna.

 

confidence-interval-formula.jpg

 

6. Konfidensintervall

Konfidensintervallet anger ett intervall inom vilket den verkliga effektstorleken förväntas ligga, med en viss konfidensnivå (vanligtvis 95 %). Det hjälper till att bedöma testresultatens tillförlitlighet.

Exempel: I samma A/B-test kan 95 %-konfidensintervallet för skillnaden i konverteringsgrad vara [1 %, 3 %]. Det betyder att vi med 95 % säkerhet kan säga att den verkliga skillnaden i konverteringsgrad ligger mellan 1 % och 3 %.

7. Ensidiga och tvåsidiga test

Ett ensidigt test bedömer effektens riktning (t.ex. om version B är bättre än version A), medan ett tvåsidigt test bedömer om det finns någon skillnad i endera riktningen.

Exempel på ensidigt test: Testar om version Bs konverteringsgrad är högre än version As.
Exempel på tvåsidigt test: Testar om det finns någon skillnad mellan version As och version Bs konverteringsgrad, oavsett riktning.

 

1_FCAkTCjZtmuADgbSNwYudA.jpg

 

8. Z-värde

Z-värdet mäter hur många standardavvikelser ett värde ligger från medelvärdet. I A/B-test används det för att avgöra hur signifikant den observerade skillnaden mellan två varianter är. Vanliga konfidensnivåer och motsvarande z-värden:

  • Konfidensintervall 95 %
    • Tvåsidigt z-värde: 1,96
    • Ensidigt z-värde: 1,65
  • Konfidensintervall 99 %
    • Tvåsidigt z-värde: 2,58
    • Ensidigt z-värde: 2,33
  • Konfidensintervall 90 %
    • Tvåsidigt z-värde: 1,64
    • Ensidigt z-värde: 1,28

Exempel: Om z-värdet för skillnaden i konverteringsgrad mellan version A och version B är 2,5 betyder det att skillnaden ligger 2,5 standardavvikelser från medelvärdet, vilket tyder på en statistiskt signifikant skillnad.

9. Observerad styrka

Observerad styrka (observed power) är sannolikheten att testet korrekt förkastar nollhypotesen när det finns en verklig effekt. Högre observerad styrka innebär större sannolikhet att upptäcka en verklig skillnad.

Exempel: I ett A/B-test med en observerad styrka på 0,8 (80 %) finns det 80 % chans att upptäcka en verklig skillnad mellan varianterna om en sådan finns.

 

bayesian-formula.png
Källa: https://www.freecodecamp.org/news/bayes-rule-explained/

 

10. Bayesiansk beräkning

Bayesiansk beräkning innebär att man använder Bayes sats för att uppdatera sannolikhetsuppskattningen för en hypotes när ytterligare bevis tillkommer. I A/B-test ger den ett sannolikhetsbaserat ramverk för att fatta beslut utifrån data.

Exempel: Med bayesianska metoder kan du fastställa sannolikheten att en variant är bättre än kontrollen utifrån de observerade data, i stället för att enbart förlita dig på traditionella p-värden.

 

ba93f062-2975-4281-8923-4374ed171a9a_1920x1080.png
Källa: https://thepalindrome.org/p/is-probability-frequentist-or-bayesian

 

11. Frekventistisk statistik

Frekventistisk statistik är ett traditionellt angreppssätt för hypotesprövning som fokuserar på frekvensen eller andelen i data. Den bygger på fasta datamängder och tar inte hänsyn till förkunskaper eller sannolikhetsfördelningar.

Exempel: I ett frekventistiskt angreppssätt för A/B-test använder du p-värden och konfidensintervall för att avgöra hur signifikanta testresultaten är, utan att ta hänsyn till a priori-sannolikheter.

Praktiska exempel

Exempel 1: A/B-test av e-postkampanj

Ett företag vill testa två ämnesrader i e-post för att se vilken som ger högst öppningsfrekvens.

  • Ämnesrad A: 25 % öppningsfrekvens
  • Ämnesrad B: 28 % öppningsfrekvens
  • P-värde: 0,02 (tyder på en signifikant skillnad)
  • Konfidensintervall: [2 %, 5 %] (95 % säkerhet att den verkliga skillnaden i öppningsfrekvens ligger mellan 2 % och 5 %)
  • Z-värde: 2,33 (tyder på en statistiskt signifikant skillnad)
  • Observerad styrka: 0,85 (85 % chans att upptäcka en verklig skillnad)
Exempel 2: A/B-test av en landningssida

En e-handelsplats testar två designer av landningssidan för att avgöra vilken som leder till flest köp.

  • Design A: 4 % konverteringsgrad
  • Design B: 5 % konverteringsgrad
  • P-värde: 0,045 (tyder på en signifikant skillnad)
  • Konfidensintervall: [0,5 %, 1,5 %] (95 % säkerhet att den verkliga skillnaden i konverteringsgrad ligger mellan 0,5 % och 1,5 %)
  • Z-värde: 2,01 (tyder på en statistiskt signifikant skillnad)
  • Observerad styrka: 0,78 (78 % chans att upptäcka en verklig skillnad)

A/B-test är ett kraftfullt verktyg för att optimera digitala upplevelser, och att förstå de viktigaste mätvärdena och termerna är avgörande för en korrekt tolkning. Switas vet hur man genomför effektiva A/B-test, så att företag kan fatta datadrivna beslut för att förbättra sin prestanda, och levererar pålitliga och handlingsbara insikter som driver tillväxt och framgång.

Relaterade artiklar

Alla artiklar →

Låt oss bygga det nästa.

Kontakta oss