SwitasNeem contact op

A/B-testmetrieken en terminologie begrijpen

Çağdaş Polat · · 4 min leestijd

A/B-testen is een cruciale methode voor het optimaliseren van websites en applicaties, waarmee bedrijven twee versies van een webpagina of app kunnen vergelijken om te bepalen welke beter presteert. Inzicht in de belangrijkste metrieken en terminologie van A/B-testen is essentieel om resultaten nauwkeurig te interpreteren. In dit artikel bespreken we belangrijke A/B-testmetrieken en termen, waaronder p-waarde, betrouwbaarheidsinterval, eenzijdige en tweezijdige toetsen, z-score, observed power, variant, controlegroep, incrementele omzet, conversiepercentage en bayesiaanse berekening.

Belangrijkste A/B-testmetrieken en terminologie

1. Variant

Een variant is een van de versies die in een A/B-test worden getest. Doorgaans wordt de bestaande versie de controle genoemd en de nieuwe versie de variant.

Voorbeeld: In een A/B-test van een landingspagina is versie A (de huidige pagina) de controle en versie B (het nieuwe ontwerp) de variant.

2. Controlegroep

De controlegroep is de groep gebruikers die in een A/B-test de originele versie (controle) te zien krijgt. Ze dient als basislijn om de prestaties van de variant mee te vergelijken.

Voorbeeld: Als 10.000 gebruikers een website bezoeken, zien er bijvoorbeeld 5.000 de controlepagina (controlegroep) en 5.000 de variantpagina.

 

Incremental-revenue.png
Bron: https://getrecast.com/incrementality/

 

3. Incrementele omzet

Incrementele omzet is de extra omzet die ontstaat als gevolg van wijzigingen in een A/B-test. Het helpt bij het beoordelen van de financiële impact van de test.

Voorbeeld: Als de variantpagina de gemiddelde orderwaarde met $5 verhoogt en er 1.000 extra aankopen worden gedaan, bedraagt de incrementele omzet $5.000.

 

65a7d2b7e323ce3c628e0eeb_conversion-rate-formula.png

 

4. Conversiepercentage

Het conversiepercentage is het percentage gebruikers dat een gewenste actie voltooit, zoals een aankoop doen of zich aanmelden voor een nieuwsbrief, van het totale aantal bezoekers.

Voorbeeld: Als 100 van de 1.000 bezoekers een aankoop doen, is het conversiepercentage 10%.

5. P-waarde

De p-waarde meet de kans dat het waargenomen verschil tussen twee variaties door toeval is ontstaan. Een lagere p-waarde (doorgaans minder dan 0,05) geeft aan dat het waargenomen verschil statistisch significant is.

Voorbeeld: Stel dat een A/B-test twee versies van een landingspagina vergelijkt. Versie A heeft een conversiepercentage van 5% en versie B van 7%. Als de p-waarde 0,03 is, is er een kans van 3% dat het waargenomen verschil door toeval is ontstaan, wat wijst op een significant verschil tussen de twee versies.

 

confidence-interval-formula.jpg

 

6. Betrouwbaarheidsinterval

Het betrouwbaarheidsinterval geeft een bereik aan waarbinnen de werkelijke effectgrootte naar verwachting ligt, met een bepaald betrouwbaarheidsniveau (meestal 95%). Het helpt bij het beoordelen van de betrouwbaarheid van de testresultaten.

Voorbeeld: in dezelfde A/B-test kan het 95%-betrouwbaarheidsinterval voor het verschil in conversiepercentages [1%, 3%] zijn. Dit betekent dat we er met 95% zekerheid van uit kunnen gaan dat het werkelijke verschil in conversiepercentages tussen 1% en 3% ligt.

7. Eenzijdige en tweezijdige toetsen

Een eenzijdige toets beoordeelt de richting van het effect (bijv. of versie B beter is dan versie A), terwijl een tweezijdige toets beoordeelt of er een verschil is in welke richting dan ook.

Voorbeeld van een eenzijdige toets: Toetst of het conversiepercentage van versie B hoger is dan dat van versie A.
Voorbeeld van een tweezijdige toets: Toetst of er enig verschil is tussen de conversiepercentages van versie A en versie B, ongeacht de richting.

 

1_FCAkTCjZtmuADgbSNwYudA.jpg

 

8. Z-score

De z-score meet hoeveel standaarddeviaties een waarde van het gemiddelde afligt. Bij A/B-testen wordt deze gebruikt om de significantie van het waargenomen verschil tussen twee variaties te bepalen. Veelgebruikte betrouwbaarheidsniveaus en hun z-score-equivalenten:

  • Betrouwbaarheidsinterval 95%
    • Tweezijdige z-score: 1,96
    • Eenzijdige z-score: 1,65
  • Betrouwbaarheidsinterval 99%
    • Tweezijdige z-score: 2,58
    • Eenzijdige z-score: 2,33
  • Betrouwbaarheidsinterval 90%
    • Tweezijdige z-score: 1,64
    • Eenzijdige z-score: 1,28

Voorbeeld: Als de z-score voor het verschil in conversiepercentages tussen versie A en versie B 2,5 is, betekent dit dat het verschil 2,5 standaarddeviaties van het gemiddelde afligt, wat wijst op een statistisch significant verschil.

9. Observed power

Observed power is de kans dat de test de nulhypothese terecht verwerpt wanneer er een werkelijk effect is. Een hogere observed power wijst op een grotere kans om een werkelijk verschil te detecteren.

Voorbeeld: Bij een A/B-test met een observed power van 0,8 (80%) is er een kans van 80% om een werkelijk verschil tussen de variaties te detecteren, als dat bestaat.

 

bayesian-formula.png
Bron: https://www.freecodecamp.org/news/bayes-rule-explained/

 

10. Bayesiaanse berekening

Bayesiaanse berekening houdt in dat de stelling van Bayes wordt gebruikt om de kansschatting voor een hypothese bij te werken naarmate er meer bewijs beschikbaar komt. Bij A/B-testen biedt het een probabilistisch kader om beslissingen op basis van de data te nemen.

Voorbeeld: Met bayesiaanse methoden kunt u de kans bepalen dat een variant beter is dan de controle, gegeven de waargenomen data, in plaats van uitsluitend te vertrouwen op traditionele p-waarden.

 

ba93f062-2975-4281-8923-4374ed171a9a_1920x1080.png
Bron: https://thepalindrome.org/p/is-probability-frequentist-or-bayesian

 

11. Frequentistische statistiek

Frequentistische statistiek is een traditionele benadering van hypothesetoetsing die zich richt op de frequentie of verhouding van data. Ze berust op vaste datasets en neemt geen voorkennis of kansverdelingen mee.

Voorbeeld: Bij een frequentistische benadering van A/B-testen gebruikt u p-waarden en betrouwbaarheidsintervallen om de significantie van de testresultaten te bepalen, zonder a-priorikansen mee te nemen.

Praktijkvoorbeelden

Voorbeeld 1: A/B-test voor een e-mailcampagne

Een bedrijf wil twee e-mailonderwerpregels testen om te zien welke tot hogere openingspercentages leidt.

  • Onderwerpregel A: 25% openingspercentage
  • Onderwerpregel B: 28% openingspercentage
  • P-waarde: 0,02 (wijst op een significant verschil)
  • Betrouwbaarheidsinterval: [2%, 5%] (95% zekerheid dat het werkelijke verschil in openingspercentages tussen 2% en 5% ligt)
  • Z-score: 2,33 (wijst op een statistisch significant verschil)
  • Observed power: 0,85 (85% kans om een werkelijk verschil te detecteren)
Voorbeeld 2: A/B-test voor een landingspagina van een website

Een e-commercewebsite test twee landingspaginaontwerpen om te bepalen welke tot meer aankopen leidt.

  • Ontwerp A: 4% conversiepercentage
  • Ontwerp B: 5% conversiepercentage
  • P-waarde: 0,045 (wijst op een significant verschil)
  • Betrouwbaarheidsinterval: [0,5%, 1,5%] (95% zekerheid dat het werkelijke verschil in conversiepercentages tussen 0,5% en 1,5% ligt)
  • Z-score: 2,01 (wijst op een statistisch significant verschil)
  • Observed power: 0,78 (78% kans om een werkelijk verschil te detecteren)

A/B-testen is een krachtig instrument om digitale ervaringen te optimaliseren, en inzicht in de belangrijkste metrieken en terminologie is cruciaal voor een juiste interpretatie. Switas weet hoe effectieve A/B-testsworden uitgevoerd, zodat bedrijven datagedreven beslissingen kunnen nemen om hun prestaties te verbeteren, en levert betrouwbare en bruikbare inzichten die groei en succes stimuleren.

Gerelateerde artikelen

Alle artikelen →

Laten we de volgende bouwen.

Neem contact op