SwitasKontakt

A/B-Test-Kennzahlen und Fachbegriffe verstehen

Çağdaş Polat · · 4 Min. Lesezeit

A/B-Tests sind eine zentrale Methode zur Optimierung von Websites und Anwendungen: Unternehmen vergleichen zwei Versionen einer Webseite oder App, um herauszufinden, welche besser abschneidet. Wer die wichtigsten Kennzahlen und Fachbegriffe des A/B-Testings versteht, kann Ergebnisse korrekt interpretieren. In diesem Artikel betrachten wir wichtige A/B-Test-Kennzahlen und -Begriffe, darunter p-Wert, Konfidenzintervall, einseitige und zweiseitige Tests, z-Score, Observed Power, Variante, Kontrollgruppe, inkrementeller Umsatz, Conversion-Rate und Bayes'sche Berechnung.

Wichtige A/B-Test-Kennzahlen und Fachbegriffe

1. Variante

Eine Variante bezeichnet eine der Versionen, die in einem A/B-Test getestet werden. Üblicherweise wird die bestehende Version als Kontrolle bezeichnet und die neue Version als Variante.

Beispiel: Bei einem A/B-Test einer Landingpage ist Version A (die aktuelle Seite) die Kontrolle und Version B (das neue Design) die Variante.

2. Kontrollgruppe

Die Kontrollgruppe ist die Gruppe von Nutzern, die in einem A/B-Test die Originalversion (Kontrolle) sieht. Sie dient als Basis, um die Leistung der Variante zu vergleichen.

Beispiel: Wenn 10.000 Nutzer eine Website besuchen, sehen möglicherweise 5.000 die Kontrollseite (Kontrollgruppe) und 5.000 die Variantenseite.

 

Incremental-revenue.png
Quelle: https://getrecast.com/incrementality/

 

3. Inkrementeller Umsatz

Inkrementeller Umsatz bezeichnet den zusätzlichen Umsatz, der durch die im A/B-Test vorgenommenen Änderungen entsteht. Er hilft, die finanziellen Auswirkungen des Tests zu bewerten.

Beispiel: Steigert die Variantenseite den durchschnittlichen Bestellwert um 5 $ und kommen 1.000 zusätzliche Käufe zustande, beträgt der inkrementelle Umsatz 5.000 $.

 

65a7d2b7e323ce3c628e0eeb_conversion-rate-formula.png

 

4. Conversion-Rate

Die Conversion-Rate ist der Prozentsatz der Nutzer, die eine gewünschte Aktion ausführen, etwa einen Kauf abschließen oder einen Newsletter abonnieren, bezogen auf alle Besucher.

Beispiel: Wenn 100 von 1.000 Besuchern einen Kauf abschließen, beträgt die Conversion-Rate 10 %.

5. p-Wert

Der p-Wert gibt die Wahrscheinlichkeit an, dass der beobachtete Unterschied zwischen zwei Variationen zufällig entstanden ist. Ein niedrigerer p-Wert (typischerweise unter 0,05) zeigt an, dass der beobachtete Unterschied statistisch signifikant ist.

Beispiel: Angenommen, ein A/B-Test vergleicht zwei Versionen einer Landingpage. Version A hat eine Conversion-Rate von 5 %, Version B eine von 7 %. Liegt der p-Wert bei 0,03, besteht eine Wahrscheinlichkeit von 3 %, dass der beobachtete Unterschied zufällig entstanden ist, was auf einen signifikanten Unterschied zwischen den beiden Versionen hindeutet.

 

confidence-interval-formula.jpg

 

6. Konfidenzintervall

Das Konfidenzintervall gibt einen Bereich an, in dem die tatsächliche Effektstärke mit einer bestimmten Sicherheit erwartet wird (üblicherweise 95 %). Es hilft, die Zuverlässigkeit der Testergebnisse zu beurteilen.

Beispiel: Im selben A/B-Test könnte das 95-%-Konfidenzintervall für den Unterschied der Conversion-Raten [1 %, 3 %] betragen. Das bedeutet, dass wir mit 95 % Sicherheit davon ausgehen, dass der tatsächliche Unterschied der Conversion-Raten zwischen 1 % und 3 % liegt.

7. Einseitige und zweiseitige Tests

Ein einseitiger Test prüft die Richtung des Effekts (z. B. ob Version B besser ist als Version A), während ein zweiseitiger Test prüft, ob es in irgendeine Richtung einen Unterschied gibt.

Beispiel für einen einseitigen Test: Prüft, ob die Conversion-Rate von Version B höher ist als die von Version A.
Beispiel für einen zweiseitigen Test: Prüft, ob es unabhängig von der Richtung überhaupt einen Unterschied zwischen den Conversion-Raten von Version A und Version B gibt.

 

1_FCAkTCjZtmuADgbSNwYudA.jpg

 

8. z-Score

Der z-Score misst, wie viele Standardabweichungen ein Wert vom Mittelwert entfernt ist. Im A/B-Testing dient er dazu, die Signifikanz des beobachteten Unterschieds zwischen zwei Variationen zu bestimmen. Gängige Konfidenzniveaus und ihre z-Score-Entsprechungen:

  • Konfidenzintervall 95 %
    • Zweiseitiger z-Score: 1,96
    • Einseitiger z-Score: 1,65
  • Konfidenzintervall 99 %
    • Zweiseitiger z-Score: 2,58
    • Einseitiger z-Score: 2,33
  • Konfidenzintervall 90 %
    • Zweiseitiger z-Score: 1,64
    • Einseitiger z-Score: 1,28

Beispiel: Beträgt der z-Score für den Unterschied der Conversion-Raten zwischen Version A und Version B 2,5, liegt der Unterschied 2,5 Standardabweichungen vom Mittelwert entfernt, was auf einen statistisch signifikanten Unterschied hindeutet.

9. Observed Power

Die Observed Power (beobachtete Teststärke) bezeichnet die Wahrscheinlichkeit, dass der Test die Nullhypothese korrekt verwirft, wenn ein echter Effekt vorliegt. Eine höhere Observed Power zeigt eine größere Wahrscheinlichkeit an, einen echten Unterschied zu erkennen.

Beispiel: Bei einem A/B-Test mit einer Observed Power von 0,8 (80 %) besteht eine Wahrscheinlichkeit von 80 %, einen echten Unterschied zwischen den Variationen zu erkennen, sofern einer existiert.

 

bayesian-formula.png
Quelle: https://www.freecodecamp.org/news/bayes-rule-explained/

 

10. Bayes'sche Berechnung

Die Bayes'sche Berechnung nutzt das Bayes-Theorem, um die Wahrscheinlichkeitsschätzung für eine Hypothese zu aktualisieren, sobald zusätzliche Evidenz vorliegt. Im A/B-Testing bietet sie einen probabilistischen Rahmen, um Entscheidungen auf Basis der Daten zu treffen.

Beispiel: Mit Bayes'schen Methoden lässt sich anhand der beobachteten Daten die Wahrscheinlichkeit bestimmen, dass eine Variante besser ist als die Kontrolle, anstatt sich allein auf klassische p-Werte zu stützen.

 

ba93f062-2975-4281-8923-4374ed171a9a_1920x1080.png
Quelle: https://thepalindrome.org/p/is-probability-frequentist-or-bayesian

 

11. Frequentistische Statistik

Die frequentistische Statistik ist ein klassischer Ansatz beim Hypothesentest, der sich auf die Häufigkeit bzw. den Anteil von Daten konzentriert. Sie stützt sich auf feste Datensätze und bezieht weder Vorwissen noch Wahrscheinlichkeitsverteilungen ein.

Beispiel: Bei einem frequentistischen Ansatz im A/B-Testing würden Sie p-Werte und Konfidenzintervalle verwenden, um die Signifikanz der Testergebnisse zu bestimmen, ohne Vorab-Wahrscheinlichkeiten einzubeziehen.

Praxisbeispiele

Beispiel 1: A/B-Test einer E-Mail-Kampagne

Ein Unternehmen möchte zwei E-Mail-Betreffzeilen testen, um zu sehen, welche zu höheren Öffnungsraten führt.

  • Betreffzeile A: 25 % Öffnungsrate
  • Betreffzeile B: 28 % Öffnungsrate
  • p-Wert: 0,02 (weist auf einen signifikanten Unterschied hin)
  • Konfidenzintervall: [2 %, 5 %] (95 % Sicherheit, dass der tatsächliche Unterschied der Öffnungsraten zwischen 2 % und 5 % liegt)
  • z-Score: 2,33 (deutet auf einen statistisch signifikanten Unterschied hin)
  • Observed Power: 0,85 (85 % Wahrscheinlichkeit, einen echten Unterschied zu erkennen)
Beispiel 2: A/B-Test einer Website-Landingpage

Eine E-Commerce-Website testet zwei Landingpage-Designs, um zu ermitteln, welches zu mehr Käufen führt.

  • Design A: 4 % Conversion-Rate
  • Design B: 5 % Conversion-Rate
  • p-Wert: 0,045 (weist auf einen signifikanten Unterschied hin)
  • Konfidenzintervall: [0,5 %, 1,5 %] (95 % Sicherheit, dass der tatsächliche Unterschied der Conversion-Raten zwischen 0,5 % und 1,5 % liegt)
  • z-Score: 2,01 (deutet auf einen statistisch signifikanten Unterschied hin)
  • Observed Power: 0,78 (78 % Wahrscheinlichkeit, einen echten Unterschied zu erkennen)

A/B-Testing ist ein leistungsstarkes Werkzeug zur Optimierung digitaler Erlebnisse, und das Verständnis der zentralen Kennzahlen und Begriffe ist für eine korrekte Interpretation entscheidend. Switas weiß, wie man wirksame A/B-Tests durchführt, sodass Unternehmen datenbasierte Entscheidungen zur Steigerung ihrer Leistung treffen können, und liefert verlässliche, umsetzbare Erkenntnisse, die Wachstum und Erfolg vorantreiben.

Ähnliche Artikel

Alle Artikel →

Lassen Sie uns das nächste bauen.

Kontakt