Çağdaş Polat · · 4 Min. Lesezeit
A/B-Tests sind eine zentrale Methode zur Optimierung von Websites und Anwendungen: Unternehmen vergleichen zwei Versionen einer Webseite oder App, um herauszufinden, welche besser abschneidet. Wer die wichtigsten Kennzahlen und Fachbegriffe des A/B-Testings versteht, kann Ergebnisse korrekt interpretieren. In diesem Artikel betrachten wir wichtige A/B-Test-Kennzahlen und -Begriffe, darunter p-Wert, Konfidenzintervall, einseitige und zweiseitige Tests, z-Score, Observed Power, Variante, Kontrollgruppe, inkrementeller Umsatz, Conversion-Rate und Bayes'sche Berechnung.
Wichtige A/B-Test-Kennzahlen und Fachbegriffe
1. Variante
Eine Variante bezeichnet eine der Versionen, die in einem A/B-Test getestet werden. Üblicherweise wird die bestehende Version als Kontrolle bezeichnet und die neue Version als Variante.
Beispiel: Bei einem A/B-Test einer Landingpage ist Version A (die aktuelle Seite) die Kontrolle und Version B (das neue Design) die Variante.
2. Kontrollgruppe
Die Kontrollgruppe ist die Gruppe von Nutzern, die in einem A/B-Test die Originalversion (Kontrolle) sieht. Sie dient als Basis, um die Leistung der Variante zu vergleichen.
Beispiel: Wenn 10.000 Nutzer eine Website besuchen, sehen möglicherweise 5.000 die Kontrollseite (Kontrollgruppe) und 5.000 die Variantenseite.

3. Inkrementeller Umsatz
Inkrementeller Umsatz bezeichnet den zusätzlichen Umsatz, der durch die im A/B-Test vorgenommenen Änderungen entsteht. Er hilft, die finanziellen Auswirkungen des Tests zu bewerten.
Beispiel: Steigert die Variantenseite den durchschnittlichen Bestellwert um 5 $ und kommen 1.000 zusätzliche Käufe zustande, beträgt der inkrementelle Umsatz 5.000 $.

4. Conversion-Rate
Die Conversion-Rate ist der Prozentsatz der Nutzer, die eine gewünschte Aktion ausführen, etwa einen Kauf abschließen oder einen Newsletter abonnieren, bezogen auf alle Besucher.
Beispiel: Wenn 100 von 1.000 Besuchern einen Kauf abschließen, beträgt die Conversion-Rate 10 %.
5. p-Wert
Der p-Wert gibt die Wahrscheinlichkeit an, dass der beobachtete Unterschied zwischen zwei Variationen zufällig entstanden ist. Ein niedrigerer p-Wert (typischerweise unter 0,05) zeigt an, dass der beobachtete Unterschied statistisch signifikant ist.
Beispiel: Angenommen, ein A/B-Test vergleicht zwei Versionen einer Landingpage. Version A hat eine Conversion-Rate von 5 %, Version B eine von 7 %. Liegt der p-Wert bei 0,03, besteht eine Wahrscheinlichkeit von 3 %, dass der beobachtete Unterschied zufällig entstanden ist, was auf einen signifikanten Unterschied zwischen den beiden Versionen hindeutet.

6. Konfidenzintervall
Das Konfidenzintervall gibt einen Bereich an, in dem die tatsächliche Effektstärke mit einer bestimmten Sicherheit erwartet wird (üblicherweise 95 %). Es hilft, die Zuverlässigkeit der Testergebnisse zu beurteilen.
Beispiel: Im selben A/B-Test könnte das 95-%-Konfidenzintervall für den Unterschied der Conversion-Raten [1 %, 3 %] betragen. Das bedeutet, dass wir mit 95 % Sicherheit davon ausgehen, dass der tatsächliche Unterschied der Conversion-Raten zwischen 1 % und 3 % liegt.
7. Einseitige und zweiseitige Tests
Ein einseitiger Test prüft die Richtung des Effekts (z. B. ob Version B besser ist als Version A), während ein zweiseitiger Test prüft, ob es in irgendeine Richtung einen Unterschied gibt.
Beispiel für einen einseitigen Test: Prüft, ob die Conversion-Rate von Version B höher ist als die von Version A.
Beispiel für einen zweiseitigen Test: Prüft, ob es unabhängig von der Richtung überhaupt einen Unterschied zwischen den Conversion-Raten von Version A und Version B gibt.

8. z-Score
Der z-Score misst, wie viele Standardabweichungen ein Wert vom Mittelwert entfernt ist. Im A/B-Testing dient er dazu, die Signifikanz des beobachteten Unterschieds zwischen zwei Variationen zu bestimmen. Gängige Konfidenzniveaus und ihre z-Score-Entsprechungen:
- Konfidenzintervall 95 %
- Zweiseitiger z-Score: 1,96
- Einseitiger z-Score: 1,65
- Konfidenzintervall 99 %
- Zweiseitiger z-Score: 2,58
- Einseitiger z-Score: 2,33
- Konfidenzintervall 90 %
- Zweiseitiger z-Score: 1,64
- Einseitiger z-Score: 1,28
Beispiel: Beträgt der z-Score für den Unterschied der Conversion-Raten zwischen Version A und Version B 2,5, liegt der Unterschied 2,5 Standardabweichungen vom Mittelwert entfernt, was auf einen statistisch signifikanten Unterschied hindeutet.
9. Observed Power
Die Observed Power (beobachtete Teststärke) bezeichnet die Wahrscheinlichkeit, dass der Test die Nullhypothese korrekt verwirft, wenn ein echter Effekt vorliegt. Eine höhere Observed Power zeigt eine größere Wahrscheinlichkeit an, einen echten Unterschied zu erkennen.
Beispiel: Bei einem A/B-Test mit einer Observed Power von 0,8 (80 %) besteht eine Wahrscheinlichkeit von 80 %, einen echten Unterschied zwischen den Variationen zu erkennen, sofern einer existiert.

10. Bayes'sche Berechnung
Die Bayes'sche Berechnung nutzt das Bayes-Theorem, um die Wahrscheinlichkeitsschätzung für eine Hypothese zu aktualisieren, sobald zusätzliche Evidenz vorliegt. Im A/B-Testing bietet sie einen probabilistischen Rahmen, um Entscheidungen auf Basis der Daten zu treffen.
Beispiel: Mit Bayes'schen Methoden lässt sich anhand der beobachteten Daten die Wahrscheinlichkeit bestimmen, dass eine Variante besser ist als die Kontrolle, anstatt sich allein auf klassische p-Werte zu stützen.

11. Frequentistische Statistik
Die frequentistische Statistik ist ein klassischer Ansatz beim Hypothesentest, der sich auf die Häufigkeit bzw. den Anteil von Daten konzentriert. Sie stützt sich auf feste Datensätze und bezieht weder Vorwissen noch Wahrscheinlichkeitsverteilungen ein.
Beispiel: Bei einem frequentistischen Ansatz im A/B-Testing würden Sie p-Werte und Konfidenzintervalle verwenden, um die Signifikanz der Testergebnisse zu bestimmen, ohne Vorab-Wahrscheinlichkeiten einzubeziehen.
Praxisbeispiele
Beispiel 1: A/B-Test einer E-Mail-Kampagne
Ein Unternehmen möchte zwei E-Mail-Betreffzeilen testen, um zu sehen, welche zu höheren Öffnungsraten führt.
- Betreffzeile A: 25 % Öffnungsrate
- Betreffzeile B: 28 % Öffnungsrate
- p-Wert: 0,02 (weist auf einen signifikanten Unterschied hin)
- Konfidenzintervall: [2 %, 5 %] (95 % Sicherheit, dass der tatsächliche Unterschied der Öffnungsraten zwischen 2 % und 5 % liegt)
- z-Score: 2,33 (deutet auf einen statistisch signifikanten Unterschied hin)
- Observed Power: 0,85 (85 % Wahrscheinlichkeit, einen echten Unterschied zu erkennen)
Beispiel 2: A/B-Test einer Website-Landingpage
Eine E-Commerce-Website testet zwei Landingpage-Designs, um zu ermitteln, welches zu mehr Käufen führt.
- Design A: 4 % Conversion-Rate
- Design B: 5 % Conversion-Rate
- p-Wert: 0,045 (weist auf einen signifikanten Unterschied hin)
- Konfidenzintervall: [0,5 %, 1,5 %] (95 % Sicherheit, dass der tatsächliche Unterschied der Conversion-Raten zwischen 0,5 % und 1,5 % liegt)
- z-Score: 2,01 (deutet auf einen statistisch signifikanten Unterschied hin)
- Observed Power: 0,78 (78 % Wahrscheinlichkeit, einen echten Unterschied zu erkennen)
A/B-Testing ist ein leistungsstarkes Werkzeug zur Optimierung digitaler Erlebnisse, und das Verständnis der zentralen Kennzahlen und Begriffe ist für eine korrekte Interpretation entscheidend. Switas weiß, wie man wirksame A/B-Tests durchführt, sodass Unternehmen datenbasierte Entscheidungen zur Steigerung ihrer Leistung treffen können, und liefert verlässliche, umsetzbare Erkenntnisse, die Wachstum und Erfolg vorantreiben.




