Die meisten A/B-Tests scheitern, bevor sie überhaupt ein Besucher sieht. Nicht etwa, weil die Hypothese schwach oder das Testdesign schlecht war, sondern weil niemand geprüft hat, ob der Test überhaupt ein Ergebnis liefern kann.
Das Muster ist bekannt. Ein Team veröffentlicht eine Variante, beobachtet das Dashboard und sieht nach zehn Tagen, dass der Herausforderer um 6 % gestiegen ist (p-Wert: 0.14). Jemand meint: „Der Trend ist positiv, geben wir ihm noch eine Woche.“ Eine weitere Woche vergeht. Jetzt liegt der Anstieg bei 4 % (p = 0.09). Der Test wird als „richtungsweisender Erfolg“ gewertet und veröffentlicht oder als nicht aussagekräftig verworfen. So oder so, drei Wochen Traffic brachten keinerlei Erkenntnisse – und dieses Ergebnis stand bereits vor dem Launch anhand von vier Kennzahlen fest, die niemand überprüft hatte.
In diesem Artikel geht es um diese vier Zahlen.
Die vier Eingangsgrößen
Die Stichprobengröße ist keine Ermessensfrage. Sie ergibt sich aus vier Parametern, und jedes seriöse Experimentierprogramm legt diese vor dem Start fest, nicht erst danach.
| Eingang | Was es bedeutet | Typischer Wert |
|---|---|---|
| Basis-Konvertierungsrate | Die aktuelle Rate der Kennzahl, die Sie testen, gemessen auf der exakten Seite und Zielgruppe, auf der der Test durchgeführt wird. | Was auch immer Ihre Daten aussagen |
| Minimal nachweisbarer Effekt (MDE) | Die kleinste Änderung, die der Test erkennen soll | 5–20 % relativ, abhängig vom Verkehr |
| Signifikanzniveau (α) | Ihre Toleranz gegenüber der Verkündung eines Gewinners, der nicht real ist | 0.05 |
| Statistische Power (1−β) | Ihre Wahrscheinlichkeit, einen Effekt festzustellen, is echt | 0.80 |
Gib einem Taschenrechner diese vier Werte, und er gibt die benötigte Besucherzahl aus. pro Variante. Unser kostenloser A/B-Test-Rechner Genau das tut es, und es dauert etwa dreißig Sekunden – und genau darum geht es. Der Grund, warum Teams diesen Schritt überspringen, ist nicht, dass er schwierig ist, sondern dass die Antwort oft unerwünscht ist.
MDE ist die Eingabe, die jeder falsch macht
Der Parameter mit der geringsten nachweisbaren Wirkung ist derjenige, der den größten Schaden anrichtet, weil sein Name etwas suggeriert, was er nicht ist.
MDE ist kein Frontalunterricht. Der erwartete Effekt. Es handelt sich nicht um eine Vorhersage, ein Ziel oder eine Prognose. Es ist die Nachweisgrenze: der kleinste tatsächliche Effekt, den Ihr Test mit einer Wahrscheinlichkeit von 80 % erfassen kann. Setzen Sie die Nachweisgrenze auf 5 %, bedeutet dies: „Wenn die tatsächliche Verbesserung kleiner als 5 % ist, akzeptiere ich, dass dieser Test sie wahrscheinlich nicht erfassen wird.“
Daraus ergeben sich zwei Konsequenzen, und beide sind von Bedeutung.
Ein Test kann nur die Frage beantworten, für die er ausgelegt wurde. Wenn man mit einem MDE von 20 % rechnet und der tatsächliche Effekt 7 % beträgt, liefert der Test höchstwahrscheinlich das Ergebnis „kein signifikanter Unterschied“. Das ist kein Beweis dafür, dass die Variante wirkungslos ist. Es bedeutet lediglich, dass der Test Effekte dieser Größenordnung nicht erfassen konnte – eine völlig andere Aussage, die Teams häufig fälschlicherweise mit „Wir haben es getestet, es hat nicht funktioniert“ interpretieren.
Relative und absolute MDE sind nicht austauschbar. Ein Basiswert von 2.5 % mit einem 10%-igen relativ MDE bedeutet, einen Anstieg auf 2.75 % zu erkennen – ein Absolute Eine Differenz von 0.25 Prozentpunkten. Geben Sie 10 in ein Taschenrechnerfeld ein, das absolute Prozentpunkte erwartet, und Sie versuchen, eine Veränderung von 2.5 % auf 12.5 % zu erkennen. Das Tool wird Ihnen jedoch freundlich mitteilen, dass 400 Besucher ausreichen. Überprüfen Sie die von Ihrem Taschenrechner verwendete Konvention. Dieser einfache Fehler führt zu mehr ungültigen Testplänen als jeder andere Fehler, den wir beobachten.
Ein ausgearbeitetes Beispiel
Ein E-Commerce-Kunde möchte ein neues Layout für seine Produktdetailseite testen. Die aktuelle Conversion-Rate auf dieser Seite liegt bei 2.5 %. Er möchte eine relative Verbesserung von 10 % – also eine Steigerung auf 2.75 % – feststellen.
Bei α = 0.05 und 80 % Teststärke beträgt die Anforderung ungefähr 64,000 Besucher pro Varianteoder insgesamt etwa 128,000.
Diese Seite verzeichnet 40,000 Besucher pro Monat. Daher benötigt der Test etwas mehr als drei Monate, um die angestrebte Stichprobengröße zu erreichen.
Diese Zahl verändert die Diskussion. Nicht weil drei Monate unmöglich wären, sondern weil die Entscheidung nun offen getroffen wird – vor dem Start, mit allen sichtbaren Kompromissen – und nicht erst am 21. Tag als schleichende Enttäuschung entdeckt wird.
Ändern Sie nun eine Eingangsgröße. Behalten Sie die gleiche Ausgangsbasis bei, aber dimensionieren Sie das Modell für eine relative Steigerung von 20 % anstatt 10 %:
| MDE (relativ) | Absoluter Unterschied | Besucher pro Variante | Zeitaufwand 40/Monat |
|---|---|---|---|
| 5% | 0.125 pp | ~ 256,000 | ~13 Monate |
| 10% | 0.25 pp | ~ 64,000 | ~3.2 Monate |
| 20% | 0.5 pp | ~ 16,800 | ~ 25 Tage |
| 30% | 0.75 pp | ~ 7,700 | ~ 12 Tage |
Eine Halbierung des MDE vervierfacht die Stichprobengröße annähernd. Dieses Verhältnis ist kein Zufall – die Stichprobengröße skaliert umgekehrt proportional zum Quadrat der Effektstärke. Es ist das mit Abstand wichtigste Prinzip der Versuchsplanung, da es aufzeigt, wo der Hebel liegt. Eine größere Veränderung ist wesentlich günstiger als mehr Verkehr zu generieren.
Eine zaghafte Variante, die einen Button nur um zwei Pixel verschiebt, benötigt eine Stichprobengröße, die keine mittelgroße Website liefern kann. Eine Variante, die die Seite umstrukturiert, hat hingegen eine Chance. Deshalb scheitern vorsichtige Testprogramme – nicht weil die Ideen falsch sind, sondern weil sie zu klein sind, um messbar zu sein.
Wo der Verkehr tatsächlich stattfindet
Der andere, in der Berechnung verborgene Hebel ist die Basisrate. Der erforderliche Stichprobenumfang sinkt deutlich, wenn die Basisrate steigt.
Nehmen Sie die gleiche relative MDE von 10 %, aber wenden Sie sie auf den Versandschritt des Bestellvorgangs an, wo 40 % der Ankünfte zur Zahlung weitergeleitet werden:
- Ausgangswert 2.5 % → ~64,000 pro Variante
- Ausgangswert 40 % → ~2,400 pro Variante
Gleiches MDE, gleiches Vertrauen, gleiche Leistung. Sechsundzwanzigmal weniger Verkehr.
Diese Seite verzeichnet natürlich deutlich weniger Besucher als die Startseite. Der Bedarf sinkt jedoch schneller als der Traffic, weshalb Deep-Funnel-Tests häufig die einzigen Tests sind, die eine Website mit mittlerem Traffic tatsächlich durchführen kann. Bei einer Website-weiten Conversion-Rate von 2 % ist das Testen der Startseite ein ganzjähriges Unterfangen, während das Testen des Checkouts nur zwei Wochen dauert.
Praktischer Hinweis: Wenn der Rechner eine unmögliche Zahl ausgibt, prüfen Sie, bevor Sie den MDE erweitern, ob es eine weitere Stufe im Trichter gibt, in der dieselbe Hypothese mit einer höheren Basislinie getestet werden kann.
Was genau geht schief, wenn man es überspringt?
Hierbei handelt es sich um zwei mögliche Fehlerursachen, wobei die zweite deutlich weniger bekannt ist als die erste.
Sie verpassen echte Verbesserungen. Ein unzureichend aussagekräftiger Test liefert „keinen signifikanten Unterschied“ für eine Änderung, die tatsächlich funktioniert. Das Team kommt zu dem Schluss, dass die Idee schlecht war, und verwirft einen vielversprechenden Ansatz. Dieses Scheitern ist allgemein bekannt und die weniger kostspielige der beiden Varianten.
Ihre Gewinner sind überhöht. Dies ist der Fehler, der die Ergebnisse eines Programms unbemerkt verfälscht. In einem Test mit zu geringer statistischer Aussagekraft kann ein Ergebnis die Signifikanzschwelle nur dann überschreiten, wenn zufälliges Rauschen es ausreichend stark beeinflusst – was bedeutet, dass die Effekte, die Sie do Die als signifikant deklarierten Werte sind systematisch größer als die Wahrheit. Je niedriger der Wert, desto stärker die Übertreibung.
Ein unzureichendes Programm übersieht also nicht nur potenzielle Erfolge. Es erzeugt ein Testprotokoll voller überhöhter Erfolge, die dann mit dem Traffic multipliziert werden, um Umsätze zu prognostizieren, die nie eintreten. Sechs Monate später fragt dann jemand, warum die Summe der Erfolge nicht in den Gesamtergebnissen auftaucht. Das ist in der Regel die Antwort.
Das lässt sich nicht in der Analyse beheben. Es muss bereits in der Entwurfsphase verhindert werden.
Pro Variante, nicht insgesamt
Die Ausgabe des Taschenrechners ist die Anforderung. für jeden Arm des Tests. Zwei Varianten bedeuten die doppelte Anzahl. Das klingt selbstverständlich und wird ständig falsch interpretiert, meist zu optimistisch.
Mehrere Varianten verschärfen das Problem um ein Vielfaches. Ein A/B/C/D-Test benötigt die vierfache Stichprobengröße der einarmigen Figur. und Drei gleichzeitige Vergleiche mit der Kontrollgruppe erhöhen die Wahrscheinlichkeit für mindestens ein falsch positives Ergebnis deutlich über die nominalen 5 % hinaus. Eine Korrektur dieses Faktors führt zu einer erneuten Erhöhung der Anforderung.
Für die meisten Websites gilt die Faustregel: Sofern Sie nicht über ausreichend Traffic verfügen, sollten Sie zwei Testarme verwenden. Ein Vier-Wege-Test auf einer Seite, die kaum einen Zwei-Wege-Test ermöglicht, bringt nicht den vierfachen Lerneffekt. Er ist im Gegenteil null, wird aber deutlich langsamer vermittelt.
Die Dauer ist eine separate Einschränkung
Das Erreichen der erforderlichen Stichprobengröße ist notwendig. Es reicht nicht aus.
Ein Test, der sein Ziel nach vier Tagen erreicht, erfasst das Nutzerverhalten über vier Tage. Der Traffic an Wochentagen und am Wochenende konvertiert unterschiedlich. Im E-Commerce spielen Zahlungszyklen eine wichtige Rolle. Bezahlte Kampagnen, die während der Testphase gestartet werden, verändern die Zielgruppenzusammensetzung. Neue Designs erzeugen zudem einen Neuheitseffekt, der mit der Zeit abklingt – die anfängliche Interaktion mit einem ungewohnten Layout ist kein verlässlicher Indikator für die zukünftige Performance.
Führen Sie die Studie mindestens eine volle Woche, besser zwei, durch, unabhängig davon, was die Stichprobenberechnung zulässt. Maßgeblich ist die längere der beiden Einschränkungen – Stichprobengröße oder Konjunkturzyklus. Legen Sie das Enddatum im Voraus fest, anstatt die Zahlen jeden Morgen zu überprüfen und die Studie zu beenden, sobald sie vielversprechend aussehen. Dies ist eine andere und sehr effektive Methode, falsche Gewinner zu erzeugen.
Wenn die Zahl unmöglich ist
Manchmal lautet die ehrliche Antwort, dass der Test nicht durchgeführt werden kann. Das ist eine nützliche Information, und es gibt fünf plausible Antworten darauf.
Teste eine größere Änderung. Aufgrund des quadratischen Zusammenhangs ist dies mit Abstand die wirkungsvollste Option. Überarbeiten Sie den Ablauf, nicht den Button.
Wechseln Sie zu einer höheren Ausgangsmessgröße. Testen Sie anhand des Hinzufügens zum Warenkorb oder des Aufrufs des Bestellvorgangs anstatt anhand des Kaufs selbst. Die Effektstärke wird anhand einer größeren Basis gemessen, und der Stichprobenbedarf sinkt. Akzeptieren Sie, dass Sie einen Indikator messen, und überprüfen Sie den Zusammenhang mit dem Umsatz separat.
Testen Sie weiter unten im Trichter, wie oben.
Ähnliche Seiten gruppieren. Wenn man einen Test über alle Kategorieseiten anstatt über eine einzelne Kategorie durchführt, vervielfacht sich der verfügbare Traffic, vorausgesetzt, die Seiten sind im Verhalten so ähnlich, dass ein Pooling gerechtfertigt ist.
Hört auf zu testen und fangt an zu recherchieren. Wenn eine Website kein aussagekräftiges Experiment durchführen kann, ist A/B-Testing das falsche Instrument. Usability-Tests, Sitzungsaufzeichnungen und heuristische Analysen decken Fehler schneller und kostengünstiger auf. Die quantitative Validierung erfolgt später, sobald die Änderungen groß genug sind, um messbar zu sein. Das ist nicht verwerflich – unterdimensionierte Tests durchzuführen, nur um sich rigoros zu fühlen, ist schlimmer, als sie gar nicht durchzuführen.
Checkliste vor dem Flug
Vor jedem Testlauf:
- [ ] Die Basismessung erfolgte auf der tatsächlichen Seite und bei der Zielgruppe, auf der der Test durchgeführt wird, nicht seitenweit.
- [ ] MDE hat dies ausdrücklich schriftlich und unter Angabe von relativen oder absoluten Werten erklärt.
- [ ] Stichprobengröße berechnet pro Variante und multipliziert mit der Anzahl der Arme
- [ ] Erforderliche Dauer im Vergleich zum verfügbaren Datenverkehr – und die vor dem Start akzeptierte Antwort.
- [ ] Enddatum im Voraus festgelegt
- [ ] Mindestens ein vollständiger Konjunkturzyklus, unabhängig von den Berechnungen im Beispiel.
- [ ] Randomisierungseinheit entspricht Analyseeinheit (Zuordnung auf Besucherebene, Metriken auf Besucherebene)
- [ ] Die Verkehrsaufteilung wurde in den ersten Stunden bestätigt – ein Test mit einem Verhältnis von 50/50, der 53/47 liefert, deutet auf ein Problem mit den Messgeräten hin, und die Ergebnisse sind unbrauchbar, bis dieses Problem behoben ist.
Führen Sie die Berechnungen durch, bevor Sie die Variante erstellen.
Die gesamte Berechnung dauert eine halbe Minute und beeinflusst, was Sie entwickeln. Teams, die ihre Tests im Voraus dimensionieren, entwerfen mutigere Varianten, weil sie die Kosten vorsichtigerer Varianten abschätzen können.
Geben Sie Ihre Basis-Konversionsrate, den gewünschten Effekt sowie Ihre Konfidenz- und Leistungseinstellungen ein. Ist der angezeigte Wert höher als Ihr Traffic, ist das kein Grund für einen Start – der Test zeigt Ihnen lediglich an, dass Sie Ihren Plan anpassen sollten.
Häufig gestellte Fragen
Wie viele Besucher benötige ich für einen A/B-Test? Es gibt keine allgemeingültige Zahl. Sie hängt von Ihrer Ausgangskonversionsrate, dem kleinsten Effekt, den Sie nachweisen möchten, sowie Ihren gewählten Signifikanz- und Leistungsstufen ab. Eine Seite mit einer Konversionsrate von 2.5 % benötigt etwa 64,000 Besucher pro Variante, um eine relative Verbesserung von 10 % nachzuweisen; ein Checkout-Schritt mit einer Konversionsrate von 40 % benötigt etwa 2,400 Besucher für denselben relativen Effekt.
Was ist ein guter minimaler nachweisbarer Effekt? Wählen Sie den niedrigsten Wert, den Ihr Traffic innerhalb eines angemessenen Zeitraums verkraften kann. Gehen Sie von Ihrem verfügbaren Traffic und einer Zieldauer von zwei bis vier Wochen aus und berechnen Sie dann rückwärts den passenden MDE-Wert. Ist dieser MDE-Wert höher als die Änderung, die Sie plausibelerweise hervorrufen könnte, überarbeiten Sie den Test.
Kann ich einen Test vorzeitig abbrechen, wenn er eindeutig gewinnt? Nicht mit einem Standardtest mit festem Zeithorizont. Wiederholtes Prüfen und Abbrechen beim ersten signifikanten Ergebnis erhöht die Rate falsch positiver Ergebnisse deutlich über 5 %. Wenn Sie die Möglichkeit benötigen, frühzeitig abzubrechen, verwenden Sie eine dafür entwickelte Methode – beispielsweise sequentielles Testen oder ein Bayes'sches Verfahren – und legen Sie dies vor dem Start fest, nicht währenddessen.
Was passiert, wenn mein Test Signifikanz erreicht, bevor die erforderliche Stichprobengröße erreicht ist? Behandeln Sie es mit Misstrauen und verfolgen Sie das geplante Ziel konsequent. Frühe Signifikanz in einem schwachen Zeitfenster ist genau das Muster, das überhöhte, nicht reproduzierbare Gewinner hervorbringt.
Sind 80 % Leistung ausreichend? Das ist die übliche Standardeinstellung und ein sinnvoller Ausgangspunkt, bedeutet aber, dass man eine 20%ige Wahrscheinlichkeit in Kauf nehmen muss, einen tatsächlichen Effekt zu übersehen. Bei wichtigen Entscheidungen – wie der Neugestaltung eines Kassensystems oder einer Preisänderung – ist eine Teststärke von 90 % den zusätzlichen Aufwand wert. Bei kostengünstigen, reversiblen Änderungen reichen 80 % aus.
Sind Sie sich nicht sicher, ob Ihr Testprogramm aussagekräftige Ergebnisse liefert?
Wenn Ihr Testprotokoll viele kleine Erfolge enthält, die in den Gesamtergebnissen nicht auftauchen, liegt das Problem meist vor der eigentlichen Analyse. Wir überprüfen Versuchsprogramme und zeigen Ihnen klar auf, wo die Designlücken bestehen.
