A/B-Tests

A/B-Testing ist eine Methode kontrollierter Experimente, mit der zwei oder mehr Versionen einer Webseite, eines App-Bildschirms, einer E-Mail oder eines anderen digitalen Assets verglichen werden, um diejenige zu ermitteln, die hinsichtlich eines definierten Ziels – wie Klickrate, Anmelderate oder Umsatz pro Besucher – besser abschneidet. Im einfachsten Fall wird der Traffic zufällig auf eine Kontrollversion (A) und eine Variante (B) aufgeteilt. Anschließend werden die Daten statistisch analysiert, um festzustellen, ob der beobachtete Leistungsunterschied auf einen tatsächlichen Effekt oder lediglich auf zufällige Schwankungen zurückzuführen ist. Die Technik ist direkt von der Methodik randomisierter kontrollierter Studien aus der klinischen Forschung und den Agrarwissenschaften abgeleitet. Daher beziehen sich Experten bei der Testplanung häufig auf statistische Signifikanz, Konfidenzintervalle und Stichprobenberechnungen.

A/B-Testing ist wichtig, weil es subjektive Meinungen und interne Diskussionen durch empirische Erkenntnisse über das tatsächliche Verhalten von Besuchern ersetzt. Design- und Marketingteams sind sich häufig uneins darüber, welche Überschrift, Buttonfarbe, welches Layout oder welche Preisstruktur die beste Conversion-Rate erzielt, und Intuition ist bekanntermaßen ein unzuverlässiger Ratgeber: Studien auf E-Commerce- und SaaS-Websites haben wiederholt gezeigt, dass Änderungen, die die Conversion-Rate verbessern sollen, in etwa 80 bis 90 Prozent der durchgeführten Tests nicht den gewünschten Effekt erzielen oder sie sogar verringern. Indem eine Hypothese einem Live-Publikum präsentiert und das Ergebnis direkt gemessen wird, ermöglicht A/B-Testing Unternehmen, Ideen zu validieren oder zu verwerfen, bevor sie Entwicklungszeit, Marketingbudget oder Markenrisiken in eine vollständige Einführung investieren.

Für einen aussagekräftigen A/B-Test reicht es nicht aus, einfach den Traffic aufzuteilen und die Conversion-Raten zu vergleichen. Analysten berechnen im Vorfeld die minimale Stichprobengröße. Diese basiert auf der Basis-Conversion-Rate, dem minimalen messbaren Effekt, der für das Unternehmen relevant ist, sowie der gewünschten statistischen Power (üblicherweise 80 %) und dem Signifikanzniveau (üblicherweise 95 % oder ein p-Wert unter 0.05). Tests laufen typischerweise über mindestens ein bis zwei vollständige Geschäftszyklen, oft 14 bis 30 Tage, um Wochentagseffekte zu berücksichtigen und ein vorzeitiges Abbrechen aufgrund zufälliger Schwankungen zu vermeiden – ein Fehler, der als „Peeking“ bekannt ist. Tools wie VWO, Optimizely und AB Tasty übernehmen die Randomisierung, das Tracking und die statistischen Berechnungen. Die Interpretation der Ergebnisse erfordert jedoch weiterhin Kenntnisse über Konzepte wie Stichprobenverhältnis-Diskrepanz und Neuheitseffekte.

Ein weit verbreiteter Irrglaube ist, dass ein statistisch signifikantes Ergebnis eines einzelnen Tests eine dauerhafte, universelle Wahrheit darstellt. Tatsächlich sind die Ergebnisse spezifisch für das jeweilige Traffic-Segment, den Zeitraum und den Kontext, in dem der Test durchgeführt wurde, und können sich mit veränderten Zielgruppen, Jahreszeiten oder Wettbewerbsbedingungen verändern oder sogar abschwächen. Eine weitere häufige Fehlerquelle ist das gleichzeitige Testen zu vieler Variablen bei unzureichendem Traffic. Dies führt zu unterpowernden Tests, die falsch positive Ergebnisse liefern oder gar keine Signifikanz erreichen. Multivariate Tests, die Kombinationen mehrerer Elemente gleichzeitig untersuchen, benötigen deutlich mehr Traffic als ein einfacher A/B-Test mit zwei Varianten und sind keine Abkürzung, um die erforderlichen Stichprobengrößen zu umgehen.

Innerhalb eines CRO Im Rahmen der Zusammenarbeit mit UX-Beratungsunternehmen ist A/B-Testing der Mechanismus, der qualitative Forschungsergebnisse wie Nutzerinterviews, Heatmaps und Sitzungsaufzeichnungen in validierte, umsatzrelevante Entscheidungen umwandelt. Ein gut durchgeführtes Testprogramm folgt typischerweise einem strukturierten Prozess: Identifizierung eines Problems durch Daten und Recherchen, Formulierung einer konkreten Hypothese zu dessen Ursache und Lösungsansatz, Priorisierung dieser Hypothese gegenüber anderen Ideen mithilfe eines Bewertungssystems, Durchführung des Experiments bis zur statistischen Validität und Dokumentation der Erkenntnisse, unabhängig vom Ergebnis der getesteten Variante. Mit der Zeit entsteht so eine evidenzbasierte Roadmap, die das Risiko kostspieliger Neugestaltungen reduziert und institutionelles Wissen darüber aufbaut, was das Kundenverhalten auf einer bestimmten Website tatsächlich beeinflusst.