Multivariate Tests

Multivariate Tests (MVT) sind eine experimentelle Methode, um die Wechselwirkungen mehrerer Seitenelemente zu ermitteln. Dabei werden gleichzeitig verschiedene Varianten von zwei oder mehr Komponenten auf derselben Seite getestet und deren kombinierter Effekt auf eine Zielkennzahl wie die Conversion-Rate gemessen. Während ein herkömmlicher A/B-Test eine vollständige Seitenvariante mit einer anderen vergleicht, kann ein multivariater Test beispielsweise die Überschrift in zwei und das Hero-Bild in drei Varianten gleichzeitig variieren. So entstehen sechs unterschiedliche Kombinationen, die verschiedenen Zielgruppen präsentiert werden. Die Ergebnisse zeigen nicht nur die insgesamt beste Kombination, sondern auch den individuellen Beitrag jedes Elements und ob Elemente interagieren. Das bedeutet, dass die Wirkung einer Komponente davon abhängt, mit welcher Version einer anderen Komponente sie kombiniert wird.

Dieser Ansatz ist wertvoll, wenn ein Team verstehen muss, welche spezifischen Elemente einer Seite die Performance beeinflussen, anstatt lediglich zu bestätigen, dass eine ganzheitliche Neugestaltung eine andere übertrifft. Beispielsweise könnte eine neu gestaltete Landingpage, die als einzelne A/B-Variante getestet wird, gewinnen. Ohne multivariate Tests lässt sich jedoch nicht feststellen, ob die Verbesserung auf die neue Überschrift, das neu positionierte Formular oder die aktualisierten Bilder zurückzuführen ist – Informationen, die wichtig sind, um die Erkenntnisse auf andere Seiten anzuwenden. Multivariate Tests sind besonders nützlich für Seiten mit hohem Traffic, da die statistischen Anforderungen, um aussagekräftige Unterschiede über viele Kombinationen (oft als Zellen bezeichnet) hinweg zu erkennen, mit jeder zusätzlichen Variable erheblich steigen. Ein vollständiger faktorieller Versuchsplan mit zwei Variablen und jeweils drei Varianten erfordert neun Zellen, und jede Zelle benötigt eine ausreichende Stichprobengröße – üblicherweise Hunderte oder Tausende von Conversions pro Zelle –, um eine zuverlässige statistische Signifikanz zu erreichen.

Aufgrund dieser Traffic-Anforderung wird MVT typischerweise für Seiten mit hohem Besucheraufkommen eingesetzt, wie beispielsweise E-Commerce-Startseiten oder Produktseiten mit hoher Kaufabsicht. Für Seiten mit geringerem Traffic, wie etwa B2B-Landingpages in Nischenmärkten, ist MVT weniger praktikabel, da hier eine Reihe einfacher A/B-Tests in der Regel schneller zu aussagekräftigen Ergebnissen führt. Testplattformen bieten üblicherweise zwei statistische Ansätze für multivariate Tests an: die vollständige faktorielle Versuchsplanung, die jede mögliche Kombination für maximale Erkenntnisse testet, und die fraktionelle faktorielle Versuchsplanung oder Taguchi-Methode, die eine reduzierte Anzahl von Kombinationen testet, um schneller zu Ergebnissen zu gelangen, allerdings auf Kosten einiger Interaktionsdaten.

Ein häufiges Missverständnis besteht darin, multivariate Tests fälschlicherweise als schnellere Methode zur gleichzeitigen Durchführung mehrerer A/B-Tests zu betrachten. Tatsächlich sind deutlich mehr Traffic und eine längere Testdauer erforderlich, um die gleiche statistische Aussagekraft wie bei einem einzelnen A/B-Test zu erreichen, da der Traffic auf viel mehr Varianten verteilt wird. Ein zu schwacher multivariater Test, bei dem die erforderliche Stichprobengröße pro Zelle vor der Interpretation der Ergebnisse nicht erreicht wurde, ist eine der häufigsten Ursachen für Fehlinterpretationen bei der Conversion-Optimierung. Ebenso häufig wird ein Test vorzeitig aufgrund von Vorab-Ergebnissen der ersten Woche abgebrochen, anstatt die geplante Testdauer von zwei bis vier Wochen auszuschöpfen, um saisonale Schwankungen zu berücksichtigen.

Innerhalb eines CRO In der Beratungspraxis wird multivariates Testen (MVT) üblicherweise als fortgeschrittenes Werkzeug eingesetzt, nachdem einfachere A/B-Tests die allgemeine Richtung einer Hypothese bestätigt haben. Es ist Situationen vorbehalten, in denen ein Kunde über ausreichend Traffic verfügt und detaillierte Einblicke in die Priorisierung spezifischer Seitenelemente für zukünftige Designarbeiten wünscht. Berater kombinieren die Ergebnisse von MVT typischerweise mit qualitativer Forschung, wie Heatmaps oder Nutzerinterviews, um nicht nur die numerisch erfolgreichste Kombination zu erklären, sondern auch die Gründe für die positive Nutzerreaktion. So wird aus einem einzelnen Experiment ein wiederverwendbares Designprinzip, das auch für andere Seiten als die ursprünglich getestete genutzt werden kann.

Betrachten wir ein konkretes Beispiel: Ein Team, das eine Produktseite in einem E-Commerce-Shop betreut, möchte zwei Überschriftenvarianten und zwei Produktbildstile gleichzeitig testen. Ein vollständiger faktorieller multivariater Test ergibt vier Kombinationen. Wenn die Seite eine Conversion-Rate von 5 Prozent aufweist und das Team eine relative Verbesserung von 10 Prozent in einer beliebigen Zelle zuverlässig nachweisen möchte, könnte die erforderliche Stichprobengröße pro Zelle leicht mehrere Tausend Besucher erreichen. Das bedeutet, dass die Seite insgesamt Zehntausende Besucher benötigen würde, bevor der Test abgeschlossen ist. Würde die Seite stattdessen nur einige Tausend Besucher pro Monat verzeichnen, würde derselbe Test viele Monate dauern, bis er signifikant wäre. Dann würden zwei aufeinanderfolgende A/B-Tests, bei denen zuerst die Überschrift und dann das Bild isoliert getestet wird, in der Regel deutlich schneller zu einem verlässlichen und umsetzbaren Ergebnis führen.