SwitasKontakt

Multivariates Testing (MVT)

Multivariates Testing (MVT) ist eine Experimentiermethode, mit der sich bestimmen lässt, wie mehrere Seitenelemente zusammenwirken: Dabei werden gleichzeitig mehrere Varianten von zwei oder mehr Komponenten auf derselben Seite getestet und der kombinierte Effekt auf eine Zielmetrik wie die Conversion-Rate gemessen. Während ein klassischer A/B-Test eine vollständige Seitenvariante mit einer anderen vergleicht, kann ein multivariater Test etwa die Überschrift in zwei und das Hero-Bild in drei Varianten gleichzeitig variieren, wodurch sechs verschiedene Kombinationen entstehen, die unterschiedlichen Traffic-Segmenten ausgespielt werden. Das Ergebnis zeigt nicht nur, welche Kombination insgesamt am besten abschneidet, sondern auch den individuellen Beitrag jedes Elements und ob Wechselwirkungen bestehen, das heißt, ob die Wirkung einer Komponente davon abhängt, mit welcher Version einer anderen Komponente sie kombiniert wird. Dieser Ansatz ist wertvoll, wenn ein Team verstehen muss, welche konkreten Elemente einer Seite die Performance treiben, statt lediglich zu bestätigen, dass ein ganzheitlicher Relaunch einen anderen übertrifft. Eine überarbeitete Landingpage, die als einzelne A/B-Variante getestet wird, kann zum Beispiel gewinnen, doch ohne multivariates Testing lässt sich nicht erkennen, ob die Verbesserung von der neuen Überschrift, dem verschobenen Formular oder den aktualisierten Bildern stammt, eine Information, die wichtig ist, wenn die Erkenntnisse auf andere Seiten übertragen werden sollen. Multivariates Testing eignet sich am besten für Seiten mit hohem Traffic, da der statistische Aufwand, um bedeutsame Unterschiede über viele Kombinationen, häufig Zellen genannt, hinweg zu erkennen, mit jeder zusätzlichen Variable erheblich wächst; ein volles faktorielles Design mit zwei Variablen und je drei Varianten erfordert neun Zellen, und jede Zelle benötigt eine ausreichende Stichprobengröße, häufig Hunderte oder Tausende von Conversions pro Zelle, um zuverlässige statistische Signifikanz zu erreichen. Wegen dieser Traffic-Anforderung ist MVT in der Regel Seiten vorbehalten, die bereits ein hohes Besucheraufkommen haben, etwa der Startseite eines Online-Shops oder einer Produktseite mit hoher Kaufabsicht. Für weniger frequentierte Seiten wie eine B2B-Nischen-Landingpage ist es weniger praktikabel, denn dort führt eine Abfolge einfacher A/B-Tests meist schneller zu umsetzbaren Ergebnissen. Testing-Plattformen bieten für multivariates Testing üblicherweise zwei statistische Ansätze: das volle faktorielle Design, das jede mögliche Kombination testet und maximale Erkenntnisse liefert, sowie fraktionell faktorielle oder Taguchi-Methoden, die nur eine reduzierte Teilmenge der Kombinationen testen, um schneller zu Ergebnissen zu kommen, allerdings auf Kosten einiger Wechselwirkungsdaten. Ein häufiges Missverständnis ist, multivariates Testing schlicht als schnellere Möglichkeit zu betrachten, mehrere A/B-Tests gleichzeitig durchzuführen; tatsächlich erfordert es deutlich mehr Traffic und eine längere Testdauer, um dieselbe statistische Sicherheit wie ein einzelner A/B-Test zu erreichen, weil der Traffic auf weit mehr Varianten verteilt wird. Ein multivariater Test mit zu geringer Teststärke, bei dem die erforderliche Stichprobengröße pro Zelle vor der Auswertung nicht erreicht wurde, gehört zu den häufigsten Ursachen für Fehlschlüsse in der Conversion-Optimierung, ebenso wie der vorzeitige Abbruch eines Tests auf Grundlage erster Tendenzen aus der ersten Woche statt der vollen geplanten Testdauer, die oft auf zwei bis vier Wochen angesetzt wird, um die wöchentliche Saisonalität zu berücksichtigen. In einer CRO-Beratungspraxis wird multivariates Testing in der Regel als fortgeschrittenes Werkzeug positioniert, das eingesetzt wird, nachdem einfachere A/B-Tests die grundsätzliche Richtung einer Hypothese bereits bestätigt haben. Es ist Situationen vorbehalten, in denen ein Kunde über ausreichend Traffic verfügt und detaillierte Einblicke gewinnen möchte, welche konkreten Seitenelemente in künftigen Designarbeiten priorisiert werden sollten. Berater kombinieren MVT-Ergebnisse typischerweise mit qualitativer Forschung, etwa Heatmaps oder Nutzerinterviews, um nicht nur zu erklären, welche Kombination rein zahlenmäßig gewonnen hat, sondern auch, warum Nutzer so reagiert haben. So wird aus einem einzelnen Experiment ein wiederverwendbares Designprinzip, das auch Seiten jenseits der ursprünglich getesteten beeinflussen kann. Ein konkretes Beispiel: Das Team einer Produktseite im Online-Shop möchte gleichzeitig zwei Überschriftenvarianten und zwei Bildstile testen. Ein volles faktorielles multivariates Testing ergibt vier Kombinationen, und wenn die Seite mit einer Baseline von 5 Prozent konvertiert und das Team in einer beliebigen Zelle eine relative Verbesserung von 10 Prozent zuverlässig erkennen will, kann die erforderliche Stichprobengröße pro Zelle leicht mehrere Tausend Besucher erreichen. Die Seite bräuchte somit insgesamt Zehntausende Besucher, bevor der Test abgeschlossen ist. Erhielte die Seite stattdessen nur wenige Tausend Besucher pro Monat, würde derselbe Test viele Monate bis zur Signifikanz brauchen. In diesem Fall würden zwei aufeinanderfolgende A/B-Tests, zunächst zur Isolierung der Überschrift und dann des Bildes, in der Regel deutlich früher zu einer belastbaren, umsetzbaren Antwort führen.

Weitere Begriffe mit M

Lassen Sie uns das nächste bauen.

Kontakt