Stichprobengröße

Die Stichprobengröße bezeichnet die Anzahl der Besucher, Sitzungen oder Nutzer in jeder Gruppe eines Experiments und ist der wichtigste Faktor für die Aussagekraft eines Tests. Sie wird vor Testbeginn anhand von vier Parametern berechnet: der Konversionsrate der Kontrollgruppe, der minimalen Effektstärke, die das Unternehmen als relevant erachtet, der gewünschten statistischen Power und dem Signifikanzniveau. Jede Änderung eines dieser Parameter beeinflusst die erforderliche Stichprobengröße – oft erheblich.

Der Zusammenhang zwischen diesen Eingangsgrößen ist nicht intuitiv, und genau hier liegt das Problem der meisten Testprogramme. Um einen kleinen Effekt zu erkennen, ist deutlich mehr Traffic erforderlich als um einen großen, und der Bedarf steigt annähernd umgekehrt proportional zum Quadrat der Effektstärke. Halbiert sich der zu erfassende Effekt, vervierfacht sich der benötigte Traffic. Eine Website mit einer Conversion-Rate von 2 Prozent, die eine relative Verbesserung von 5 Prozent zuverlässig nachweisen möchte, benötigt Zehntausende Besucher pro Variante; dieselbe Website, die eine Verbesserung von 20 Prozent nachweisen will, benötigt nur einen Bruchteil davon. Ebenso erfordern niedrige Ausgangs-Conversion-Raten mehr Traffic als hohe, weshalb Lead-Generierungs-Websites und E-Commerce-Kategorien mit hohem Kaufverhalten langsamere Testprogramme durchführen als der Einzelhandel mit hoher Kauffrequenz.

Ein Test ohne Stichprobenberechnung führt zu einem von zwei Fehlerszenarien. Entweder bleibt der Test zu klein, liefert kein Ergebnis, verbraucht wochenlang Traffic und wird als nicht aussagekräftig abgebrochen oder, schlimmer noch, als Beweis dafür gewertet, dass die Änderung wirkungslos war. Oder der Test wird vorzeitig abgebrochen, sobald eine zufällige Konversionsrate einen Signifikanzschwellenwert überschreitet. Dabei wird ein großer Effekt gemeldet, der sich nach der allgemeinen Einführung der Änderung größtenteils wieder verflüchtigt. Beide Fehlerarten gefährden die Glaubwürdigkeit des Testprogramms im Unternehmen.

Die Anforderungen an die Stichprobengröße schränken auch die realistischen Testmöglichkeiten einer Website ein. Eine Website mit geringem Traffic kann nicht ein Portfolio kleiner Verbesserungen durchführen, da die Umsetzung jeder einzelnen Verbesserung Monate dauern würde. Die geeignete Strategie bei diesem Traffic-Niveau besteht darin, weniger, aber dafür mutigere Änderungen mit großen erwarteten Auswirkungen zu testen, sich auf die höheren Stufen des Marketing-Funnels zu konzentrieren, wo das Volumen größer ist, und sich stärker auf qualitative Forschung und heuristische Analysen zu stützen, um zu entscheiden, welche Änderungen ohne Experiment veröffentlicht werden sollen. Diese Einschränkung ehrlich anzuerkennen ist weitaus produktiver als ein Testprogramm durchzuführen, das mathematisch gesehen nicht zum Erfolg führen kann.

Die praktische Berechnung muss auch den Unterschied zwischen statistischer und geschäftlicher Einheit berücksichtigen. Wenn die Randomisierungseinheit der Besucher ist, die Kennzahl aber pro Sitzung gemessen wird, versagt die Arithmetik, und die angegebene Konfidenz wird überschätzt. Tests, die den Umsatz pro Besucher anstatt einer binären Konversion messen, benötigen noch größere Stichproben, da der Umsatz eine stark schwankende Kennzahl mit einem hohen Anteil großer Bestellungen ist. Segmentanalysen verschärfen das Problem: Ein Test, der für die gesamte Zielgruppe ausgelegt ist, ist nicht für die mobile Teilmenge aussagekräftig, und die Interpretation von Segmentergebnissen aus einem für die Gesamtgruppe dimensionierten Experiment ist eine der häufigsten Ursachen für Fehlinterpretationen in diesem Bereich.

Aus der Berechnung ergeben sich zwei praktische Fragen, die häufig falsch beantwortet werden. Die erste betrifft die Aufteilung des Datenverkehrs. Eine ungleiche Verteilung, beispielsweise 90 % Kontrollgruppe und 10 % Testgruppe, wird mitunter vorgeschlagen, um das Risiko einer Änderung zu begrenzen. Dies verlängert jedoch die benötigte Laufzeit erheblich, da die kleinere Gruppe die Vergleichsgenauigkeit bestimmt. Eine Risikobegrenzung lässt sich besser durch eine kurze Einführungsphase mit Überwachung und anschließender gleichmäßiger Aufteilung erreichen. Die zweite Frage betrifft die gleichzeitige Durchführung mehrerer Tests. Parallele Experimente auf unabhängigen Bereichen einer Website sind im Allgemeinen zulässig und ermöglichen den meisten Programmen eine angemessene Geschwindigkeit. Tests, die sich gegenseitig beeinflussen, wie beispielsweise zwei Änderungen, die denselben Schritt im Testablauf betreffen, müssen jedoch entweder sequenziell durchgeführt oder als kombiniertes Design analysiert werden, da Besucher, die beide Tests durchlaufen, nicht eindeutig einer der beiden Gruppen zugeordnet werden können.

Innerhalb eines strukturierten Conversion-Rate-Optimierung Im Rahmen des Programms erfolgt die Planung der Stichprobengröße während der Priorisierung, nicht erst beim Start. Die Erkenntnis, dass ein geplanter Test sechs Wochen Traffic benötigt, verändert seine Priorität im Vergleich zu einer Idee, die sich in zehn Tagen klären lässt. Dieser Kompromiss zwischen erwarteter Wirkung und Antwortzeit ist einer der wichtigsten Faktoren für die Roadmap. Für Websites mit geringerem Traffic gilt: UX-Audit liefert oft einen besseren Ertrag als ein Versuchsrückstand, da es so gravierende Fehler aufdeckt, dass deren Behebung keinen statistischen Nachweis erfordert.