Sequentielles Testen

Sequenzielles Testen ist eine Gruppe von Versuchsdesigns, die es ermöglichen, Ergebnisse kontinuierlich oder in geplanten Intervallen auszuwerten und gleichzeitig die Fehlerrate zu kontrollieren, die durch wiederholte Auswertungen sonst erhöht würde. Bei einem herkömmlichen Test mit festem Zeithorizont ist die Analyse nur bei der einmalig berechneten Stichprobengröße gültig; jede weitere Auswertung erhöht die Wahrscheinlichkeit eines falsch positiven Ergebnisses. Sequenzielle Methoden passen die Entscheidungsgrenze an, um der Tatsache Rechnung zu tragen, dass mehrere Auswertungen erfolgen. Dadurch ist es gerechtfertigt, einen Test vorzeitig abzubrechen, sobald die Beweislage ausreichend ist.

Der kommerzielle Vorteil liegt auf der Hand. Ein Test mit festem Zeithorizont, der vier Wochen Traffic erfordert, muss diese vier Wochen lang laufen, selbst wenn die Variante in der ersten Woche erhebliche Umsatzeinbußen verursacht – es sei denn, das Team ist bereit, die statistische Aussagekraft des Designs aufzugeben. Sequenzielle Ansätze ermöglichen es, eine wirklich katastrophale Variante schnell zu stoppen und eine wirklich erfolgreiche Variante frühzeitig einzuführen. Dies reduziert die Testkosten und erhöht die Anzahl der Tests, die eine Website pro Jahr durchführen kann. Für Unternehmen, bei denen eine fehlerhafte Variante ein reales Umsatzrisiko darstellt, ist dies keine Verbesserung, sondern eine Notwendigkeit.

Mehrere Techniken fallen unter diese Kategorie. Gruppensequenzielle Designs sehen eine geringe Anzahl von Zwischenanalysen mit jeweils angepassten Schwellenwerten vor. Alpha-Spending-Funktionen verteilen die zulässige Gesamtrate falsch positiver Ergebnisse auf diese Analysen. Always-Valid-Inferenz und sequentielle Wahrscheinlichkeitsverhältnistests ermöglichen eine kontinuierliche Überwachung mit sich mit zunehmender Datenmenge verschärfenden Grenzen. Bayes'sche Ansätze umgehen das Problem des festen Beobachtungshorizonts konstruktionsbedingt, bringen jedoch eigene Überlegungen hinsichtlich des Abbruchbias mit sich. Die meisten kommerziellen Testplattformen implementieren mittlerweile eine dieser Methoden im Hintergrund, weshalb sich ihre angegebenen Konfidenzwerte nicht mehr so ​​verhalten wie bei naiven wiederholten Signifikanztests.

Wichtig ist jedoch, dass die sequentielle Validität nicht jedes Risiko eines vorzeitigen Abbruchs ausschließt. Ein nach fünf Tagen abgebrochener Test hat noch keinen vollständigen Wochenzyklus durchlaufen, keine wiederkehrenden Besucher gewonnen und den Neuheitseffekt einer sichtbaren Designänderung in den ersten Tagen noch nicht überwunden. Die Statistiken können zwar gültig sein, die geschäftliche Schlussfolgerung aber dennoch falsch, da die Stichprobe nicht repräsentativ für den normalen Betrieb ist, sondern lediglich zu klein. Mindestlaufzeitvorgaben, typischerweise mindestens ein, besser zwei vollständige Geschäftszyklen, ergänzen die sequentiellen Grenzen und ersetzen sie nicht.

Ein vorzeitiger Abbruch der Studie verzerrt die geschätzte Effektstärke. Tests, die abgebrochen werden, sobald eine Grenze überschritten wird, tun dies zu einem Zeitpunkt, an dem die zufällige Variation die Variante begünstigt. Daher überschätzt der beobachtete Effekt am Abbruchpunkt tendenziell den tatsächlichen Effekt. Geht es lediglich um die Entscheidung über die Auslieferung, spielt dies selten eine Rolle. Fließt die Zahl jedoch in eine Umsatzprognose ein, ist dies von großer Bedeutung, und der angegebene Wert sollte entsprechend angepasst oder neu berechnet werden, anstatt ihn direkt anzugeben.

Da sich die Implementierungen unterscheiden, ist es ratsam, die Funktionsweise einer Testplattform genau zu prüfen, bevor man sich auf deren Ergebnisse verlässt. Die Dokumentation des Anbieters sollte angeben, ob die angegebene Konfidenz bei kontinuierlicher Überwachung gültig ist, welche Methode verwendet wird und ob die angegebene Effektstärke für vorzeitige Stopps korrigiert wurde. Einige Plattformen verwenden durchgehend gültige Inferenz, andere setzen gruppensequenzielle Grenzen an festen Kontrollpunkten, und wieder andere zeigen auf einem Live-Dashboard weiterhin einfache Statistiken mit festem Zeithorizont an – letzteres führt in der Praxis zu den meisten falsch-positiven Ergebnissen. Diese Unterscheidung ist nicht rein theoretisch: Dieselben Daten können mit einer Methode ein sicheres Ergebnis liefern, mit einer anderen jedoch keine Aussage. Teams, die die Plattform gewechselt haben, stellen mitunter fest, dass ein Großteil ihrer bisherigen Erfolge mit der Methodik des neuen Tools nicht erzielt worden wäre.

Für ein Beratungsunternehmen, das ein Programm mit hohem Arbeitstempo durchführt, sind sequentielle Versuchsdesigns der Schlüssel, um eine hohe Versuchsgeschwindigkeit mit statistischer Disziplin zu vereinbaren. In einem Conversion-Rate-Optimierung Bei solchen Projekten werden die Regeln normalerweise im Voraus dokumentiert: welche Abgrenzungsmethode angewendet wird, die Mindestlaufzeit unabhängig von der Abgrenzung, die Schutzmaßnahmen, die einen Notstopp auslösen können, und wer die Befugnis hat, einen solchen Notstopp anzuordnen. Diese Governance ist besonders wichtig in e-commerce Umgebungen, in denen eine Variante, die den Checkout während einer umsatzstarken Woche beeinträchtigt, in drei Tagen mehr kosten kann, als das gesamte Testprogramm in einem Quartal einbringt.