Wenn Sie jeden Morgen einen A/B-Test durchführen und ihn beim ersten grünen Ergebnis im Dashboard abbrechen, liegt Ihre tatsächliche Falsch-Positiv-Rate nicht bei 5 %. In einer Simulation, in der die Signifikanz nach jeder Beobachtung geprüft wurde, maß Evan Miller sie bei 26.1%, mehr als fünfmal so hoch wie das Niveau, auf dem die meisten Teams glauben, zu spielen (Wie man keinen A/B-Test durchführtEiner von vier „Erfolgen“, die sich nicht wiederholen lassen, ist kein statistisches Problem, sondern ein Problem der strategischen Planung.
Dieser Leitfaden richtet sich an Wachstums- und CRO-Teams, die Tests für E-Commerce- oder Reise-Traffic durchführen, deren Daten zu saisonabhängig sind, um vier Wochen lang konstant zu bleiben. Am Ende dieses Leitfadens können Sie vor dem Launch einen Look-Plan erstellen, die Schwellenwerte für jeden Look anhand einer Tabelle ablesen, die Testgröße für die durch die Planung entstehende zusätzliche Stichprobe anpassen und erkennen, ab wann die Methode ihre Gültigkeit verliert.
Warum das Spähen einen Test mit festem Horizont unterbricht
Ein Test mit festem Zeithorizont verbraucht sein gesamtes Fehlerbudget von 5 % nur einmal, bei einer vorab festgelegten Stichprobengröße. Jeder weitere Blick erhöht die Wahrscheinlichkeit, die Grenze zu überschreiten. Das Problem liegt nicht in der Datenanalyse selbst, sondern in der Betrachtung mit einem Schwellenwert, der auf eine einzige Betrachtung ausgelegt ist. Millers Tabelle gibt das angegebene Signifikanzniveau an, das erforderlich ist, um eine tatsächliche Fehlerrate von 5 % zu gewährleisten, wenn man unbedingt eine bestimmte Anzahl von Blicken durchführen möchte.
| Anzahl der Blicke | Für eine tatsächliche Signifikanz von 5 % ist eine entsprechende Meldung erforderlich. |
|---|---|
| 1 | 2.9% |
| 2 | 2.2% |
| 3 | 1.8% |
| 5 | 1.4% |
| 10 | 1.0% |
Anders ausgedrückt: Schaut man zehnmal hin, entspricht das, was man als 1 % Signifikanz interpretiert, in Wirklichkeit 5 %. Grob, aber ehrlich. Die folgenden Methoden erledigen das Gleiche effizienter.
Drei Möglichkeiten, frühzeitig aufzuhören, und die jeweiligen Kosten
| Ansatz | Vor dem Start beheben | Kosten im Vergleich zu einem Festpreistest | Verwenden Sie es, wenn |
|---|---|---|---|
| Fester Horizont | Stichprobengröße, ein Analysetermin | Keine, aber kein vorzeitiger Stopp erlaubt | Der Verkehr ist stabil, kurzes Zeitfenster |
| Gruppensequenziell (Alpha-Ausgaben) | Maximale Anzahl, Anzahl und Zeitpunkt der Looks | Die maximale Stichprobengröße steigt um ca. 3 % (O'Brien-Fleming) auf ca. 20 % (Pocock), 4 Blicke | Die Stichprobengröße ist schätzbar |
| Immer gültig (mSPRT) | Prinzipiell nichts. | Größter Leistungsverlust der drei bei gleicher Probe | Die Stichprobengröße ist nicht schätzbar. |
Die dritte Zeile ist relevant, da sie von den meisten kommerziellen Plattformen mitgeliefert wird. In Georgi Georgievs Simulation mit einer festen maximalen Stichprobengröße von 7,045 pro Gruppe erreichte ein Test mit festem Horizont eine Teststärke von 83.3 %, der gruppensequentielle AGILE-Test erreichte sein Ziel von 80 %, SPRT etwa 73 % und Always-Valid-Inferenz 62.4 %. Um eine Teststärke von 80 % zu erreichen, benötigte Always-Valid-Inferenz etwa 85 % mehr Proben als das gruppen-sequentielle Design (Analytics-Toolkit, 2022Die Ingenieure von Spotify kamen unabhängig voneinander zum selben Schluss: Gruppensequenzielle Tests sind „systematisch besser oder vergleichbar mit immer gültigen Ansätzen“, wenn die Stichprobengröße geschätzt werden kann (Schultzberg und Ankargren, 2023).
Dies sollte korrigiert werden, da die Darstellung des Anbieters in die entgegengesetzte Richtung geht. Die Dokumentation von Optimizely rät dazu, „die Vorbereitungsarbeiten für das Experiment, wie z. B. die Berechnung der Stichprobengröße vor dem Start des Experiments, zu überspringen“ (Optimizely-UnterstützungDie Fehlerkontrolle ist real und die zugrunde liegende Forschung ist solide (Johari et al., Immer gültige SchlussfolgerungWas in der Darstellung jedoch außer Acht gelassen wird, sind die Energiekosten. Statsig, das dieselbe Methodenfamilie anwendet, bringt es klar auf den Punkt: „Wenn Sie eine genaue Messung der Effektstärke benötigen, warten Sie auf die volle statistische Power, die Ihre Powerberechnung vor dem Experiment schätzt.“Statistikdokumente). Lesen Sie „keine Stichprobengröße erforderlich“ als Aussage über die Validität, niemals über die Effizienz.
Die Methode, Schritt für Schritt
Beispielrechnung: Ein Bekleidungshändler testet den Checkout-Prozess. Konversionsrate pro Sitzung im Ausgangszustand: 2.4 %, Zielwert: +10 % relativ (2.64 %), zweiseitiges Alpha: 5 %, Teststärke: 80 %, ca. 5,000 Sitzungen pro Tag.
1. Wähle die Größe so, als würdest du niemals hineinsehen.
Zweiproportionale Dimensionierung ergibt 66,943 Sitzungen pro ArmInsgesamt 133,886. Dies sind keine optionalen Gemeinkosten, nur weil Sie planen, früher zu beenden; es ist der Anker, auf dem der Zeitplan basiert.
2. Wähle aus, wie viele Looks und wann
Drei bis fünf Looks schöpfen nahezu alle Vorteile aus; darüber hinaus erhöht jeder weitere Look die Kosten für die maximale Stichprobenanzahl bei geringem Nutzen. Looks ausrichten auf ganze WochenDie Zusammensetzung des Wochentags hat einen großen Einfluss auf die Besucherzahlen im Einzelhandel. Bei 5,000 Sitzungen pro Tag ergeben vier Wochenübersichten fast 140,000 Sitzungen und decken damit das geplante Maximum ab.
3. Wählen Sie eine Ausgabenfunktion und notieren Sie die Schwellenwerte.
Eine Alpha-Ausgabenfunktion legt fest, wie viel von dem 5%-Budget jeder Look beanspruchen darf, abhängig davon, wie viele Daten sich angesammelt haben (Penn State STAT 509Die beiden klassischen Optionen, bei vier gleichmäßig verteilten Blicken, zweiseitiges Alpha 0.05:
| Look | Anteil der geplanten Stichprobe | O'Brien-Fleming: Stopp, falls p | Pocock: Stopp, falls p |
|---|---|---|---|
| 1 (Ende der 1. Woche) | 25% | 0.0001 | 0.0179 |
| 2 (Ende der 2. Woche) | 50% | 0.0055 | 0.0179 |
| 3 (Ende der 3. Woche) | 75% | 0.0216 | 0.0184 |
| 4 (Ende der 4. Woche) | 100% | 0.0411 | 0.0188 |
| Maximale Stichprobe vs. fester Test | + 3% | + 20% |
Diese wurden mit den Lan-DeMets-Ausgabenfunktionen berechnet und stimmen mit der veröffentlichten Charakterisierung überein: O'Brien-Fleming verwendet „anfangs sehr strenge Schwellenwerte, aber der Schwellenwert für die endgültige Analyse liegt nahe dem typischen p < 0.05“, während Pocock einen nahezu konstanten Schwellenwert um p < 0.016 beibehält.Ciolino, Kaizer und Bonner, 2023).
O’Brien-Fleming ist eine günstige Alternative: Es greift fast nie bei der ersten Analyse, benötigt etwa 3 % mehr Datenvolumen und seine endgültige Schwelle liegt kaum unter 0.05. Pocock bricht deutlich häufiger frühzeitig ab, benötigt aber 20 % mehr Datenvolumen. Verwenden Sie standardmäßig O’Brien-Fleming für umsatzbezogene Kennzahlen.
4. Tragen Sie die Regel vor dem Start in das Ticket ein.
Ein einziger Satz, für jeden sichtbar, der den Test abbrechen kann: „Wir betrachten das Ende der Wochen 1 bis 4, erklären einen Gewinner nur dann, wenn der zweiseitige p-Wert für [primäre Metrik] unter dem Schwellenwert dieser Betrachtung liegt, und fahren andernfalls mit Woche 4 fort.“ Eine Regel, die nur im Kopf einer Person existiert, ist keine Regel.
5. Legen Sie auch die Nutzlosigkeitsgrenze fest.
Die meisten Teams implementieren lediglich Effektivitätsgrenzen, wodurch Gewinner frühzeitig gestoppt und Verlierer bis zum Ende durchgespielt werden – ein kontraproduktiver Ansatz hinsichtlich der Opportunitätskosten. Eine unverbindliche Nutzlosigkeitsgrenze – Abbruch, sobald ein sinnvoller Sieg unwahrscheinlich geworden ist – ermöglicht die größte Zeitersparnis. Mit vier O’Brien-Fleming-Analysen sinkt die erwartete Stichprobengröße bei einem tatsächlichen Effekt auf etwa 83 % der Anforderung bei festem Zeithorizont.
6. Die frühe Punktschätzung sollte nicht als Effektstärke angegeben werden.
Ein Test, der frühzeitig abgebrochen wird weil Der beobachtete Auftrieb war ungewöhnlich hoch, daher ist die Schätzung konstruktionsbedingt nach oben verzerrt. Verwenden Sie sie für die Schiffsentscheidung, nicht für die Umsatzprognose. Statsig: „Frühe Entscheidungen führen oft zu unterdimensionierten Auftriebsschätzungen mit hoher Unsicherheit.“
Checkliste vor dem Start
- Eine primäre Kennzahl, die vor dem Start schriftlich festgelegt wurde.
- Maximale Stichprobengröße und Kalenderenddatum festgelegt
- Scheint hinsichtlich Anzahl und Zeitpunkt festgelegt zu sein, ausgerichtet auf ganze Wochen.
- Ausgabenfunktion ausgewählt, Schwellenwerte im Ticket hinterlegt
- Die Regel der Nutzlosigkeit wurde definiert, nicht nur die Wirksamkeitsregel.
- SRM wurde bei jeder Inspektion überprüft. bevor Der p-Wert wird abgelesen
- Die Leitplankenkennzahlen werden separat überwacht, außerhalb der Anhalteregel
- Jeder, der den Test stoppen kann, weiß, dass unangekündigte Blicke verboten sind.
Kalibrierung für die Türkei und die Region
Laut dem im Mai 2026 veröffentlichten E-Commerce-Ausblickbericht des Handelsministeriums verzeichnete die Türkei im Jahr 2025 5.94 Milliarden E-Commerce-Transaktionen mit einem Volumen von 4.57 Billionen Türkischen Lira.Daily Sabah, 12. Mai 2026Es handelt sich um einen großen Markt, der hauptsächlich aus mittelgroßen Geschäften besteht, daher sind vierwöchige Aktionszeiträume üblich – lang genug, um mit einer Kampagne zu kollidieren.
Die Ende November stattfindende Rabattaktion, die lokal als Efsane Cuma bekannt ist, und das ihr vorausgehende 11.11-Event verändern WER Es kommt nicht nur auf die Besucherzahlen an, sondern auch auf die tatsächliche Besucherzahl. Besucher, die an Rabatten interessiert sind, konvertieren nach anderen Kriterien. Daher ist ein Test, der sich über einen Kampagnenzeitraum erstreckt, nicht repräsentativ für eine bestimmte Zielgruppe. Unsere Regel: Test vor oder nach der Kampagne abschließen. Falls ein Test während einer Kampagne durchgeführt werden muss, sollte die Kampagnenwoche als separate Ebene betrachtet und innerhalb dieser Woche keine Abbruchentscheidung getroffen werden.
Eine zweite Anpassung gilt EU-weit und für KVKK-konforme Einwilligungsbanner in der Türkei: Wenn Analysedienste nur auf Einwilligung basieren, bleibt ein Teil Ihres Datenverkehrs unberücksichtigt. Größe und Zeitplan auf beobachtet Die Sitzungen oder jeder Look kommt später an als im Kalender angegeben.
[INTERNE DATEN BENÖTIGT: Median der täglichen Sitzungen und mediane realisierte Testdauer bei allen E-Commerce-Kunden von Switas, um die beispielhafte Zahl von 5,000 Sitzungen/Tag durch eine tatsächliche Verteilung zu ersetzen.]
Hier liegt das Problem
- Zusammensetzungsänderung. Sequenzielle Methoden setzen voraus, dass der eingehende Datenstrom im Zeitverlauf austauschbar ist. Eine Kampagne oder eine Änderung im Bereich bezahlter Medien unterbricht diese Annahme, und ein vorzeitiges Beenden der Daten in der jeweiligen Woche war ungewöhnlich.
- Neuheit und Vorrang. Eine Messung in der ersten Woche erfasst die Reaktion, nicht das etablierte Verhalten. Wenn die Veränderung für wiederkehrende Kunden sichtbar ist, sollte für die erste Messung keine Wirksamkeitsgrenze festgelegt werden.
- Metriken mit schweren Rändern. Der Umsatz pro Sitzung wird von seltenen Großbestellungen dominiert, und Normalverteilungsannäherungen sind bei kleinen Stichproben unzuverlässig. Betrachten Sie die Konversionsrate und den Umsatz parallel oder verwenden Sie eine Winsorisierung und geben Sie dies an.
- Mehrere Kennzahlen. Diese Grenzen kontrollieren den Fehler für dank One Metrik. Fünf Metriken mit fünf Abbruchregeln und ohne weitere Korrekturen bringen Sie wieder an den Ausgangspunkt zurück.
- Defekte Instrumente. Ein sequenzieller Test überschreitet problemlos eine Grenze bei beschädigten Daten. Er ist kein Ersatz für eine SRM-Prüfung.
- Hier nicht behandelt: Bayes'sche Stoppregeln, Multi-Armed-Bandit-Algorithmen und Varianzreduktionsverfahren wie CUPED interagieren jeweils auf eine Weise mit dem Early Stopping, die eine separate Betrachtung erfordert.
FAQ
Diesen Abschnitt mit dem FAQPage-Schema kennzeichnen.
Kann ich anstelle einer Ausgabenfunktion einfach einen strengeren p-Wert verwenden?
Ja, wenn Sie die Anzahl der Looks im Voraus festlegen und es nur wenige sind. Millers Tabelle gibt den Schwellenwert an. Diese Methode ist konservativer als Alpha-Ausgaben, sodass Sie mehr für das Sample bezahlen als nötig, aber es werden keine neuen Tools benötigt.
Bedeutet sequentielles Testen, dass ich die Berechnung des Stichprobenumfangs überspringen kann?
Nein. Die Validität bleibt auch ohne Stichprobenumfangsschätzung erhalten; die Teststärke jedoch nicht. Sowohl die Georgiev- als auch die Spotify-Simulation zeigen dasselbe Muster: Lässt sich der Stichprobenumfang schätzen, ist ein gruppen-sequenzielles Design überlegen.
Was, wenn ich eher auf einen Rückschritt als auf einen Sieg warte?
Das ist Überwachung der Schutzmaßnahmen, keine Hypothesenprüfung. Sicherheits- und Fehlerkennzahlen sollten kontinuierlich nach einer separaten, weniger strengen Regel überwacht werden, während die primäre Abbruchregel unverändert bleibt. Eine Variante, die Nutzern schadet, muss ohne Umschweife entfernt werden.
Ist das Bayes'sche Testen immun gegen Spionage?
Nein. Das Abbrechen der Entscheidung, sobald eine A-posteriori-Wahrscheinlichkeit einen Schwellenwert überschreitet, verändert die Funktionsweise der Entscheidungsregel, es sei denn, die Regel wurde für ein optionales Abbrechen konzipiert. Die A-priori-Wahrscheinlichkeit verändert die Form des Problems, nicht dessen Existenz.
O'Brien-Fleming oder Pocock?
O’Brien-Fleming ist in fast allen kommerziellen Fällen die beste Wahl. Pocock sollte man nur dann wählen, wenn ein frühes Ergebnis einen konkreten Nutzen hat, man etwa 20 % mehr Probenmaterial verarbeiten kann und jemand bereit ist, die Ergebnisse der ersten Woche zu liefern.
Kann ich einen Look hinzufügen, den ich nicht geplant hatte?
Bei einer Alpha-Ausgabenfunktion ja, vorausgesetzt, die Entscheidung, einen Blick darauf zu werfen, wird nicht durch die Daten bestimmt, die Sie gleich sehen werden. Ein Blick darauf, weil das Dashboard „ähnlich aussah“, ist datenabhängig und führt zum Verlust der Garantie.
Arbeiten Sie mit uns an diesem Projekt.
Wenn Sie Experimente auf einer türkischen oder regionalen E-Commerce-Plattform durchführen und die Abbruchregel heute „jeden Morgen überprüfen“ lautet, werden wir sie mit Ihnen neu aufbauen: Dimensionierung, Prüfplan, Grenzen, Abbruchregel und SRM-Gate, geschrieben in Ihre Experimentvorlage, sodass der nächste Test sie erbt. Sprechen Sie mit Switas über Ihr Experimentierprogramm..
Quellen
- Evan Miller, Wie man keinen A/B-Test durchführt
- Johari, Pekelis, Walsh und Koomen, Immer gültige Schlussfolgerung: Kontinuierliche Überwachung von A/B-Tests; veröffentlicht in Unternehmensforschung 70(3), 2022
- Georgi Georgiev, Vergleich der statistischen Aussagekraft sequenzieller TestsAnalytics-Toolkit, November 2022 (aktualisiert März 2023)
- Schultzberg und Ankargren, Auswahl eines Frameworks für sequentielles TestenSpotify Engineering, März 2023
- Optimistisch, Überblick über statistische Analysemethoden
- Statsig, Frequentistisches sequentielles Testen
- Ciolino, Kaizer und Bonner, Leitfaden zu Methoden der Zwischenanalyse in klinischen Studien, J Clin Transl Sci 7(1):e124, 2023
- Penn State STAT 509, Alpha-Ausgabenfunktionsansatz
- rpact, Definition sequentieller Gruppengrenzen
- Das E-Commerce-Volumen der Türkei wird im Jahr 2025 um mehr als 52 % steigen.Daily Sabah, 12. Mai 2026, unter Berufung auf den E-Commerce-Ausblick des Handelsministeriums
