Prüfen Sie, ob in fünf Filialen eine Diskrepanz im Probenverhältnis vorliegt, bevor Sie den Test wegwerfen.

Bei etwa 6 % der Experimente bei Microsoft tritt eine Diskrepanz im Stichprobenverhältnis auf, was bei einem Produkt, das jährlich 10,000 Experimente durchläuft, ungefähr einer Erkennung pro Tag entspricht (Fabijan et al., KDD 2019Teams, die deutlich weniger Tests durchführen, erreichen diese Zahl selten, da die von ihrer Plattform durchgeführte Überprüfung bei ihrem Datenverkehrsaufkommen keine Signifikanz erreicht. Der Test sieht einwandfrei aus, meldet eine Steigerung von 4 % und ist trotzdem fehlerhaft.

Dieser Leitfaden richtet sich an die Person, die die Ergebnisse des Experiments auswertet und über die Veröffentlichung entscheidet. Am Ende werden Sie in der Lage sein, zu beurteilen, ob Ihr Test groß genug ist, damit die Überprüfung auf Abweichungen aussagekräftig ist, fünf Diagnosezweige in der Reihenfolge durchzuführen, die die Ursache am schnellsten findet, und eine Ungleichgewicht, die die Ergebnisse ungültig macht, von einer zu unterscheiden, die Sie segmentieren und beibehalten können.

Was ein SRM-Alarm Ihnen tatsächlich mitteilt

Eine Diskrepanz im Stichprobenverhältnis liegt vor, wenn die konfigurierte Aufteilung nicht mit der beobachteten Aufteilung übereinstimmt: Sie haben beispielsweise 50/50 festgelegt und 50.8/49.2 erhalten. Die Standardprüfung hierfür ist der Pearson-Chi-Quadrat-Anpassungstest der Expositionszahlen; bei einem zweiarmigen Test hat dieser einen Freiheitsgrad.

Das ist wichtig, weil der Mechanismus, der zum Nutzerverlust führt, fast nie neutral in Bezug auf Ihre Kennzahl ist. Wenn eine Weiterleitung langsame Verbindungen von der Variante trennt, bleiben diejenigen mit besseren Verbindungen übrig, die eine höhere Konversionsrate aufweisen. Der Effekt ist in den Daten zwar vorhanden, aber in der Realität nicht erkennbar.

Hier liegt der erste Fehler, den die meisten Teams begehen: Es gibt keinen branchenweiten Schwellenwert. Die Plattformen unterscheiden sich um mehr als eine Größenordnung.

Zwei Konsequenzen. Ein Test, der auf einer Plattform als fehlerhaft markiert wurde, wird auf einer anderen Plattform mit identischen Daten als positiv bewertet. Daher ist die Aussage „Unser Tool hat uns nicht gewarnt“ kein Beweis für eine eindeutige Trennung. Ein Schwellenwert von 0.01 markiert zudem nur einen von hundert korrekten Tests als fehlerhaft. Betrachtet man den p-Wert täglich über einen dreiwöchigen Test, liegt die naive, unabhängige Obergrenze für einen Fehlalarm bei 19 %. Der tatsächliche Wert ist niedriger, da aufeinanderfolgende Tage stark korreliert sind, liegt aber nicht bei 1 %. Aus diesem Grund verwendet AB Tasty ein sequentielles Verfahren. Wenn Ihre Plattform einen Chi-Quadrat-Test mit festem Zeithorizont durchführt, sollten Sie die kumulativen Zählwerte einmalig am Ende überprüfen.

Prüfen Sie, ob Ihr Test überhaupt ein Ungleichgewicht erkennen kann.

Bei einer 50/50-Aufteilung vereinfacht sich die Chi-Quadrat-Statistik zu 4n(p̂−0.5)², wobei n die Gesamtzahl der Expositionen ist. Kehrt man diese Formel um, erhält man das kleinste Ungleichgewicht, das die Prüfung erkennen kann:

Lesen Sie es als Grenze, nicht als Lizenz. Bei 10,000 Transaktionen ist jede Abweichung unter 1.3 Punkten für die Prüfung nicht erkennbar, und ein Selektionseffekt von 1.3 Punkten reicht vollkommen aus, um einen kleinen Anstieg der Konversionsrate zu bewirken. Das ist das strukturelle Problem in den meisten Ländern der Region. Die Türkei verzeichnete im Jahr 2025 etwa 6 Milliarden E-Commerce-Transaktionen über rund 634,000 Unternehmen (Handelsministerium, 12. Mai 2026Im Durchschnitt liegt die Zahl bei knapp 9,500 pro Jahr und Markt, wobei dieser Wert durch einige wenige Marktplätze stark nach oben getrieben wird. Ein mittelständisches Geschäft, das einen Checkout-Schritt testet, arbeitet mit Zehntausenden von Kundenkontakten, nicht mit Millionen. Daher erfasst seine SRM-Prüfung grobe Fehler, aber keine subtileren.

Bei diesem Datenvolumen sollten Sie sich nicht auf den Alarm verlassen. Ermitteln Sie die Rohdaten der Expositionen nach Tag und Segment selbst und behandeln Sie eine anhaltende, gleichgerichtete Abweichung als verdächtig, selbst wenn der p-Wert unauffällig ist. Wenn Sie nicht sicher sind, wo Ihre Plattform diese Daten bereitstellt, SRM Checker-Dokumentation Ordnet sie jedem Werkzeug zu.

Die fünf Zweige, in der Reihenfolge, die die Ursache am schnellsten findet

Die KDD-Taxonomie sortiert SRM-Ursachen nach Lebenszyklusphase: Zuweisung, Ausführung, Protokollverarbeitung, Analyse, Störung. Die Diagnose erfolgt in einer anderen Reihenfolge, beginnend mit den kostengünstigsten und häufigsten Ursachen.

1. Analyse und Auslösung. Symptom: Die Aufteilung ist im Rohdatenprotokoll korrekt, in der Scorecard jedoch fehlerhaft. Prüfung: Berechnen Sie das Verhältnis erneut ohne Ihre Triggerbedingung, den Datumsfilter und die Verknüpfungen auf Metrikebene. Bestätigt sich das Problem, wenn das Verhältnis wieder dem Erwartungswert entspricht. Lösung: Prüfen Sie die Triggerung in beiden Studienarmen identisch, bevor variantenspezifisches Verhalten die Teilnahmeberechtigung beeinflussen kann. Häufigster Fehlalarm, der innerhalb von zehn Minuten behoben werden kann.
2. Protokollverarbeitung. Symptom: Die Anzahl der Zugriffe weicht zwischen zwei Pipelines ab, oder die Lücke tritt nach dem ETL-Schritt auf. Prüfung: Vergleichen Sie die Anzahl auf SDK-Seite, im Data Warehouse und in den Berichten für dasselbe Fenster und vergleichen Sie anschließend die Bot-Filter-Ausschlussraten pro Arm. Dies bestätigt, ob die Arme im Upstream gleich und im Downstream ungleich sind. Lösung: Filtern Sie deterministisch und identisch. Der automatisierte Datenverkehr erreichte 2026 53 % des Web-Traffics, gegenüber 51 % im Jahr 2024.Imperva-Bericht über schädliche Bots, 29. April 2026Daher kann ein heuristischer Filter, der auf Ladezeiten oder dem Verhalten des Benutzeragenten basiert, je nach Variante unterschiedliche Ausschlussraten erzielen. Auch der einwilligungsbedingte Verlust spielt hier eine Rolle: wenn ad_storage Wird der Antrag abgelehnt, stellt Googles Tag-Plattform das Setzen von Werbe-Cookies ein (Google Tag-Plattform-EinwilligungsdokumenteWenn also die Ablehnungsquoten in den verschiedenen Regionen innerhalb eines Tests unterschiedlich sind, führt dies bei jeder Zuordnung, die auf diesen Identifikatoren basiert, zu ungleichmäßigen Nutzerverlusten.
3. Ausführung. Symptom: Das Ungleichgewicht verstärkt sich mit zunehmender Seitengröße, ist auf Mobilgeräten ausgeprägter oder tritt bei der Bereitstellung auf. Überprüfung: Teilen Sie das Verhältnis nach Gerät, Browser, Verbindungstyp und Tag auf; vergleichen Sie die Zeit bis zum Zugriff zwischen den Varianten. Dies bestätigt sich, wenn das Defizit auf langsame Segmente oder einen bestimmten Browser konzentriert ist. Lösung: Hier scheitern Redirect-Tests. Ein Redirect fügt nur einer Variante eine vollständige Navigation hinzu, und jeder, der währenddessen abbricht, stellt einen selektiven Verlust dar. Rendern Sie beide Varianten serverseitig unter einer URL oder akzeptieren Sie, dass die Varianten nicht vergleichbar sind.
4. Zuweisung. Symptom: Das Verhältnis weicht ab der ersten Stunde ab und bleibt konstant. Überprüfung: Führen Sie einen A/A-Test mit derselben Allokation durch und prüfen Sie, ob das Hash-Salt nicht aus einem früheren Experiment mit dieser Population wiederverwendet wurde. Bestätigt dies, wenn der A/A-Test die Unausgewogenheit ebenfalls anzeigt. Lösung: Weisen Sie die Allokation mit einem neuen Salt zu und starten Sie den Test neu. Die Übernahme von Daten aus einem vorherigen Test ist die unauffällige Variante dieses Problems, die erst durch den A/A-Test sichtbar wird.
5. Interferenz. Symptom: Das Ungleichgewicht konzentriert sich auf wenige Kennungen mit hoher Aktivität oder interne IP-Bereiche. Überprüfung: Die Verteilung der Zugriffshäufigkeit pro Benutzer und die 1 % der Kennungen mit dem höchsten Ereignisvolumen werden überprüft. Die Überprüfung bestätigt das Ungleichgewicht, wenn das Entfernen dieser Kennungen das Verhältnis wiederherstellt. Lösung: Internen und skriptbasierten Datenverkehr per dokumentierter Regel ausschließen, nicht manuell, damit der Ausschluss beim nächsten Mal identisch ist.

Eine ausgearbeitete Schritt-für-Schritt-Anleitung

Die folgenden Zahlen dienen der Veranschaulichung und stellen keine Kundendaten dar. Ein Checkout-Test ergab 61,480 Kontroll- und 58,520 Varianten-Expositionen: 51.2/48.8 bei 120,000 Nutzern, Chi-Quadrat-p-Wert unter 0.001. Zweig 1: Ohne die Triggerbedingung ergeben sich 60,020/59,980 Ergebnisse. Die Zuordnung ist also korrekt, und der Verlust tritt nach der Exposition auf. Zweig 2: Die Pipeline-Zählungen stimmen überein, Bot-Ausschlüsse liegen in beiden Zweigen bei 0.9 %. Zweig 3: Auf Desktop-Geräten liegt der Wert bei 50.1/49.9, auf Mobilgeräten bei 52.4/47.6. Die mittlere Zeit bis zur Exposition der Variante ist auf Mobilgeräten um 900 ms höher. Diagnose: Die Variante sendet eine zusätzliche renderblockierende Anfrage. Mobile Nutzer brechen den Vorgang währenddessen ab, die verbleibenden Nutzer haben bessere Verbindungen. Die Auswertung ist ungültig. Die Korrektur ist eine Leistungsverbesserung, und der Test wird erneut ausgeführt, nicht neu interpretiert.

Was man retten kann und was nicht

• Messwert löschen Wenn der Verlustmechanismus plausibel mit der Metrik korrelieren könnte. Standardmäßig qualifiziert sich jede Ausführungs- und Zuweisungsursache.
• Bergung nach Segmenten Nur wenn sich das Ungleichgewicht auf ein Segment beschränkt, das Sie eindeutig ausschließen können, dieses Segment vor der Betrachtung der Metrik definiert wurde und der Rest seinen eigenen SRM-Check besteht, ist dies ausreichend. Zwei von drei Kriterien reichen nicht aus.
• Behalten Sie den Test bei Wenn die Ursache rein in der Analyse lag und die korrigierte Bewertung positiv ausfiel. Sie lesen dieselben Daten mit einem festen Filter erneut, anstatt nach Details zu suchen.
• Protokollieren Sie es in jedem Fall. Erfassen Sie die Ursachenkategorie des Experiments. Die Taxonomie zahlt sich kumulativ aus: Wenn drei Ihrer letzten zehn Tests in Zweig 3 fehlgeschlagen sind, liegt das Problem nicht im Experimentieren selbst, sondern in der Frontend-Bereitstellung. [INTERNE DATEN BENÖTIGT: Anteil der von Switas durchgeführten Experimente der letzten 24 Monate, die einen SRM-Check nicht bestanden haben, aufgeschlüsselt nach Taxonomiezweig, um den Microsoft-Benchmark von 6 % durch einen Wert aus diesem Markt zu ersetzen.]

Hier liegt das Problem

Dieser Entscheidungsbaum basiert auf einem zweiarmigen Test mit fester, bekannter Zuteilung und Randomisierung auf Benutzerebene. Er berücksichtigt keine mehrarmigen Tests, die den vollständigen Chi-Quadrat-Test über alle Arme sowie eine Nachuntersuchung des abweichenden Paares erfordern, oder gestaffelte Zuteilungen, bei denen sich das erwartete Verhältnis während des Tests ändert und ein kumulativer Chi-Quadrat-Test daher ungeeignet ist. Er ist nicht anwendbar auf Cluster- oder georandomisierte Designs, bei denen die Einheit nicht der Benutzer ist und die relevante Ungleichverteilung in den Clustercharakteristika liegt. Er sagt nichts darüber aus, ob Ihre Metrikdefinition korrekt ist. Und er hilft nicht, wenn Expositionen nicht protokolliert werden und Sie die Zuteilung aus einem Metrikereignis ableiten, was keine Split-Check-Analyse, sondern eine Schätzung ist.

FAQ

Ist eine Aufteilung von 51/49 immer ein Problem? Es hängt vollständig von n ab. Bei 5,000 Belichtungen handelt es sich um normales Rauschen; bei 500,000 Belichtungen ist es ein nahezu sicherer Defekt. Beurteilen Sie das Verhältnis anhand der Nachweisbarkeitstabelle, nicht anhand einer festen Faustregel.

Kann ich die Arme einfach statistisch neu gewichten, anstatt den Test zu wiederholen? Nein. Durch die Neugewichtung werden die Zählungen korrigiert, die Auswahl bleibt jedoch unverändert. Die ausgeschiedenen Nutzer sind nicht mehr vorhanden und stellten keine Zufallsstichprobe dar.

Wie oft sollte ich den SRM-p-Wert überprüfen? Einmalig am Ende, basierend auf den kumulativen Zählungen, es sei denn, Ihre Plattform verwendet ein sequentielles Verfahren. Die tägliche Überprüfung eines Chi-Quadrat-Tests mit festem Zeithorizont erhöht die Anzahl der Fehlalarme erheblich.

Werden durch SRM auch die Leitplankenmetriken ungültig? Ja, aus demselben Grund. Wenn die Arme unterschiedliche Bevölkerungsgruppen umfassen, ist eine flache Leitplanke nicht verlässlicher als eine sich bewegende primäre Messgröße.

Was passiert, wenn ein A/A-Test ebenfalls eine Diskrepanz aufzeigt? Dann liegt der Fehler in der Aufgabenverteilung oder in der Protokollierungspipeline, nicht in Ihrer Datenverarbeitung. Beheben Sie ihn, bevor Sie weitere Tests ausführen, da er sonst jeden Test auf dieser Plattform beeinträchtigt.

Führen Umleitungstests immer zu SRM? Nicht immer, aber sie bergen ein strukturelles Risiko, das bei keiner anderen Konstruktion besteht, da die zusätzliche Navigation nur in einem Arm vorhanden ist. Falls Sie unbedingt ein solches System verwenden müssen, überprüfen Sie das Verhältnis von Verbindungsgeschwindigkeit zu Gerät, bevor Sie irgendwelche Messwerte interpretieren.

Mein Traffic ist zu gering, als dass die Überprüfung irgendeine Aussagekraft hätte. Was nun? Überwachen Sie die Rohdaten der täglichen Expositionszahlen auf anhaltende Abweichungen, führen Sie regelmäßig eine A/A-Analyse auf der Zuordnungsebene durch und registrieren Sie vorab eine längere Liste von Plausibilitätsprüfungen. Sie ersetzen statistische Aussagekraft durch Prozessoptimierung.

Soll die Bot-Filterung vor oder nach der Aufgabenverteilung erfolgen? Nach der Belichtungsprotokollierung und vor der Analyse werden deterministische Regeln auf beide Arme identisch angewendet. Die heuristische Filterung innerhalb des SDK führt dazu, dass der Filter selbst zur Fehlanpassung wird.

Führen Sie die Überprüfung an Ihrem eigenen Experimentprogramm durch.

Wenn Sie eine zweite Meinung zum Status Ihrer laufenden Tests einholen oder die Zuweisungs- und Protokollierungsschicht, auf der alle Tests basieren, überprüfen möchten, dann ist das genau das, was wir bieten. CRO- und Experimentierdienstleistung tut.

Quellen

• Fabijan, Gupchup, Gupta, Omhover, Vermeer, Dmitriev, „Diagnose von Stichprobenverhältnis-Diskrepanzen in Online-kontrollierten Experimenten: Eine Taxonomie und Faustregeln für die Praxis“, KDD 2019
• AB Tasty Dokumentation, Probenverhältnisabweichung (sequenzielles S-SRM, Schwellenwert 0.01)
• Statsig, „Eine Kurzanleitung zur Stichprobenverhältnis-Diskrepanz“, 31. August 2023 (Chi-Quadrat-Test, Schwellenwert 0.01)
• GrowthBook-Dokumentation, Experimentieren (Chi-Quadrat-Test, Warnung bei Werten unter 0.001)
• Imperva, „Bad Bot Report 2026: Bots im Zeitalter der Agenten“, 29. April 2026
• Handelsministerium der Republik Türkei, E-Commerce-Zahlen für 2025, 12. Mai 2026
• Google Tag-Plattform, Einwilligungsmodus und Speicherverhalten
• SRM Checker-Dokumentation und FAQ, Lukas Vermeer