Die meisten A/B-Tests im E-Commerce werden anhand derjenigen Kennzahl durchgeführt, die sich gerade verändert hat. So kommt es, dass ein Team eine Variante veröffentlicht, die die Konversionsrate um 4 % steigert, aber Verluste verursacht. Die Lösung liegt in der Zeit vor dem Launch: Man wählt eine primäre Kennzahl, legt deren Obergrenze und den minimalen messbaren Effekt fest und betrachtet alles andere als Schutzmaßnahme. Die Wahl der Kennzahl ist keine rein kosmetische Angelegenheit. Das Experimentierteam von Microsoft maß den Umsatz pro Nutzer als die am stärksten verzerrte Kennzahl und zeigte, dass durch die Festlegung einer Obergrenze die Mindestanzahl an Nutzern pro Testgruppe von etwa 114,000 auf 9,700 gesenkt werden konnte, damit der Test statistisch aussagekräftig blieb.Kohavi et al., KDD 2014Dieser Leitfaden vergleicht die fünf Kennzahlen, über die Teams tatsächlich streiten, und liefert Ihnen die Berechnungen, um die richtige Wahl zu treffen.
Die fünf Kandidaten und was jeder von ihnen wirklich misst
Nutzerkonversionsrate. Der Anteil der Nutzer im jeweiligen Bereich, die mindestens eine Bestellung aufgegeben haben. Binär, begrenzt, geringe Varianz. Unabhängig von der Warenkorbgröße, belohnt es alles, was günstige Bestellungen vorzieht.
Umsatz pro Nutzer (RPU). Umsatz im jeweiligen Geschäftsbereich geteilt durch die Anzahl der Nutzer im jeweiligen Geschäftsbereich (einschließlich Nullen). Dies ist der wichtigste Faktor für den Geschäftsbetrieb und daher am anfälligsten für einen einzelnen Großauftrag.
Begrenzter Umsatz pro Nutzer. Dieselbe Kennzahl, wobei die Einnahmen jedes Nutzers auf einen vor dem Start festgelegten Höchstbetrag begrenzt werden. Dies führt zu einer geringfügigen Verzerrung, dafür aber zu einer deutlichen Reduzierung der Varianz.
Durchschnittlicher Bestellwert (AOV). Umsatz geteilt durch Bestellungen. Niemals eine primäre Kennzahl in einem nutzerrandomisierten Test: Der Nenner ist ein Ergebnis des Tests, daher weist eine Variante, die mehr kleine Bestellungen gewinnt, einen sinkenden durchschnittlichen Bestellwert auf, erzielt aber gleichzeitig höhere Gewinne.
Umsatz pro Sitzung. Ein weiteres Verhältnis, dessen Nenner nicht die Randomisierungseinheit ist. Randomisieren Sie Benutzer, analysieren Sie Sitzungen, und ein naiver t-Test liefert die falsche Varianz: Sie benötigen die Delta-Methode oder einen Cluster-sensitiven Schätzer (Deng, Knoblich und Lu, KDD 2018).
Vergleichen Sie sie anhand von sechs Kriterien
| Kriterium | Benutzer-CVR | RPU | Gedeckelte RPU | AOV | Umsatz / Sitzung |
|---|---|---|---|---|---|
| Der Nenner ist die Randomisierungseinheit. | Ja | Ja | Ja | Nein | Nein |
| Verkehr benötigt | Vorhersagbar | Hängt von der Schiefe ab | Niedrig | Niedrig | Medium |
| Reagiert empfindlich auf die Warenkorbgröße | Nein | Ja | Teilweise | Ja | Ja |
| Übersteht einen riesigen Auftrag | Ja | Nein | Ja | Nein | Nein |
| Finanziell vertretbar | Nein | Ja | Fast | Nein | Fast |
| Sicherheit als primäres Messkriterium | Ja | Mit Größenangaben | Ja | Nie | Nur mit der Delta-Methode |
Ermitteln Sie, ob der Umsatz pro Nutzer tatsächlich Traffic kostet.
Laut gängiger Meinung benötigen Umsatzkennzahlen stets deutlich mehr Traffic als die Konversionsrate. Dies ist jedoch keine feste Regel, sondern eine Folge einer einzigen Kennzahl: des Variationskoeffizienten (VK) des Umsatzes pro Nutzer, also seiner Standardabweichung geteilt durch seinen Mittelwert, über alle Nutzer hinweg, einschließlich der Nicht-Käufer.
Bei einer Teststärke von 80 % und einer zweiseitigen Teststärke von 5 % benötigten die Benutzer pro Arm, um dasselbe zu erkennen. relativ Der Effekt beträgt ungefähr 16·p(1−p)/(p·r)² für eine binäre Rate und 16·CV²/r² für eine kontinuierliche Metrik. Setzt man sie gleich, so ergibt sich der Crossover zu CV = √((1−p)/p):
| Ihre Nutzerkonversionsrate | CV des Umsatzes pro Nutzer, unterhalb dessen RPU keinen zusätzlichen Traffic benötigt |
|---|---|
| 1.0% | 9.9 |
| 2.0% | 7.0 |
| 2.4% | 6.4 |
| 3.0% | 5.7 |
| 5.0% | 4.4 |
Beispielrechnung mit beispielhaften Zahlen anstelle von Kundendaten. Ein Shop erzielt eine Conversion-Rate von 2.4 %, der durchschnittliche Umsatz pro Nutzer beträgt 24 Währungseinheiten, und die Bestellungen der letzten 90 Tage weisen eine Standardabweichung von 240 auf. Der Variationskoeffizient (CV) beträgt somit 10. Um eine relative Steigerung von 10 % zu erzielen, werden pro Filiale etwa 65,000 Nutzer hinsichtlich der Conversion-Rate und etwa 160,000 Nutzer hinsichtlich des rohen Umsatzes pro Nutzer benötigt. Wird die Kennzahl auf das 99. Perzentil des Bestellwerts begrenzt, liegt der CV typischerweise im Bereich von 4 bis 6. Bei einem CV von 6 beträgt der Bedarf etwa 58,000 Nutzer. billiger als Konversionsrate.
Ein vierstufiges Verfahren
- Benennen Sie die Entscheidung, nicht die Kennzahl. Formulieren Sie den Satz: „Wenn dies erfolgreich ist, rollen wir es für den gesamten Datenverkehr aus und erwarten X.“ Die Metrik ist das, was die Überprüfbarkeit dieses Satzes ermöglicht.
- Eliminieren Sie Verhältnisse, deren Nenner sich nach dem Kriterium verschieben lässt. Der durchschnittliche Bestellwert (AOV) wird sofort in die Kontrollliste aufgenommen. Der Umsatz pro Sitzung bleibt nur dann erhalten, wenn Ihr Tool Cluster-basierte Varianzanalysen durchführt.
- Berechne den Variationskoeffizienten und lies die Tabelle ab. Unterhalb des Schwellenwerts wird die RPU verwendet. Oberhalb des Schwellenwerts wird die RPU begrenzt und die begrenzte RPU verwendet. Wird der Schwellenwert weiterhin überschritten, wird auf die Nutzerkonversionsrate zurückgegriffen und die RPU in die Kontrollliste aufgenommen.
- Die Cap-, MDE- und Laufzeitumgebung müssen schriftlich eingefroren werden, bevor ein einziger Benutzer damit in Berührung kommt. Eine Obergrenze, die erst nach Sichtung der Daten festgelegt wird, ist keine Obergrenze, sondern ein Ergebnis.
Wie man die Kappe einstellt
Ermitteln Sie das 99. Perzentil des Umsatzes pro Nutzer über einen Zeitraum, der mindestens so lang ist wie der geplante Test und die gleiche Saisonalität abdeckt, und dokumentieren Sie diesen Wert im Testbericht. Geben Sie den Umsatz pro Nutzer mit Umsatzbegrenzung als primäres Ergebnis und den Umsatz ohne Umsatzbegrenzung daneben an. Weichen die beiden Werte voneinander ab, ist dies auf einige wenige sehr große Bestellungen zurückzuführen: ein Befund, der untersucht werden sollte, aber kein Ergebnis, das veröffentlicht werden muss.
Was ändert sich in einem Markt mit hoher Inflation?
Die Türkei verzeichnete im August 2026 eine jährliche Verbraucherpreisinflation von 31.51 % und eine monatliche Inflation von 1.84 %.Präsidentschaft für Strategie und Haushalt, 4. September 2026, auf TÜİK-DatenTeams hier gehen oft davon aus, dass dies umsatzbasierte Testmetriken ungültig macht. Das ist nicht der Fall, und die Korrektur ist wichtig:
- Es verzerrt den Vergleich nicht. Beide Bereiche sind gleichzeitig von den gleichen Preisänderungen betroffen. Genau diese gleichzeitige Kontrolle schützt Sie.
- Das würde Ihren Business Case zunichtemachen. Rechnen Sie den Lift in einen Prozentsatz um und wenden Sie ihn auf einen zukünftigen Umsatzplan an. Multiplizieren Sie eine absolute Währungsänderung über vier Wochen niemals mit 13.
- Es bricht mit historischen Maßstäben. Ein auf Basis der Bestellungen des Vorjahres berechneter Variationskoeffizient (CV) ist für die Dimensionierung des heutigen Tests ungeeignet. Bitte berechnen Sie ihn anhand aktueller Daten neu.
- Es interagiert mit Ihrer Kappe. Eine im Januar festgelegte Währungsobergrenze wird bis Dezember deutlich verschärft. Das Perzentil muss jedes Quartal neu berechnet werden.
Die gleiche Logik gilt in jedem Markt mit schnell schwankenden Preisen oder einer volatilen Währung.
Leitplanken: Was man prüft, aber niemals deklariert
Eine Leitplanke kann einen Sieg verhindern, aber keinen herbeiführen. Legen Sie sich auf eine primäre Kennzahl fest und halten Sie diese Liste kurz, denn jede zusätzliche Kennzahl, auf die Sie reagieren würden, erhöht Ihre Fehlalarmrate (Kohavi, Deng und Vermeer, KDD 2022Ein praktikabler Standardsatz:
- Unbegrenzte Einnahmen pro Nutzer als Realitätscheck für die Obergrenze
- Bestellungen pro Benutzer, um einen Aufzug zu erwischen, der nur Warenkörbe teilt
- Die Rückgabe- oder Stornierungsrate wird in einem Verzögerungsfenster gemessen, weil eine Änderung im Bestellprozess, die fehlerhafte Bestellungen durchlässt, zwei Wochen lang wie ein Erfolg aussieht.
- Core Web Vitals auf der geänderten Vorlage
- Das Stichprobenverhältnis wird täglich geprüft; eine Abweichung macht alles darüber Hingehende ungültig.
Hier liegt das Problem
Dieses Verfahren setzt eine Randomisierung auf Benutzerebene, jeweils einen Test auf der betroffenen Oberfläche und einen Kaufabschluss innerhalb des Messzeitraums voraus. Es liefert keine brauchbaren Ergebnisse, wenn:
- Der Kaufzyklus ist länger als der Test. Reisebuchungen und Buchungen im gehobenen Einzelhandel erfolgen erst Wochen nach der Veranstaltung. Nutzen Sie einen Frühindikator mit nachgewiesenem Bezug zum Umsatz und akzeptieren Sie, dass Sie den Indikator testen.
- Der Datenverkehr liegt bei jeder Kapazitätsgrenze unterhalb des Schwellenwerts. Bei etwa 10,000 Nutzern pro Arm und Woche liefern moderierte Usability-Tests und ein UX-Audit mehr Erkenntnisse als ein unzureichend aussagekräftiger Test.
- Die Änderung zielt auf eine Untergruppe ab. Eine Kennzahl, die alle Nutzer einbezieht, schwächt einen Effekt ab, der beispielsweise auf Ratenzahler beschränkt ist. Es empfiehlt sich, das Segment vorab als Gesamtpopulation zu erfassen, anstatt es nachträglich zu unterteilen.
- Die Umsatzrealisierung erfolgt anders als durch das ausgelöste Tag. Falls die in GA4 erfassten Einkaufserlöse und Ihre Auftragstabelle voneinander abweichen, beheben Sie das zuerst.
- Ihre Methode zur Konversionszählung ist nicht das, was Sie denken. GA4 zählt ein wichtiges Ereignis entweder einmal pro Ereignis oder einmal pro Sitzung, je nachdem, wie es erstellt wurde. Daher führt dasselbe Verhalten zu fünf Conversions oder zu einer (Google Analytics-Hilfe).
Die CV-Tabelle dient als Auswahlhilfe für verschiedene Metriken und ersetzt keine Poweranalyse. Bestimmen Sie die Testgröße anhand der gewählten Metrik und Ihrer eigenen Varianzschätzung.
Häufig gestellte Fragen
Für das FAQPage-Schema vorgesehen.
Kann ich zwei primäre Kennzahlen verwenden, wenn ich beide zum Erfolg benötige?
Das ist möglich, und es macht den Test eher konservativer als weniger streng. Die Anforderung, dass beide Tests signifikant sein müssen, verringert die Teststärke, daher sollte der schwierigere Test größer sein. Man kann jedoch nicht einfach den Test auf Basis des zufällig gewonnenen Ergebnisses festlegen.
Führt eine Umsatzbegrenzung zu einer Verzerrung des Ergebnisses?
Ja, bewusst. Eine gedeckelte Kennzahl misst den Umsatz pro Auftrag anstatt des Gesamtumsatzes. Diese Verzerrung ist der Preis für eine nutzbare Varianz und akzeptabel, da sie für beide Geschäftsbereiche gleichermaßen gilt. Die ungedeckelte Zahl sollte daneben angegeben werden, damit der Vorgang transparent bleibt.
Bei welchem Perzentil sollte die Obergrenze liegen?
Das 99. Perzentil des Umsatzes pro Nutzer ist ein sinnvoller Standardwert. Liegt der Variationskoeffizient (CV) noch über diesem Schwellenwert, versuchen Sie es mit 97.5. Unterhalb des 95. Perzentils sollten Sie eher gewöhnliche große Warenkörbe als Ausreißer aussortieren.
Warum ist der durchschnittliche Bestellwert eine so schlechte primäre Kennzahl?
Weil der Test die Anzahl der Bestellungen verändert. Eine Variante, die mehr zögerliche Kunden mit kleinerem Warenkorb überzeugt, steigert den Umsatz und senkt gleichzeitig den durchschnittlichen Bestellwert (AOV). Der AOV ist ein Indikator zur Interpretation von Umsatzveränderungen und niemals die alleinige Entscheidungsgrundlage.
Kann ich die primäre Metrik ändern, nachdem der Test gestartet wurde?
Nein. Die Wahl der Metrik erst nach der Dateneinsicht ist derselbe Fehler wie der Abbruch des Tests nach der Dateneinsicht und führt auf dieselbe Weise zu einer Erhöhung der falsch positiven Ergebnisse. Sollte sich die gewählte Metrik als falsch erweisen, protokollieren Sie dies, beenden Sie den Testlauf und betrachten Sie das Ergebnis als explorativ.
Wie gehe ich mit mehreren Währungen um?
Rechnen Sie jede Bestellung zu einem einheitlichen, zu Beginn des Tests festgelegten Kurs in eine Berichtswährung um, nicht zum Tageskurs. Ein variabler Kurs führt zu Schwankungen, die nichts mit Ihrer Variante zu tun haben, und trifft die einzelnen Bereiche ungleichmäßig, wenn sich deren Traffic-Mix unterscheidet.
Was passiert, wenn die Konversionsrate steigt und der maximale Umsatz pro Nutzer sinkt?
Das ist das aufschlussreichste Ergebnis in diesem Leitfaden. Die Variante generiert mehr Aufträge mit niedrigerem Wert. Ob sie versendet wird, hängt von der Marge und dem wiederkehrenden Kundenverhalten ab. Treffen Sie daher eine unternehmerische Entscheidung und lösen Sie sie nicht statistisch.
Führen Sie dies bei Ihrem nächsten Test aus.
Ermitteln Sie die Umsatzdaten pro Nutzer für 90 Tage, berechnen Sie den Variationskoeffizienten und vergleichen Sie ihn mit der obigen Tabelle, bevor Sie Ihr nächstes Testbriefing erstellen. Falls Sie Metrikdefinitionen, Obergrenzen und Leitplanken lieber einmalig festlegen und einheitlich im gesamten Experimentprogramm anwenden möchten, ist unser Service genau das Richtige für Sie. Service zur Optimierung der Konversionsrate tut.
Quellen
- Ron Kohavi, Alex Deng, Roger Longbotham, Ya Xu. Sieben Faustregeln für Webseiten-ExperimentiererKDD 2014.
- Alex Deng, Ulf Knoblich, Jiannan Lu. Anwendung der Delta-Methode in der Metrikanalyse: Ein praktischer Leitfaden mit neuen IdeenKDD 2018.
- Ron Kohavi, Alex Deng, Lukas Vermeer. A/B-Testing-Intuitions-Killer: Häufige Missverständnisse bei kontrollierten Online-ExperimentenKDD 2022.
- Präsidentschaft für Strategie und Budget der Republik Türkei. Preisentwicklung für Verbraucher und Erzeuger bis August 2026, 4. September 2026, mit Angaben der TÜİK über eine monatliche Veränderung des Verbraucherpreisindex von 1.84 % und eine jährliche Veränderung von 31.51 %.
- Google Analytics-Hilfe. Ändern Sie die Zählmethode für wichtige Ereignisse.
