Nur etwa ein Drittel der auf Microsofts Experimentierplattform getesteten Ideen verbesserten die Kennzahl, die sie verbessern sollten, und Netflix konnte seine eigene Erfolgsquote eher bei eins zu zehn eingrenzen.Kohavi und Longbotham, 2015Wenn der Großteil Ihres Backlogs fehlerhaft ist, bestimmt die Reihenfolge Ihrer Tests maßgeblich Ihren Erfolg. Dieser Leitfaden richtet sich an CRO-Leiter und Produktverantwortliche, die bereits mehr Testideen als Traffic haben. Wir bewerten dieselben drei Ideen mit ICE, PIE, PXL und RICE, zeigen die Unterschiede in den vier Rangfolgen auf, geben eine Regel für die Auswahl der richtigen Rangfolge und ergänzen das fehlende Kriterium: Kann ein Test vor Quartalsende Signifikanz erreichen?
Worauf die einzelnen Frameworks tatsächlich setzen
Alle vier liefern einen Zahlenwert, aber keiner misst dasselbe. Jedes ist weniger ein Punktesystem als vielmehr eine komprimierte Einschätzung dessen, was einen Test sinnvoll macht.
| Unser Ansatz | Eingänge | Formel | Origin | Die Wette, die es kodiert |
|---|---|---|---|---|
| EIS | Wirkung, Vertrauen, Leichtigkeit, jeweils auf einer Skala von 1 bis 10 | I × C × E | Sean Ellis, Wachstumspraxis | Erfahrungsgemäßes Urteilsvermögen ist das billigste Signal |
| KUCHEN | Potenzial, Wichtigkeit, Aufwand, jeweils auf einer Skala von 1 bis 10 | Durchschnitt der drei | Chris Goward, WiderFunnel (jetzt Umwandlung (Conversion)) | Wo Sie testen, ist wichtiger als was Sie ändern. |
| PXL | ~9 überwiegend binäre Fragen, einige mit einer Gewichtung von 0 oder 2 | Summe, aus einem festgelegten Maximum | Peep Laja, CXL, 27. September 2016 | Beweise für eine Idee sind wichtiger als das Vertrauen in sie. |
| REIS | Reichweite (Personen pro Zeitraum), Wirkung (0.25 bis 3), Vertrauen (50/80/100 %), Aufwand (Personenmonate) | (R × I × C) / E | Sean McBride, Intercom, 5. Januar 2018 | Bewertung der Auswirkungen pro Arbeitseinheit |
Zwei Korrekturen, bevor Sie sich für eines entscheiden. PXL wurde als Kritik an anderen CRO-Frameworks entwickelt: Lajas Argument lautet, dass ein Test überflüssig wäre, wenn man Potenzial oder Vertrauen im Voraus zuverlässig einschätzen könnte. Die offizielle Seite von PIE definiert zwar die Kriterien, veröffentlicht aber weder Skala noch Formel, sodass jedes Team seine eigene entwickelt. Die Domain widerfunnel.com leitet nun auf conversion.com weiter, daher verfügt das Framework, das in den meisten CRO-Präsentationen zitiert wird, über keine aktualisierte primäre Spezifikation mehr.
Derselbe Rückstand, auf vier verschiedene Arten bewertet
Drei Kandidatentests bei einem mittelständischen Einzelhändler. Die Zahlen dienen der Veranschaulichung und stellen keine Kundendaten dar.
- A. Ratenaufschlüsselung (taksit) im Preisblock der Produktseite. 180,000 PDP-Besucher pro Monat, unterstützt durch Analysen und Kundenfeedback.
- B. Die erzwungene Kontoerstellung im Checkout-Prozess wird entfernt. Monatlich werden 12,000 Checkout-Prozesse gestartet, unterstützt durch Usability-Tests, Aufzeichnungen, Analysen und Support-Kontakte.
- C. Die Überschrift des Hero-Bereichs auf der Startseite soll überarbeitet werden. 220,000 Seitenaufrufe pro Monat auf der Startseite, keine unterstützende Forschung, vorgeschlagen in einem Workshop.
| Test | REIS | EIS | KUCHEN | PXL (von 12) |
|---|---|---|---|---|
| A: Ratenaufschlüsselung | 144,000 (1st) | 294 (2.) | 7.0 (2.) | 10 (1st) |
| B: Kein erzwungenes Konto | 18,000 (3.) | 405 (1st) | 6.3 (3.) | 9 (2.) |
| C: Heldenüberschrift | 55,000 (2.) | 144 (3.) | 7.3 (1st) | 6 (3.) |
Jeder Test ist in mindestens einem Framework erfolgreich. Die Uneinigkeit besteht darin, dass die Frameworks ihre Aufgaben erfüllen:
- RICE setzt A an erste Stelle Weil Reach lediglich die reine Anzahl der Nutzer misst. Es lässt Checkout- und Kontoprozesse in jedem herkömmlichen Verkaufstrichter untergehen.
- ICE setzt B an erste Stelle. Weil ein erfahrener Praktiker die erzwungene Kontoeröffnung mit 9 Punkten für Auswirkung und Vertrauen bewertet und ICE die Meinungen miteinander vervielfacht. Ändern Sie den Bewerter, ändern Sie die Strategie.
- PIE setzt C an erste Stelle Weil die Startseite den wertvollsten Traffic generiert und der Text einfach zu übermitteln ist. PIE wurde entwickelt, um diese Auswahl zu treffen. Seiten; wurde gebeten, eine Rangfolge anzugeben ÄnderungenEs belohnt billige Änderungen an wichtigen Vorlagen.
- PXL setzt C an die letzte Stelle. Weil C bei allen vier Beweisfragen null Punkte erzielt. Es ist das einzige Rahmenwerk, das eine Vermutung strukturell bestraft, anstatt darauf zu vertrauen, dass der Bewertende seine Sicherheit ehrlich einschätzt.
Welche Variante verwenden: Wählen Sie anhand Ihrer Bindungsbeschränkung.
| Bindungsbeschränkung | Arbeiten jederzeit weiterbearbeiten können. Jede Präsentation und jeder KI-Avatar, den Sie von Grund auf neu erstellen oder hochladen, | Parce que |
|---|---|---|
| Noch keine Forschungsergebnisse, erste zehn Tests | ICE, mit schriftlichen Ankern | Funktioniert ausschließlich nach Ermessen. Behandeln Sie die Ausgabe als Warteschlange, nicht als Rangfolge. |
| Das Team testet immer wieder Meinungen und verliert. | PXL | Binäre Beweisfragen lassen sich schwer aufblähen. |
| Technische Kapazität, nicht Verkehr | REIS | Als einzige mit einem Nenner optimiert sie den Durchsatz. |
| Auswahl der Seite oder Vorlage, an der gearbeitet werden soll | KUCHEN | Genau für diese Frage entwickelt. |
| Traffic | Keiner allein | Alle vier wissen nicht, ob ein Test abgeschlossen werden kann. Fügen Sie das Tor unten hinzu. |
Alle vier Tore fehlen: Kann dieser Test beendet werden?
Reichweite ist nicht gleich Nachweisbarkeit. Prüfen Sie die Durchführbarkeit vor der Bewertung anhand der Normalapproximation für einen zweiseitigen Test mit 95 % Signifikanz und 80 % Teststärke:
n per variant ≈ 15.7 × p × (1 - p) / d²
woher p ist die Basisrate der Kennzahl, die Sie bewegen, und d ist der absolute Lift, den Sie erkennen möchten. Angewendet auf den obigen Backlog:
| Test | Metrik und Basislinie | MDE | Pro Variante | Wochen |
|---|---|---|---|---|
| A | PDP-Viewer kaufen, 2.0 % | 5 % relativ (0.1 Prozentpunkte) | ~ 307,700 | ~ 14 |
| A | PDP-Viewer kaufen, 2.0 % | 10 % relativ (0.2 Prozentpunkte) | ~ 76,900 | ~4 |
| B | Kaufvorgang starten, 55% | 5 % relativ (2.75 Prozentpunkte) | ~ 5,140 | ~4 |
Der Test RICE, der am höchsten bewertet wurde, kann bei der von den meisten Teams angenommenen Sensitivität ein Quartal lang nicht ausgewertet werden, während der Test RICE, der am niedrigsten bewertet wurde, nach einem Monat abgeschlossen ist. A basiert auf einer Basis von 2 % und B auf einer Basis von 55 %, und die Stichprobengröße wird bestimmt durch p(1-p)/d²Nicht die Anzahl der Seitenaufrufe ist ausschlaggebend. Eine solche Maßnahme wird auch dann sinnvoll, wenn man 10 % als kleinste relevante Steigerung definiert. Dadurch wird der minimale messbare Effekt zu einer Priorisierungsentscheidung und nicht zu einem statistischen Detail. Legen Sie dies im selben Meeting wie die Bewertung fest und verwenden Sie für alles denselben Rechner, da unterschiedliche Varianzapproximationen nicht exakt übereinstimmen. Evan Millers und der Switas A/B-Testrechner Beide sind in Ordnung.
Machbarkeitskategorien
- Zwei Wochen oder weniger. Grün. Punkt machen und los geht's.
- Zwei bis vier Wochen. Amber. Lass es alleine laufen und decke dabei mindestens zwei vollständige Wochenzyklen ab.
- Vier bis acht Wochen. Rot für einen Standard-A/B-Test. Erhöhen Sie die MDE, wechseln Sie zu einer Metrik mit höherer Basis oder verwenden Sie ein sequentielles Design mit einer vorab festgelegten Abbruchregel.
- Über acht Wochen. Führen Sie keinen A/B-Test durch. Versenden Sie das Produkt nach bestem Wissen und Gewissen unter Berücksichtigung von Leitlinien oder führen Sie eine qualitative Studie durch.
Dieses Tor ist hier von größerer Bedeutung, als die englischsprachige CRO-Literatur annimmt. Das E-Commerce-Volumen in der Türkei erreichte im Jahr 2025 4.567 Billionen Lira bei rund 634,000 Unternehmen (Handelsministerium, 12. Mai 2026Im Durchschnitt erwirtschaftet jedes Unternehmen jährlich etwa 7.2 Millionen Lira, wobei die Verteilung auf wenige Marktplätze konzentriert ist. Der typische Händler liegt daher deutlich darunter. Ein Onlineshop mit nur wenigen hundert Bestellungen pro Monat kann keinen aussagekräftigen Checkout-Test auf einer relevanten Marktplattform durchführen. Für solche Shops ist das Ergebnis einer Priorisierung ein Forschungs- und Messplan, kein Testplan.
Den Ergebnissen Bedeutung verleihen
- Ankerpunkte vor der Punktevergabe schreiben. Der Impact 3 in RICE muss in Ihrer Währung eine Bedeutung haben, beispielsweise „verändert die Kaufkonversion um mehr als 5 % relativ“. Ohne Ankerwerte schwanken die Werte innerhalb einer einzigen Sitzung.
- Vertrauenswürdigkeit nach Evidenzstufe begrenzen. Keine Forschungsobergrenze bei 50 %, reine Analyse bei 80 %, Analyse plus qualitative Analyse plus ein einschlägiger vorheriger Erfolg bei 100 %. Dies überträgt die Disziplin von PXL auf RICE.
- Werten Sie blind, gleichen Sie zuerst die größten Spannen ab. Drei Personen bewerten unabhängig voneinander die Punkte und besprechen anschließend nur die Punkte, bei denen die Unterschiede drei oder mehr betragen. Für dreißig Punkte benötigt man etwa vierzig Minuten.
- Vergleich der vorhergesagten Punktzahl mit dem tatsächlichen Ergebnis. Prüfen Sie nach zehn Messungen, ob die Impact-Werte mit den beobachteten Effekten korrelieren. Falls nicht, ist die Skala nur Dekoration und Sie sollten auf PXL umsteigen.
- Vergleichen Sie niemals Ergebnisse aus verschiedenen Rahmenwerken. Ein RICE-Wert von 144,000 und ein PXL-Wert von 10 stehen in keinem Zusammenhang.
Hier liegt das Problem
Diese Frameworks bewerten Ideen, verbessern sie aber nicht. Eine schwache Hypothese, die auf PXL 11 von 12 Punkten erreicht, ist immer noch schwach, und kein Modell kann Ihnen sagen, wo das eigentliche Problem liegt, das vor der zu testenden Seite auftritt. Spezifische Einschränkungen:
- Der Aufwand ist der unzuverlässigste Input und wird von niemandem neu bewertet. Der Nenner des RICE-Scores ist die Zahl, die am ehesten um den Faktor zwei falsch ist, und das verändert die Rangfolge stärker als ein falscher Impact-Score.
- Keine der vier Modelle interagiert. Führt man drei Tests gleichzeitig an einem Trichter durch, sagen die Ergebnisse nichts über Interferenzen aus.
- Reichweite in Personen pro Monat für saisonale Betriebe. Der Reise- und Bildungssektor sollte die Reichweite über einen vollständigen Saisonzyklus oder im Vergleich zum gleichen Zeitraum des Vorjahres bewerten.
- Abhängigkeiten sind unsichtbar. Eine Bewertung, die sowohl für den Test-Backlog als auch für die Produkt-Roadmap gilt, schmeichelt auch der Seite, die mehr Traffic verzeichnet.
[INTERNE DATEN BENÖTIGT: Switas Erfolgsquote nach Säulen in den letzten 24 Monaten, um die branchenüblichen Erfolgsquoten durch eigene Zahlen zu ersetzen.]
[INTERNE DATEN BENÖTIGT: ein anonymisierter Kunden-Backlog, bewertet nach zwei Frameworks, um das Beispiel zu ersetzen.]
Häufig gestellte Fragen
Ist RICE für CRO-Arbeiten besser geeignet als ICE?
Nicht unbedingt. RICE berücksichtigt Reichweite und Aufwand im Nenner, was hilfreich ist, wenn die Auslieferungskapazität der Engpass ist, aber Seiten mit hohem Traffic bevorzugt. Verwenden Sie RICE, wenn die Entwicklungszeit knapp ist, und ICE, wenn dies nicht der Fall ist.
Welche Punktzahl ist hoch genug, um einen Test durchzuführen?
Keiner der vier Tests hat eine absolute Schwelle. Die Bewertungen sind ordinal: Sie geben Hinweise auf das weitere Vorgehen, nicht darauf, ob etwas sinnvoll ist. Die absolute Hürde ist die Durchführbarkeit. Erreicht ein Test innerhalb von acht Wochen keine Signifikanz, ist seine Bewertung irrelevant.
Können wir zwei Frameworks kombinieren?
Die Kombination von Ergebnissen ist sinnlos, da die Skalen nicht miteinander korrelieren. Die Kombination von Eingaben hingegen nicht. Die Begrenzung des Selbstvertrauens aus der RICE-Skala mit den Evidenzfragen der PXL-Skala ergibt eine gut funktionierende Hybridlösung, die wir am häufigsten verwenden.
Funktioniert PXL auch für Websites, die nicht dem E-Commerce dienen?
Die Fragen zur Beweisführung lassen sich auf jedes Produkt übertragen. Die Fragen zum Layout setzen eine Marketingseite voraus und sind für eingeloggte Benutzerabläufe wenig aussagekräftig. Ersetzen Sie diese durch Fragen dazu, wie häufig Benutzer das jeweilige Element im Aufgabenablauf verwenden.
Sollten Websites mit geringem Traffic diese Frameworks überhaupt nutzen?
Ja, für die Sequenzierung von Aufgaben, aber nennen Sie das Ergebnis nicht länger Test-Roadmap. Auf einer Website, die keine Tests durchführen kann, ordnet dieselbe Vorgehensweise die Ergebnisse des UX-Audits, Forschungsfragen und Entwicklungsarbeiten.
Wer sollte an der Punktevergabe teilnehmen?
Drei bis fünf Personen, die unterschiedliche Datenquellen betrachten: Analysen, Forschungsergebnisse oder Support, und die Person, die für die Umsetzung verantwortlich ist. Eine Bewertung allein führt zu selbstsicherem Unsinn; eine Bewertung mit zehn Personen liefert Durchschnittswerte, die keine Rangfolge ergeben.
Probieren Sie dies mit Ihrem eigenen Aufgabenstapel aus.
Nehmen Sie die zehn Elemente ganz oben auf Ihrer Testliste, führen Sie für jedes die oben genannte Machbarkeitsformel durch und zählen Sie, wie viele bei der von Ihnen angenommenen Empfindlichkeit bestehen bleiben. Wenn mehr als die Hälfte ausscheidet, lag das Problem der Rangfolge nie. CRO- und Experimentierteam Diese Bewertung und Machbarkeitsprüfung ist der erste Schritt eines Projekts.
Quellen
- Kohavi, R. und Longbotham, R. (2015). Online-kontrollierte Experimente und A/B-TestsZitiert Kohavi, Crook und Longbotham (2009) für die Microsoft-Zahl, Moran (2007) für Netflix.
- McBride, S. (5. Januar 2018). RICE: Einfache Priorisierung für Produktmanager, Gegensprechanlage.
- Laja, P. (27. September 2016). PXL: Eine bessere Möglichkeit, Ihre A/B-Tests zu priorisieren, CXL.
- PIE-PriorisierungsrahmenConversion (ehemals WiderFunnel), mit freundlicher Genehmigung von Chris Goward.
- Türkisches Handelsministerium (12. Mai 2026). Das E-Commerce-Volumen erreichte im Jahr 2025 4.6 Billionen Lira..
- Miller, E. Stichproben-Rechner (Sample Size Calculator).
- Switas. A/B-Test-Rechner.
