ICE-Bewertungsmodell

Das ICE-Bewertungsmodell priorisiert Ideen, indem es jede anhand von drei Dimensionen bewertet: Wirkung, Zuverlässigkeit und Umsetzbarkeit. Typischerweise erfolgt dies auf einer Skala von eins bis zehn. Die Bewertungen werden multipliziert oder gemittelt, um eine Rangfolge zu erstellen. Das Modell, das mit Sean Ellis in Verbindung gebracht wird und in Wachstumsteams weit verbreitet ist, ist bewusst schlank gehalten und dient eher der schnellen Priorisierung eines Backlogs als der Erstellung einer fundierten Wertschätzung.

Die einzelnen Komponenten korrespondieren mit den Fragen, die letztendlich darüber entscheiden, ob eine Idee lohnenswert ist. Die Auswirkung schätzt ab, wie stark sich die Änderung auf die Zielkennzahl auswirken würde, wenn sie erfolgreich wäre. Die Zuversicht schätzt ein, wie sicher sich das Team hinsichtlich des Erfolgs ist, basierend auf fundierten Erkenntnissen und nicht auf bloßer Begeisterung. Der Aufwand schätzt den erforderlichen Nutzen ein, was dem Kehrwert der Kosten entspricht und berücksichtigt wird, da ein Portfolio kostengünstiger Experimente pro Quartal mehr Erkenntnisse liefert als wenige teure.

Die Dimension „Vertrauen“ unterscheidet das Modell von einer einfacheren Aufwands-Wirkungs-Bewertung und wird am häufigsten unachtsam angewendet. Vertrauen sollte auf Fakten beruhen: Eine Hypothese, die durch Sitzungsaufzeichnungen, Analysen, Kundeninterviews und ähnliche, bereits beobachtete Ergebnisse gestützt wird, verdient eine hohe Punktzahl, während eine Idee, die jemand in einem Meeting überzeugend fand, keine verdient. Teams, die Vertrauen auf Überzeugung statt auf Fakten gründen, machen aus dem Modell einen Mechanismus zur Bewertung von Meinungen – genau das, was es eigentlich ersetzen sollte.

Die Schwäche des Modells liegt darin, dass die Bewertungen subjektiv sind und die Berechnung ihnen eine unberechtigte Bedeutung verleiht. Zwei Personen können dieselbe Idee sehr unterschiedlich bewerten, und die Multiplikation dreier unsicherer Schätzungen ergibt eine Zahl, die deutlich präziser erscheint, als es die zugrunde liegenden Daten rechtfertigen. Eine Bewertung von 240 ist nicht wesentlich besser als eine von 210, und die Rangfolge als exakt zu betrachten, ist irreführend. Das Modell dient eher als Sortiermechanismus, um offensichtliche Prioritäten von offensichtlichen Depriorisierungen zu trennen und Diskussionen über Meinungsverschiedenheiten zu strukturieren, als als Berechnungsinstrument.

Konsistenz ist entscheidend für die praktische Anwendbarkeit. Die Bewertung funktioniert sinnvoll, wenn dieselben Personen in derselben Sitzung anhand gemeinsamer Definitionen bewerten, da relative Vergleiche auch dann gültig sind, wenn absolute Werte willkürlich sind. Sie versagt jedoch, wenn verschiedene Personen zu unterschiedlichen Zeiten ohne vereinbarte Bezugspunkte bewerten, wenn die Wirkung anhand unterschiedlicher Metriken für verschiedene Ideen bewertet wird oder wenn die Bewertungen von der Person vergeben werden, die die Idee vorgeschlagen hat. Einfache Konventionen, wie die Bewertung in der Gruppe, die Definition der einzelnen Stufen anhand von Beispielen und die Angabe der Belege für eine Konfidenzbewertung, lösen die meisten dieser Probleme.

Der Vergleich von Rahmenwerken ist weniger sinnvoll als die Auswahl und konsequente Anwendung eines solchen, da der Hauptvorteil eines jeden Bewertungsmodells darin besteht, die Priorisierungsgründe explizit und über verschiedene Ideen hinweg vergleichbar zu machen. Ausgefeiltere Rahmenwerke, die Reichweite und Wirkung trennen oder den Aufwand als Divisor einbeziehen, liefern zwar eine höhere Präzision, die angesichts der Qualität der zugrunde liegenden Schätzungen jedoch weitgehend illusorisch ist. Der zusätzliche Aufwand kann sich aber lohnen, wenn einzelne Maßnahmen so kostspielig sind, dass die Rangfolge tatsächlich relevant ist. Allen Rahmenwerken liegt der gemeinsame Fehler darin, das Ergebnis als Entscheidungsgrundlage statt als Input zu behandeln. Jedes Rahmenwerk wird daher schlechte Ergebnisse liefern, wenn die Bewertungen dazu dienen, eine bereits getroffene Schlussfolgerung zu rechtfertigen.

ICE lässt sich am besten als schnellere Alternative zu komplexeren Frameworks verstehen und eignet sich besonders dann, wenn die Kosten jedes einzelnen Elements gering und die Anzahl der Kandidaten hoch ist, was auf die meisten Experimentier-Backlogs zutrifft. CRO-Dienstleistung Das Programm wird häufig verwendet, um Testideen bei jeder Planungssitzung zu ordnen, wobei die Stichprobengröße und die erwartete Laufzeit jedes Tests neben der Punktzahl berücksichtigt werden, da eine Idee, die gut abschneidet, aber zwei Monate Traffic benötigt, anders konkurriert als eine, die sich in zehn Tagen löst.