ICEスコアリングモデル

ICEスコアリングモデルは、アイデアをインパクト、確信度、容易さという3つの側面で評価し（通常は1～10のスケール）、それらのスコアを掛け合わせるか平均してランキングを作成することで、アイデアの優先順位を決定します。ショーン・エリス氏が考案し、成長チームで広く用いられているこのモデルは、意図的に軽量化されており、価値の妥当な見積もりを作成するよりも、バックログを迅速に整理することを目的としています。

その構成要素は、実際にアイデアを実行する価値があるかどうかを判断する質問に対応しています。インパクトは、変更が成功した場合に目標指標がどれだけ変化するかを推定します。コンフィデンスは、熱意ではなく裏付けとなる証拠に基づいて、チームがその変更が成功するとどれだけ確信しているかを推定します。イージーは、必要な労力の少なさを推定するもので、コストの逆数であり、少数の高価な実験よりも、安価な実験のポートフォリオの方が四半期ごとに多くの学習を生み出すため、この要素に含まれています。

信頼性という要素こそが、このモデルを単純な効果対労力ランキングと区別するものであり、最も安易に適用されがちな要素でもあります。信頼性は証拠に基づいて評価されるべきです。セッションの録画、分析結果、顧客インタビュー、そして過去に同様の結果が観察されたことで裏付けられた仮説は高い評価に値しますが、会議で誰かが魅力的だと感じたアイデアはそうではありません。証拠ではなく確信に基づいて信頼性を評価するチームは、このモデルを意見をランク付けする仕組みに変えてしまい、本来の目的である意見のランク付けを阻害することになります。

このフレームワークの弱点は、スコアが主観的であり、計算によって不当な権威が与えられている点にある。同じアイデアでも、2人の人が全く異なるスコアをつける可能性があり、3つの不確かな推定値を掛け合わせると、入力値が裏付けるよりもはるかに高い精度を持つように見える数値が生成される。240というスコアは210というスコアと比べて意味のある優劣はなく、このランキングを正確なものとして扱うのは誤用である。このモデルは、計算式としてではなく、明白な優先事項と明白な優先順位の低さを区別し、意見の相違に関する議論を構造化するための選別メカニズムとして機能する。

一貫性こそが、実際に活用できる基盤となる。同じ人が同じセッションで共通の定義を用いて採点する場合、絶対値が恣意的であっても相対的な比較は成り立つため、採点方法は概ね有効である。しかし、合意された基準なしに異なる人が異なるタイミングで採点する場合、異なるアイデアに対して異なる指標で評価する場合、あるいはアイデアを提案した人が採点する場合などは、採点方法は破綻する。グループで採点する、各レベルの意味を具体例を挙げて定義する、信頼度スコアの根拠となる証拠を明記するなどといったシンプルな慣習を設けることで、こうした問題のほとんどを解決できる。

フレームワークを比較するよりも、一つを選んで一貫して適用する方がはるかに有益です。なぜなら、あらゆるスコアリングモデルの主な利点は、優先順位付けの根拠を明確にし、アイデア間で比較可能にすることにあるからです。リーチとインパクトを分離したり、労力を除数として組み込んだりする、より精緻なフレームワークは、基礎となる推定値の質を考えると、精度を高める効果はほぼ幻想に過ぎませんが、個々の項目が高価でランキングが本当に重要な場合には、追加の労力をかける価値があるかもしれません。これらのフレームワークすべてに共通する失敗パターンは、出力を入力ではなく決定として扱うことです。すでに到達した結論を正当化するためにスコアを割り当てると、どのフレームワークでも不十分な結果しか得られません。

ICEは、より複雑なフレームワークよりも高速な代替手段として理解するのが最適であり、各項目のコストが低く、候補の数が多い場合に適しています。これは、ほとんどの実験バックログに当てはまります。 CROサービス このプログラムは、各計画セッションでテストのアイデアを順序付けるためによく使用され、各テストのサンプルサイズと予想実行時間がスコアと併せて考慮されます。なぜなら、スコアは高いものの2か月のトラフィックを必要とするアイデアは、10日で解決するアイデアとは異なる競争をするからです。