マイクロソフトの実験プラットフォームでテストされたアイデアのうち、改善しようとした指標を改善できたのは約3分の1に過ぎず、Netflixの成功率は10分の1に近い（コハヴィとロングボサム、2015年バックログの大部分が間違っている場合、テストの順番が、得られるリターンの大部分になります。このガイドは、トラフィックよりもテストのアイデアが多いCROリーダーとプロダクトオーナー向けです。ICE、PIE、PXL、RICEを使用して同じ3つのアイデアを評価し、4つの順位が一致しない理由を示し、それらの中から選択するためのルールを示し、4つすべてに欠けているゲート、つまりテストが四半期末までに有意性に達することができるかどうかを追加します。
それぞれのフレームワークが実際に何を賭けているのか
4つすべてが数値を算出するが、どれも同じものを測定しているわけではない。それぞれは採点システムというよりは、テストを実施する価値があるかどうかを判断するための、簡潔な意見の表れと言えるだろう。
| フレームワーク | 入力 | 式 | Origin | エンコードされる賭け |
|---|---|---|---|---|
| ICE | 影響力、自信、安心感、それぞれ1～10 | I × C × E | ショーン・エリス、成長戦略担当 | 経験に基づく判断は最も安価なシグナルである |
| パイ | 潜在力、重要性、容易さ、それぞれ1～10点 | 3つの平均 | クリス・ゴワード、WiderFunnel（現在） 変換) | どこでテストするかが、何を変更するかよりも重要だ。 |
| PXL | 約9つの質問（ほとんどが二択式）で、一部は0または2の重み付けがされている。 | 合計、固定最大値から | ピープ・ラジャ、CXL、2016年9月27日 | アイデアの裏付けとなる証拠は、そのアイデアに対する自信よりも重要である。 |
| ご飯 | リーチ数（期間あたりの人数）、インパクト（0.25～3）、信頼度（50/80/100%）、労力（人月） | (R × I × C) / E | ショーン・マクブライド、インターコム、2018年1月5日 | 作業単位あたりのスコアへの影響 |
採用前に2点訂正させてください。PXLは他のCROフレームワークへの批判として作成されました。ラジャ氏の主張は、潜在力や信頼性を事前に確実に予測できるのであれば、テストは不要だというものです。また、PIEの公式ページでは基準は定義されていますが、尺度や計算式は公開されていないため、各チームが独自に考案しています。widerfunnel.comドメインは現在conversion.comにリダイレクトされるため、多くのCRO資料で引用されているこのフレームワークには、維持されている主要な仕様が存在しません。
同じバックログを4つの方法で採点
中規模小売業者を対象とした3つの候補企業テスト。図は例示であり、顧客データではありません。
- A. 商品ページの価格ブロック内に分割払い（支払い方法）の詳細が表示されます。月間180,000万人の商品ページ閲覧者数を誇り、分析データと顧客の声に基づくチケットによって裏付けられています。
- B. チェックアウト時のアカウント作成強制機能を削除してください。毎月12,000件のチェックアウトが開始され、ユーザビリティセッション、録画、分析、サポート担当者への問い合わせによってサポートされています。
- C. ホームページのヒーロー見出しを書き直す。月間ホームページセッション数220,000万回、裏付けとなる調査データなし、ワークショップで提案。
| ホイール試乗 | ご飯 | ICE | パイ | PXL（全12個） |
|---|---|---|---|---|
| A：分割払いの内訳 | 144,000 （1st） | 294（2番目） | 7.0（2番目） | 10 （1st） |
| B: 強制アカウントなし | 18,000（3番目） | 405 （1st） | 6.3（3番目） | 9（2番目） |
| C: ヒーローヘッドライン | 55,000（2番目） | 144（3番目） | 7.3 （1st） | 6（3番目） |
どのテストも少なくとも一つの枠組みにおいては優れている。意見の相違は、それぞれの枠組みが本来の役割を果たしていることに起因する。
- RICEはAを第一に考える なぜなら、リーチは単なる人数カウントだからです。通常のファネルでは、チェックアウトやアカウント関連の作業が埋もれてしまいます。
- ICEはBを最優先する なぜなら、上級実務担当者は強制アカウント作成をインパクト9、信頼度9と評価し、ICEは意見を掛け合わせるからです。評価者を変えれば、ロードマップも変わります。
- PIEはCを第一に考える ホームページには最も価値の高いトラフィックがあり、コピーの配信も簡単だからです。PIEは選択するために構築されました ページ順位付けを求められた 変更重要なテンプレートに対する安価な編集に対して報酬を与える。
- PXLはCを最後に配置 Cは4つの証拠に関する質問すべてで0点を獲得したため、この評価方法は、採点者が自信度について正直であると信頼するのではなく、直感を構造的に減点する唯一の枠組みである。
どちらを使用するか：バインディング制約に基づいて選択してください
| 拘束制約 | なぜなら | |
|---|---|---|
| 研究データはまだありません。最初の10回のテストです。 | ICE、アンカー付き | 判断のみに基づいて動作します。出力はランキングではなく、キューとして扱ってください。 |
| チームは意見を検証し続け、負け続けている。 | PXL | 二者択一式の証拠に関する質問は、誇張するのが難しい。 |
| 交通量ではなく、工学的能力 | ご飯 | 分母を持つ唯一の式なので、スループットを最適化する唯一の式でもある。 |
| 作業するページまたはテンプレートを選択する | パイ | その疑問のために作られた。 |
| トラフィック | 一人ぼっち | 4人全員は、テストが完了できるかどうかを知る術がない。以下のゲートを追加してください。 |
ゲート4つすべてが欠落している。このテストは完了できるのだろうか？
到達範囲は検出可能性とは異なります。スコアリングを行う前に、95%の有意水準と80%の検出力を持つ両側検定の正規近似を用いて、実現可能性を確認してください。
n per variant ≈ 15.7 × p × (1 - p) / d²
コラボレー p 移動しているメトリックの基準レートであり、 d これは、検出したい絶対的なリフト量です。上記のバックログに適用すると次のようになります。
| ホイール試乗 | 指標と基準値 | MDE | バリアントごと | ウィークス |
|---|---|---|---|---|
| A | PDPビューアを購入するには、2.0%が必要です。 | 相対値5％（0.1ポイント） | 〜307,700 | 〜14 |
| A | PDPビューアを購入するには、2.0%が必要です。 | 相対値10％（0.2ポイント） | 〜76,900 | ~4 |
| B | チェックアウトして購入を開始、55% | 相対値5％（2.75ポイント） | 〜5,140 | ~4 |
RICEが1位にランクしたテストは、ほとんどのチームが想定する感度では四半期ごとに読み取ることができない一方、RICEが最下位にランクしたテストは1か月で終了する。Aは2%ベース、Bは55%ベースで、サンプルサイズは p(1-p)/d²ページを見た人の数ではなく、A が実現可能になるのは、10% を行動する価値のある最小の改善と宣言した瞬間です。これにより、最小検出可能効果は統計の詳細ではなく、優先順位付けの決定になります。スコアリングと同じ会議で決定し、異なる分散近似は完全に一致しないため、すべてに 1 つの計算機を選択します。 エヴァン・ミラーの Switas A/Bテスト計算ツール どちらも問題ありません。
実現可能性の区分
- 2週間以内。 グリーン。得点して、そのまま走る。
- 2～4週間。 アンバー。単独で実行し、少なくとも2週間分のサイクルをカバーしてください。
- 4〜8週間です。 標準的なA/Bテストの場合は赤色で表示されます。MDEを上げるか、より高い基準指標に移行するか、または事前に登録された停止ルールを使用したシーケンシャルデザインを使用してください。
- 8週間以上。 A/Bテストは行わないでください。基準となる指標を設定して判断に基づいてリリースするか、定性調査を実施してください。
このゲートは、英語のCRO文献が想定しているよりもここでは重要です。トルコの電子商取引量は、2025年に約634,000の企業で4兆5,670億リラに達しました（貿易省、2026年5月12日平均すると、1社あたり年間約720万リラですが、その分布は少数のマーケットプレイスに偏っているため、一般的な販売業者はそれよりもはるかに低い水準にあります。月に数百件の注文しかないサイトでは、実用的なMDEでチェックアウトテストを実行することはできません。そのようなサイトにとって、優先順位付けの真の成果は、テストロードマップではなく、調査と測定のロードマップです。
スコアに意味を持たせる
- 採点前にアンカーを書き込んでください。 RICEにおけるインパクト3は、あなたの通貨で意味のある指標でなければなりません。例えば、「購入コンバージョン率を相対的に5%以上向上させる」といった具合です。基準となる指標がないと、スコアはセッション内で変動してしまいます。
- 証拠レベルに応じた信頼度の上限設定。 調査なしの場合は上限50%、分析のみの場合は80%、分析と定性調査、さらに関連する過去の成功事例がある場合は100%となります。これにより、PXLの規律がRICEに導入されます。
- ブラインドスコアリングを行い、スプレッドの大きいものから順に調整する。 3人がそれぞれ独立して採点し、3点以上の差がある項目のみを話し合う場合、30項目で約40分かかる。
- 予測スコアと実際の結果を比較して記録する。 10回の測定後、インパクトスコアが観測された効果と相関しているかどうかを確認してください。相関がない場合は、その尺度は単なる装飾であり、PXLに切り替えるべきです。
- 異なる評価基準間でスコアを比較してはいけません。 RICEスコア144,000とPXLスコア10には関連性はありません。
これが破綻するところ
これらのフレームワークはアイデアをランク付けするだけで、改善するものではありません。PXLで12点満点中11点を獲得した弱い仮説は依然として弱く、どのモデルも、テスト対象のページより上流に本当の問題があることを教えてくれません。具体的な制限事項：
- 努力は最も信頼性の低い評価項目であり、誰もそれを再評価しない。 RICEの分母は、2倍の誤差が生じる可能性が最も高い数値であり、その誤差は、誤ったインパクトスコアよりも順位を大きく変動させる。
- 4つのモデルのいずれも相互作用は見られなかった。 1つの漏斗に対して3つのテストを同時に実行しても、その結果からは干渉については何も分からなかった。
- 季節限定ビジネスにおける、月間リーチ人数の目安。 旅行・教育分野におけるリーチの評価は、季節サイクル全体を通して、あるいは前年同期と比較して行うべきである。
- 依存関係は目に見えない。 テストバックログと製品ロードマップの両方で共有されるスコアは、トラフィックが多い方の方に有利に働く。
【社内データ必要：過去24か月間のSwitasの各柱別勝率。業界平均の勝率データを自社データに置き換えるため。】
【必要な内部データ：例示データに代わる、2つのフレームワークに基づいて評価された匿名化された顧客バックログ。】
よくある質問
CRO業務において、RICEはICEよりも優れているのでしょうか？
必ずしもそうではありません。RICEはリーチを追加し、分母に労力を加えることで、配信能力がボトルネックになっている場合に役立ちますが、トラフィックの多いページに偏りがちです。エンジニアリングに時間をかけられない場合はRICEを、そうでない場合はICEを使用してください。
テストを実施するには、どのくらいのスコアが必要ですか？
4つの指標には絶対的な閾値はありません。スコアは順序尺度であり、次に何をすべきかを示すもので、何かを行う価値があるかどうかを示すものではありません。絶対的な基準は実現可能性です。テストが8週間以内に有意水準に達しない場合、そのスコアは無意味です。
2つのフレームワークを組み合わせることは可能でしょうか？
出力値を組み合わせることは、尺度が無関係であるため意味がありません。入力値を組み合わせることは無意味ではありません。RICEの信頼度をPXLのエビデンスに関する質問で制限することは、適切に機能するハイブリッド手法であり、私たちが最も頻繁に使用する手法です。
PXLはECサイト以外のサイトでも使えますか？
証拠に関する質問は、あらゆる製品に適用できます。レイアウトに関する質問はマーケティングページを想定しており、ログインしたユーザーのフローには適していません。これらの質問は、ユーザーがタスクフロー内でその要素に遭遇する頻度に関する質問に置き換えてください。
トラフィックの少ないサイトは、これらのフレームワークをそもそも使用すべきでしょうか？
はい、作業の順序付けには役立ちますが、その成果物をテストロードマップと呼ぶのはやめてください。テストを実行できないサイトでは、同じ手順でUX監査の結果、調査課題、構築作業の順序付けが行われます。
採点セッションには誰が参加すべきでしょうか？
分析担当者、調査担当者、サポート担当者、そして実際の納品責任者など、異なる証拠を見る3～5人が評価を行う。スコアリングだけでは自信過剰なナンセンスな結果しか得られず、10人が評価しても平均値は何も意味をなさない。
自分のバックログでこれを試してみてください
テストリストの上位10項目を取り上げ、それぞれを上記の実現可能性式に通し、想定していた感度でいくつが生き残るかを数えてください。半分以上が生き残らない場合、ランキングはそもそも問題ではなかったということです。 CROおよび実験チーム このスコアリングと実現可能性の検証は、エンゲージメントの第一段階として実行されます。
ソース
- Kohavi, R. および Longbotham, R. (2015). オンライン制御実験とA/Bテストマイクロソフトの数値についてはKohavi、Crook、Longbotham（2009）を、NetflixについてはMoran（2007）を引用している。
- マクブライド、S.（2018年1月5日）。 RICE：プロダクトマネージャーのためのシンプルな優先順位付けインターホン。
- ラジャ、P.（2016年9月27日）。 PXL：A/Bテストの優先順位付けをより効率的に行う方法CXL。
- PIE優先順位付けフレームワークConversion（旧WiderFunnel）、Chris Goward氏に感謝。
- トルコ貿易省（2026年5月12日） 2025年には電子商取引の取引額が4兆6000億リラに達する見込み。.
- ミラー、E. サンプルサイズ計算機.
- スウィタス。 A/Bテスト計算機.
