在微软的实验平台上测试的方案中，只有大约三分之一改进了它们旨在改进的指标，而 Netflix 的成功率接近十分之一（Kohavi 和 Longbotham，2015如果你的待办事项清单中大部分都是错误的，那么测试顺序将决定你最终的收益。本指南面向转化率优化 (CRO) 负责人和产品负责人，他们拥有的测试想法比实际流量还多。我们使用 ICE、PIE、PXL 和 RICE 四种模型对相同的三个想法进行评分，解释为什么这四种模型的排名顺序存在差异，给出选择规则，并补充所有四种模型都忽略的一个关键因素：测试能否在季度结束前达到显著性水平。
每个框架实际押注的是什么？
这四种方法都会得出数值，但它们衡量的并非同一件事。与其说它们是评分系统，不如说它们各自代表了一种关于测试是否值得进行的精简观点。
| 骨架 | 输入 | 公式 | 起源 | 它编码的赌注 |
|---|---|---|---|---|
| ICE | 影响力、自信度、易用性，各占1到10分 | I × C × E | Sean Ellis，增长实践 | 经验丰富的判断是最经济的信号 |
| 馅饼 | 潜力、重要性、易用性，各1到10分 | 三者的平均值 | Chris Goward，WiderFunnel（现 转化率提升) | 测试地点比测试内容更重要。 |
| PXL | 约9道题，大部分是二元选择题，部分题目的权重为0或2。 | 总和，超出固定的最大值 | Peep Laja，CXL，2016年9月27日 | 证据胜过对某个想法的自信。 |
| 水稻 | 覆盖人数（每周期人数）、影响程度（0.25 至 3）、置信度（50%/80%/100%）、投入（人月） | (R × I × C) / E | Sean McBride，Intercom，2018年1月5日 | 每单位工作的影响评分 |
在您采纳其中任何一个框架之前，请注意两点。PXL 的编写初衷是为了攻击其他转化率优化 (CRO) 框架：Laja 的论点是，如果您能够提前可靠地预测潜在客户或置信度，那么您就不需要进行测试了。而 PIE 的官方页面虽然定义了评估标准，但并未公布具体的衡量标准和公式，因此每个团队都自行摸索。此外，widelfunnel.com 域名现在重定向到了 conversion.com，这意味着大多数 CRO 文档中引用的框架并没有维护完善的主要规范。
同一份积压工作，用四种方式评分。
针对一家中型零售商的三项候选测试。数据仅供参考，并非客户数据。
- A. 产品页面价格模块内包含分期付款明细。每月有 180,000 万次产品详情页 (PDP) 浏览量，数据由分析和客户反馈工单支持。
- B. 取消结账过程中强制创建账户的功能。每月有 12,000 次结账流程启动，并通过可用性测试、录像、分析和支持联系等方式提供支持。
- C. 重写首页醒目标题。每月首页访问量达 220,000 万次，无相关研究支持，该提议在一次研讨会上提出。
| 《测试》（Test） | 水稻 | ICE | 馅饼 | PXL（共 12 个） |
|---|---|---|---|---|
| A：分期付款明细 | 144,000 （1st） | 294（第二名） | 7.0（第二名） | 10 （1st） |
| B：无强制账户 | 18,000年（第3届） | 405 （1st） | 6.3年（第3届） | 9（第二名） |
| C：英雄标题 | 55,000（第二名） | 144年（第3届） | 7.3 （1st） | 6年（第3届） |
每项测试在至少一种框架下都能胜出。分歧在于这些框架各自发挥着作用：
- 稻米优先 因为 Reach 统计的是原始人数。它会掩盖任何常规销售漏斗中的结账和账户相关工作。
- ICE 将 B 放在首位 因为资深从业者给强制创建账户的影响力评分为 9 分，置信度评分为 9 分，而 ICE 评分则是将意见逐一叠加。更换评分者，路线图也随之改变。
- PIE 将 C 放在第一位 因为首页流量最有价值，而且文案撰写起来也很简单。PIE 的设计初衷就是为了选择合适的页面。 网页被要求排名 变化它会奖励对重要模板进行廉价修改。
- PXL 将 C 放在最后 因为C在所有四个证据问题上都得了零分。它是唯一一个从结构上惩罚直觉而非信任评分者对置信度诚实的框架。
选择使用哪一个：根据您的绑定约束选择。
| 绑定约束 | 绝大部分储备使用 | 计划 |
|---|---|---|
| 目前尚无研究数据，前十项测试 | ICE，有文字主播 | 完全依靠判断。将输出结果视为队列，而不是排名。 |
| 团队不断尝试各种观点，但都失败了。 | PXL | 二元证据问题很难夸大其词。 |
| 工程能力，而非交通 | 水稻 | 只有带分母的那个，所以也只有那个能优化吞吐量的。 |
| 选择要处理的页面或模板 | 馅饼 | 正是为了回答这个问题而存在的。 |
| 流量 | 孤身一人 | 这四个人都不知道测试是否能够完成。请在下方添加门控。 |
四个门都不见了：这次测试能完成吗？
覆盖范围并不等同于可检测性。评分前请检查可行性，使用正态近似法进行双侧检验，显著性水平为 95%，功效为 80%：
n per variant ≈ 15.7 × p × (1 - p) / d²
协调 p 是您正在调整的指标的基准速率， d 这是您想要检测的绝对提升值。应用于上述待办事项：
| 《测试》（Test） | 指标和基线 | 教育部 | 每个变体 | 周 |
|---|---|---|---|---|
| A | PDP查看器购买，2.0% | 相对增长 5%（0.1 个百分点） | 〜307,700 | 〜14 |
| A | PDP查看器购买，2.0% | 相对增长 10%（0.2 个百分点） | 〜76,900 | ~4 |
| B | 结账开始购买，55% | 相对增长 5%（2.75 个百分点） | 〜5,140 | ~4 |
排名第一的 RICE 测试在大多数团队假设的灵敏度下，需要三个月才能完成，而排名垫底的 RICE 测试则需要一个月才能完成。A 测试的基数为 2%，B 测试的基数为 55%，样本量取决于…… p(1-p)/d²而不是取决于有多少人浏览了页面。当你将10%的提升幅度定义为值得采取行动的最小提升幅度时，A也变得可行，这使得最小可检测效果成为一个优先级决策，而不是一个统计细节。在评分的同一次会议中决定它，并选择同一个计算器用于所有计算，因为不同的方差近似值并不完全一致： 埃文·米勒的 和 Switas A/B 测试计算器 两者都可以。
可行性分类
- 两周或更短。 绿球。得分并跑垒。
- 两到四周。 琥珀色。单独运行，至少覆盖两个完整的周周期。
- 四到八周。 红色表示标准 A/B 测试。提高最小可检测差异 (MDE)、采用更高的基准指标，或使用带有预先设定的停止规则的序贯设计。
- 超过八周。 不要进行A/B测试。根据判断发布产品，并辅以指标作为参考，或者进行定性研究。
这个门槛在这里比英语CRO文献中认为的更为重要。到2025年，土耳其的电子商务交易额将达到4.567万亿里拉，涉及约634,000万家企业（贸易部，2026年5月12日平均而言，每个商家每年大约能获得 7.2 万里拉的收益，但收益主要集中在少数几个电商平台上，因此普通商家的收益远低于此。每月订单量只有几百笔的网站根本无法在任何有效的多平台体验 (MDE) 平台上进行结账测试。对于这类网站而言，优先级排序的真正成果应该是研究和评估路线图，而不是测试路线图。
让分数有意义
- 评分前先写出锚点。 RICE 中的 Impact 3 必须具有您货币体系下的特定含义，例如“使购买转化率相对提升超过 5%”。如果没有锚定值，分数会在单次会话中出现漂移。
- 按证据层级限制置信度。 研究成果占比上限为 50%，仅数据分析占比为 80%，数据分析加定性研究加相关先前成功案例占比为 100%。这使得 PXL 的严谨性得以融入 RICE 体系。
- 盲算后，先解决价差最大的问题。 三个人独立评分，然后只讨论分数相差三分或以上的项目，30 个项目大约需要 40 分钟。
- 记录预测比分与实际结果的对比情况。 进行十次读数后，检查影响评分是否与观察到的效果相关。如果不相关，则该量表仅供参考，您应该改用 PXL 量表。
- 切勿在不同框架之间比较评分。 RICE 评分 144,000 与 PXL 评分 10 之间没有关系。
问题出在哪里？
这些框架对想法进行排名，但不会改进想法。一个在 PXL 上得分 11 分（满分 12 分）的弱假设仍然是弱假设，而且没有任何模型能够告诉你真正的问题出在你正在测试的页面上游。具体局限性：
- 努力程度是最不可靠的投入要素，而且没有人会重新评分。 RICE 的分母是最有可能出现两倍误差的数字，而这种误差对排名顺序的影响比错误的 Impact 分数更大。
- 四个模型之间没有交互作用。 同时对同一个漏斗进行三项测试，结果却无法说明是否存在干扰。
- 季节性企业每月客流量波动情况。 旅游和教育的覆盖范围应该按完整的季节周期进行评分，或者与去年同期进行比较。
- 依赖关系是不可见的。 在测试待办事项列表和产品路线图中共享的分数，也会让流量更大的一方获得更高的分数。
【需要内部数据：Switas过去24个月各支柱的胜率，以用第一方数据替换行业胜率数据。】
【需要内部数据：一份根据两种框架评分的匿名客户待办事项清单，以替换示例。】
常见问题
对于 CRO 工作而言，RICE 比 ICE 更好吗？
并非如此。RICE 增加了覆盖范围，并将投放努力程度作为分母，这有助于解决投放能力不足的问题，但它也更倾向于高流量页面。当工程时间有限时，请使用 RICE；当时间充裕时，请使用 ICE。
多少分才足以进行测试？
这四项指标都没有绝对阈值。这些分数是序数性的：它们告诉你下一步该做什么，而不是告诉你做什么才值得做。绝对的衡量标准是可行性。如果一项测试在八周内无法达到显著性水平，那么它的分数就毫无意义。
我们能否将两个框架结合起来？
将输出结果合并毫无意义，因为衡量标准不相关。而将输入结果合并则不然。用 PXL 的证据问题来限制 RICE 的置信度是一种行之有效的混合方法，也是我们最常用的方法。
PXL 是否适用于非电子商务网站？
这些证据性问题适用于任何产品。布局性问题假设用户使用的是营销页面，因此不适用于已登录流程。应将这些问题替换为关于用户在任务流程中遇到该元素的频率的问题。
低流量网站是否应该使用这些框架？
是的，可以用于排序工作，但不要再把输出结果称为测试路线图了。对于无法进行测试的网站，同样的流程可以用来安排用户体验审核结果、研究问题和构建工作。
谁应该参加评分环节？
三到五个人分别查看不同的证据：分析人员、研究人员或支持人员，以及负责交付的人员。单凭评分得出的结论往往毫无意义；十个人评分得出的平均值毫无价值。
在你的待办事项列表中尝试一下
选取测试清单前十项，逐一应用上述可行性公式，统计在预设的灵敏度下有多少项能够通过验证。如果超过一半的项目失效，那么排序就从来都不是问题所在。 CRO和实验团队 将此评分和可行性评估作为合作的第一步。
来源
- Kohavi, R. 和 Longbotham, R. (2015)。 在线控制实验和A/B测试. 引用 Kohavi、Crook 和 Longbotham (2009) 的数据来描述微软的数据，引用 Moran (2007) 的数据来描述 Netflix 的数据。
- McBride，S.（2018 年 1 月 5 日）。 RICE：产品经理的简单优先级排序方法对讲机。
- Laja, P.（2016 年 9 月 27 日）。 PXL：一种更好的 A/B 测试优先级排序方法，CXL。
- PIE优先排序框架Conversion（前身为 WiderFunnel），感谢 Chris Goward。
- 土耳其贸易部（2026年5月12日）。 2025年电子商务交易额将达到4.6万亿里拉.
- 米勒，E. 样本量计算器.
- 斯威塔斯。 A/B 测试计算器.
