你的项目大约每月会公布一个成功案例。累计十二个成功案例，年度报告显示转化率应该比去年提高 18%。但财务部门查看损益表后却说并非如此。通常情况下，年度报告是错误的。
在微软的实验平台上，只有大约三分之一的测试想法改进了它们旨在改进的指标，而最终推出的想法恰恰是因为看起来不错而被选中的，这就是算术开始出现偏差的地方（Kohavi 和 Longbotham，2015）。留出组是测量该指标最经济的工具。 程序 而不是单独的测试。
本指南面向每月至少开展一项实验的转化率优化 (CRO) 负责人和分析负责人。阅读完本指南后，您将能够确定一个能够真正检测出项目效果的对照组规模，选择合适的实验持续时间和分析窗口，并在结果公布前识别出可能导致结果无效的失败模式。
一个反对派团体衡量的是胜场总数所不能衡量的。
保留组是指随机抽取一部分用户，让他们继续体验更新前的版本，而其他所有用户则体验所有已发布的版本。几个月后，对比两组用户。差异体现的是所有已发布版本累积至今的效果，而不是十二个短期估算结果的简单叠加。
Netflix 也使用了同样的工具，将“保留 AB 测试”描述为一种“了解长期影响、对新成员重新测试旧假设以及衡量累积价值”的方法（Netflix 技术博客).
为什么总测试成绩夸大了实际情况
四种机制导致总和高于真相，而且它们还会叠加：
- 胜利者的诅咒。 你只推出那些达到显著性的变体，因此推出的数据集会包含大量向上噪声。Airbnb 的 Lee 和 Shen 正式提出了这种选择偏差，并发表了一篇修正文章（2018年).
- 新奇效应和首因效应衰减。 较短的窗口期能够捕捉人们对新事物的反应。例如，微软新闻的一项实验中，新按钮的点击量最初提升了 28%，但在实验窗口期内，点击量逐日下降（Sadeghi等人，2022).
- 互动与收益递减。 在同一销售漏斗步骤中，两个独立测试的成功案例往往无法叠加；它们争夺的是同一个边缘用户。
- 分析 Slack。 偷窥、指标切换和选择性报告，每次都会进一步提升已推出的数据集（植保).
这并不意味着你的测试结果是假的。这只是意味着总和是上限值，而不是估计值。
建造之前先确定预留空间的大小
这是几乎所有人都会跳过的步骤，也是大多数坚持检验失败的原因。坚持检验是一种双臂检验，故意将样本分成两组，其中一组样本量明显偏大，检验的精确度取决于样本量较小的那组。所需总样本量与样本量成正比。 1 / (p × (1 − p))，在 Moku:Pro 上 p 这是保留样本的份额。因此，1% 的保留样本需要大约 25 倍于平衡测试的流量才能观察到相同的效果。
在基准转化率为 2%、功效为 80%、双侧显著性水平为 5% 的情况下，整个试验期内所需的用户总数：
| 持股者股份 | 用户需要检测出相对变化超过 5%。 | 用户需要检测出相对变化超过 10%。 |
|---|---|---|
| 1% | 15,500,000 | 3,900,000 |
| 5% | 3,250,000 | 814,000 |
| 10% | 1,720,000 | 432,000 |
| 20% | 971,000 | 245,000 |
| 50% | 630,000 | 161,000 |
现在将其与供应商的违约情况进行比较。Statsig 建议“违约率应控制在个位数，例如 1%–2%”（统计Optimizely 会在超过 5% 时发出警告（OptimizelyGrowthBook 报告称，Facebook 和 X 团队的运营效率为 5% 或更低（GrowthBook).
这些数据对作者来说或许正确，但对大多数中型网站而言却不准确。一个月活跃用户400,000万的区域性电商网站，一个季度就能积累1.2万用户。如果只有1%的用户增长，那么它大约需要十年才能检测到。即使只有10%的用户增长，也仍然无法达到5%的增长。而20%的用户增长，则可以在一个季度内检测到5%的增长，在一个月左右就能检测到10%的增长。 选择流量份额，而不是供应商的默认份额。 如果诚实的答案是 20%，那就把这种权衡直接告诉企业：五分之一的用户等待一个季度才能获得新功能，以此换取知道这个季度是否有价值。
选择持续时间和分析窗口
Statsig 建议在发布保留数据前等待三到六个月；GrowthBook 建议先进行半个月到四分之一的活跃期，然后进行两到四周的分析期，以便效果稳定下来，回溯窗口填满。
我们的工作规则是：有效周期取以下两者中较长者：您的规模表所需的周期和一个完整的业务周期。在本区域，这意味着至少要涵盖一个营销活动高峰期和一个淡季月份，因此结果并非仅由 11.11 事件决定。然后冻结标志位，等待分析窗口结束，之后才能打开控制面板。
建造它：七个要做好的事情
- 随机化 持久的服务器端用户或帐户标识符. 如果同意横幅阻止了 cookie 或用户清除了 cookie，则会导致人员在各方之间泄露。
- 分配保留名 一次，前在产品上市之前，你需要进行测量。事后创建的预留数据就不能称之为预留数据了。
- 所有获胜者都将通过相同的标志系统进行路由，因此“holdout = off”确实意味着恢复旧版体验。被保留的用户将获得默认的门和层值，就像 Statsig 的实现方式一样。
- 保持明确 排除清单安全修复、法律和无障碍合规性工作以及价格调整将推送至所有用户。请记录每项排除项及其日期。
- 选择两到四 耐用 指标（每用户收入、留存率、订单频率）加上你的主要转化率。不要再加第五个指标。
- 保留一份发布日期记录，记录窗口期内发布的每一项变更及其带来的性能提升。这是用来与未发布版本进行比较的依据。
- 告诉工程团队，这些标志位要保留在代码库中，直到分析窗口关闭。相比统计因素，过早清除标志位导致的残留代码更容易丢失。
诚实地解读结果。
计算发射记录中预留测得的升力与总升力的比值。我们的工作阈值——基于判断，而非已公布的基准：
| 保留提升量 ÷ 总提升量 | 阅读 | 操作 |
|---|---|---|
| ≥ 0.6，区间不包含零 | 该节目大致诚实 | 对外报告未决人数，并保持最新预测。 |
| 0.3 - 0.6 | 选择和相互作用导致的正常收缩 | 将观察到的比率作为调整方法应用于未来的商业案例 |
| < 0.3，或区间包含零 | 该总额并非证据 | 停止引用总提升值；重新审视获胜标准和停止规则 |
| 负点估计 | 运送物品需要花费金钱。 | 逐一对规模最大的发射进行反向测试 |
需要注意的一点是，对于其他球队首先采取的策略，存在一些区域性风险。如果您计划跳过这一阶段，并将本季度与去年同期进行比较，请注意，土耳其2026年8月的年度消费者价格通胀率为31.51%（土耳其国家统计局（TÜİK）数据，发布于2026年9月3日以里拉计价的每用户收入按该汇率在不同时期之间不具有可比性，而且对其进行通货膨胀调整也引入了自身的假设。同步随机化可以规避这个问题：两个组在同一天处于同一经济体中。
【需要内部数据：Switas 客户案例——节目时长、流量规模、测试提升总和与保留组提升总和的比较，以及保留组所占份额。】
六种让顽固分子悄然瓦解的方法
- 污染。 共享设备、注销会话和标识符重置会导致用户在不同组别间转移。需衡量交叉率；当交叉率超过约 2% 时，该估计值不可靠。
- 无声泄漏。 通过标记系统之外发布的更改（CDN 规则、CMS 编辑、新模板）也会到达尚未发布的系统，并将差距缩小到零。
- 排斥现象逐渐蔓延。 每一个“这个必须推送给所有人”的决定，都会从你的衡量指标中剔除一次发布。十次这样的决定，最终你将一无所获。
- 样本比例不匹配。 分拆比例偏离预期。每周检查；与 SRM 的任何测试一样无效。
- 提前释放。 Optimizely 的原生全局保留策略无法暂停，只能结束。请记住这条规则：提前结束策略将导致该策略失效。
- 从一开始就动力不足。 最常见的失败案例。2% 的留出样本结果为零，这并不能说明你的程序存在任何问题，而只能说明你的规模是否合适。
这种方法失效的地方
保留测试结果可以反映综合效应的大小，而不是具体是哪一次产品发布产生了影响。归因分析仍然需要进行单独的测试。它无法衡量必须面向所有用户的产品，因此合规性工作不在其考虑范围内。如果同一用户在测试窗口期内没有再次访问，这种方法就不太适用，而且它也无法反映品牌或线下渠道在不同产品线之间的溢出效应。月活跃用户低于约 100,000 万时，任何既可检测又可验证的份额分析方法都行不通；在这个规模下，精心控制的前后对比数据加上定性验证是诚实的替代方案，但其不足之处也必须坦诚地指出。
常见问题
一个坚持己见的群体应该有多大？
样本量要足够大，才能检测到预期的累积效应，这需要计算，而非约定俗成。以 2% 的基准线和 +5% 的相对目标为前提，5% 的保留用户大约需要 3.25 万用户，而 20% 的保留用户大约需要 971,000 万用户。
坚守阵地应该坚持多久？
供应商建议采用三到六个月的活跃期，外加两到四周的分析窗口期。此外，还需确保该窗口期至少涵盖一个营销高峰期和一个普通月份，以避免单一销售事件左右最终结果。
为什么我的保留提升幅度小于我的测试成功次数之和？
这是预期结果，并非错误。赢家诅咒、新鲜感衰减、变更之间的相互作用以及分析滞后都会导致总和偏高。保留下来的数字更接近真实情况。
我可以在项目启动后创建保留版本吗？
不适用于那些已经发布过的产品——所有人都已经收到了。暂缓发布仅统计自其开始日期起生效的变更。您今天仍然可以创建一个暂缓发布，统计未来两个季度的变更。
限制用户使用权限会影响收入吗？
如果你的推广活动确实有效，那么成本会略高一些；成本上限为保留份额乘以实际提升幅度。如果推广活动无效，保留份额不会产生任何成本，还能避免重复推广。
如果保留样本的结果持平呢？
首先对照尺寸表检查功率，然后检查分频点和漏电。如果功率输出真正平稳且充足，则意味着两个季度的出货量都没有影响到该指标：学习成本高昂，不学习成本更高。
下一步
如果你做了实验，却无法确定一年来取得的成功价值，那就用你本周的流量数据来衡量一下这个实验的结果——或者让我们来帮你衡量、构建并分析这个实验结果，作为我们工作的一部分。 CRO参与.
