开始测试前先考虑样本量：大多数 A/B 测试都会忽略的计算。

大多数A/B测试在任何一个访客看到之前就失败了。这并非因为假设薄弱或设计糟糕，而是因为没有人真正思考过测试是否能够得出结果。

这种模式很常见。团队发布一个变体版本，密切关注仪表盘，十天后发现挑战者版本增长了 6%，p 值为 0.14。有人说：“趋势不错，我们再观察一周。” 又过了一周。现在增长了 4%，p 值为 0.09。测试要么被称作“方向性胜利”并发布，要么被判定为结果不确定而被终止。无论哪种情况，三周的流量测试都没得出任何结论——而这个结果在发布前就已经被四个无人核查的数字完全决定了。

本文将围绕这四个数字展开。

四个输入

样本量并非随意决定，而是由四个参数决定。所有严谨的实验项目都会在启动前而非启动后确定这些参数。

输入这四个参数给计算器，它会返回所需的访客数量。 每个变体。 我们的 免费 A/B 测试计算器 正是如此，而且只需大约三十秒——这正是关键所在。团队跳过这一步的原因并非因为它难，而是因为答案往往令人不悦。

MDE 是每个人都会输错的输入。

最小可检测效应是造成最大损害的参数，因为它的名称暗示了它实际上并非如此的东西。

MDE是 不会 你预期的提升幅度。这不是预测、目标或预报，而是可检测性的最低限度：你的测试有 80% 的概率检测到的最小真实效果。将最小可检测性阈值 (MDE) 设置为 5%，就等于在说“如果实际提升小于 5%，我接受这项测试可能无法检测到它”。

由此会产生两个后果，而且这两个后果都很重要。

测试只能回答你设定测试目标所提出的问题。 如果你设定的最小可检测效应量 (MDE) 为 20%，而实际效应量为 7%，那么测试结果很可能是“无显著差异”。但这并不意味着该变体完全无效。这只是表明你的测试无法检测到如此小的效应——这是完全不同的结论，而团队经常会将其误解为“我们测试过了，它不起作用”。

相对MDE和绝对MDE不能互换使用。 基准值为 2.5%，上限值为 10%。 相对的 MDE 指的是检测到价格变动至 2.75%—— 绝对 相差0.25个百分点。如果你在计算器输入10，而计算器期望的是绝对百分比，那么你实际上是在要求检测从2.5%到12.5%的变化，而计算器却会告诉你400个访客就足够了。请检查你的计算器使用的是哪种单位制。这种简单的混淆比我们见过的任何其他错误都更容易导致测试计划失效。

一个实例

一家电商客户想要测试一种新的产品详情页布局。该页面的基准转化率为 2.5%。他们希望检测出 10% 的相对提升——即达到 2.75%。

当 α = 0.05 且功效为 80% 时，所需参数约为 每个版本 64,000 万访客总计约 128,000 人。

那个页面每月有40,000万访客。因此，这项测试需要三个多月的时间才能达到预期的样本量。

这个数字改变了一切。并非因为三个月不可能实现，而是因为这是一个公开的决定——在产品发布前，权衡利弊之后再做决定——而不是像过去那样，在第21天才发现令人失望的事实。

现在改变一个输入参数。保持基线不变，但将相对提升幅度从 10% 改为 20%：

将最小可检测效应量 (MDE) 减半，样本量大约会增加四倍。这种关系并非这些数字的偶然性——样本量与效应量的平方成反比。这是实验设计中最需要牢记的一点，因为它能告诉你杠杆作用在哪里： 加大变革力度远比吸引更多流量要便宜得多。

一个仅仅将按钮移动两个像素的微小改动，所需的样本量是任何中型网站都无法提供的。而一个重构页面结构的改动则更有可能成功。这就是为什么谨慎的测试项目会停滞不前——并非因为想法本身有误，而是因为样本量太小，无法进行有效评估。

实际的交通状况在哪里

另一个隐藏在计算中的杠杆是基线率。随着基线率的上升，所需的样本量会急剧下降。

假设相对 MDE 为 10%，但这次是在结账流程的配送步骤中进行，其中 40% 的到货订单会继续进行付款：

• 基准线 2.5% → 每个变体约 64,000 个
• 基准线 40% → 每个变体约 2,400 个

同样的驾驶体验，同样的信心，同样的动力。交通流量减少了26倍。

当然，首页的访问量远低于产品详情页 (PDP)。但测试需求下降的速度比流量下降的速度快，因此，对于中等流量的网站来说，深度漏斗测试往往是唯一能够完成的测试。如果你的网站整体转化率只有 2%，那么测试首页需要一年的时间，而测试结账页面只需要两周。

实际指导：当计算器返回一个不可能的数字时，在扩大 MDE 之前，请检查漏斗中是否有更进一步的步骤，以便针对更高的基线检验相同的假设。

跳过这一步到底会有什么问题？

这里有两种故障模式，第二种故障模式远不如第一种为人所知。

你错过了真正的进步。 一项效力不足的测试结果显示，即使改动确实有效，结果也“无显著差异”。团队由此得出结论，认为这个想法行不通，并放弃了原本可能带来收益的方向。这就是人尽皆知的失败案例，也是两种失败案例中代价较低的一种。

你的获奖人数虚高。 这正是悄悄破坏程序数据的原因。在统计效力不足的检验中，结果能够超过显著性阈值的唯一方法是随机噪声恰好将其推得足够远——这意味着…… do 宣称的显著性往往系统性地大于事实。权力越低，夸大程度就越严重。

所以，一个功能不足的程序不仅会漏掉一些关键点，还会生成一份充斥着夸大提升效果的“成功案例”的测试日志，然后这些案例的数据会被乘以流量，用来预测最终无法实现的收入。六个月后，有人会问，为什么这些成功案例的总和没有体现在最终的收入总额中。这通常就是答案。

这个问题无法在分析阶段解决，必须在设计阶段就加以预防。

按变体计算，而非总计

计算器输出是要求。 每只手臂 测试中，两种变体意味着数量翻倍。这听起来显而易见，但却经常被误解，通常是往乐观的方向解读。

多种变体使问题更加复杂。A/B/C/D 测试所需的样本量是单臂测试的四倍。 和 同时进行三项与对照组的比较，会使出现至少一个假阳性的概率远超标称的 5%。对此进行校正后，要求又会进一步提高。

对于大多数网站来说，实用的原则是：除非流量绰绰有余，否则最好同时运行两个测试分支。在一个勉强能支撑双向测试的页面上运行四向测试，并不能带来四倍的学习效果，反而学习效果为零，而且速度更慢。

持续时间是一个单独的约束条件。

达到样本量是必要的，但这还不够。

一项测试如果在四天内达到预期目标，则说明它收集了四天的用户行为数据。工作日和周末的流量转化率存在差异。电商行业的发薪日周期至关重要。在测试过程中启动付费推广活动会改变目标受众的构成。新设计也会产生新鲜感，但这种新鲜感会逐渐消退——早期用户对陌生布局的参与度并不能稳定反映其在稳定状态下的表现。

无论样本量计算结果如何，至少要运行整整一周，最好是两周。以样本量或商业周期中较长的那个为准。此外，要提前设定结束日期，而不是每天早上查看数据，并在数据看起来不错时就停止，因为后者是另一种非常有效的制造虚假赢家的方法。

当数字不可能达到时

有时，诚实的答案是无法进行测试。这是有用的信息，并且有五种合理的应对方式。

尝试更大幅度的改变。 这种二次方关系使得它成为杠杆效应最高的选择，优势非常明显。应该重新设计流程，而不是按钮。

提高基准指标。 测试时应针对“加入购物车”或“结账”操作，而非实际购买行为。这样可以基于更大的基数来衡量效应量，从而降低样本量要求。要意识到你衡量的是一个替代指标，并单独验证其与实际收入的关联性。

进一步测试漏斗底部。如上所述。

将相似页面归类。 对所有类别页面进行一次测试，而不是对单个类别进行测试，可以成倍增加可用流量，前提是这些页面的行为足够相似，可以进行流量池化。

停止测试，开始研究。 如果网站无法支持实验，A/B 测试就不是合适的工具。可用性测试、会话录制和启发式评估能够更快、更经济地发现问题所在。定量验证可以在后续进行，前提是改动足够大，可以进行量化评估。这没什么可耻的——为了显得严谨而进行能力不足的测试，还不如不做测试。

飞行前检查清单

在任何测试发布之前：

• [ ] 基线测量基于实际测试页面和受众，而非全站范围。
• [ ] MDE 以书面形式明确声明，并具体说明了相对或绝对值。
• [ ] 样本量计算 每个变体 并乘以手臂的数量
• [ ] 所需时长与可用流量进行比较——并在启动前接受该答案
• [ ] 提前确定结束日期
• [ ] 至少一个完整的商业周期，无论样本数学结果如何
• [ ] 随机化单元与分析单元匹配（访客级别分配、访客级别指标）
• [ ] 前几小时的流量分配已得到验证——50/50 的测试结果为 53/47，这意味着仪器存在问题，在找到问题之前，结果无法使用。

在构建变体之前先计算一下相关数据

整个计算过程只需半分钟，却会改变你的构建方式。那些先进行测试规模评估的团队会设计更大胆的方案，因为他们可以预见保守方案的成本。

输入您的基准转化率、您希望检测到的效果以及置信度和灵敏度设置。如果返回的数字大于您的流量，这并不意味着您就应该立即上线——这只是测试结果在告诉您需要调整计划。

常见问题

进行A/B测试需要多少访客？ 没有一个通用的数字。这取决于你的基准转化率、你想检测到的最小效果以及你选择的显著性和统计功效水平。一个转化率为 2.5% 的页面，每个变体大约需要 64,000 名访客才能检测到 10% 的相对提升；一个转化率为 40% 的结账步骤，大约需要 2,400 名访客才能检测到同样的相对效果。

什么是好的最小可检测效应？ 在合理的时间范围内，找到你的流量能够支持的最低最小可检测变化量 (MDE)。首先，根据你现有的流量和两到四周的目标持续时间，反向推算出合适的 MDE。如果该 MDE 大于你正在测试的变化可能产生的影响，则需要重新设计测试。

如果测试明显领先，我可以提前结束测试吗？ 使用标准的固定周期测试并非如此。反复检查并在发现第一个显著结果后就停止测试，会使假阳性率远高于 5%。如果您需要能够提前停止测试，请使用专为此设计的测试方法——例如序贯测试或贝叶斯框架——并在测试启动前（而不是启动过程中）做出决定。

如果我的检验在样本量达到要求之前就达到了显著性水平怎么办？ 对此保持警惕，并继续按计划进行。在实力较弱的窗口期，早期取得显著成绩恰恰是导致出现虚高且无法复制的赢家的模式。

80%的功率够用吗？ 这是传统的默认做法，也是一个合理的起点，但这意味著要接受20%的概率会错过真正的影响。对于高风险决策——例如结账流程的重新设计或价格调整——90%的统计功效值得付出额外的样本量。而对于成本低、可逆的改动，80%的统计功效就足够了。

不确定您的测试方案是否能得出真正的答案？

如果您的测试日志中充斥着许多微小的成功，但这些成功却从未体现在最终结果中，那么问题通常出在分析流程的上游。我们会审查实验方案，并直截了当地告诉您设计中的缺陷所在。

想了解更多关于 CRO 服务的信息？