最小可检测效应 (MDE)

最小可检测效应（Minimum Detectionable Effect，简称MDE）是指实验设计中能够可靠检测到的最小指标变化。它在实验开始前设定，并直接作为样本量计算的输入参数。例如，MDE为10%的实验旨在以指定的置信水平和功效检测到10%或更大的改进；较小的真实改进往往无法被该实验检测到，表现为不确定结果而非成功。

MDE（最小可测量阈值）常被误解为预测某个变体能提升多少转化率。它并非预测，而是一种灵敏度设置，就像量表上的最小可测量增量一样。设置 MDE 并不会增加或减少某种效果发生的可能性；它决定了实验是否具有足够的分辨率来检测出该效果（如果存在的话）。混淆这两者会导致测试结束后常见的糟糕对话：团队争论说，由于 MDE 设置为 15%，所以某个变体“本应获胜”，而实际上，MDE 仅仅描述了测试能够观察到的程度。

设定最小可行指标 (MDE) 的正确方法是从商业角度出发，而非统计角度。关键在于，多大的改进才能抵消构建、交付和维护变更的成本，以及用于衡量改进效果的流量机会成本。对于高流量的结账页面，2% 的相对提升可能带来可观的年度收益，因此值得进行长期测试。而对于低流量的联系表单，低于 20% 的改进可能根本无法检测，因为新增潜在客户的绝对数量微乎其微。从业务价值出发，反向推导测试路线图，能够确保测试结果始终与实际效果挂钩，而非仅仅追求统计上的便利。

雄心勃勃的最小可检测效应量 (MDE) 与网站实际流量之间存在着不可避免的矛盾。在急于展示成果的压力下，团队往往会采取错误的做法，悄悄地提高 MDE，直到样本量计算得出令人满意的天数。这样做产生的实验在技术上有效，但在实际应用中却毫无用处：它们只能检测到那些即使不进行测试也显而易见的显著效应。更诚实的做法是承认，在当前的流量水平下，有些问题无法通过实验来解答，并将这些问题转交给其他方法，例如可用性测试、数据分析或专家评审。

MDE（模型驱动开发）也会影响测试版本本身的设计。如果一项测试需要检测到 15% 的改进才值得进行，那么按钮文案的细微改动不太可能达到这个标准，团队最好测试页面的另一种截然不同的方案：例如重新构建价值主张、调整表单长度或改变定价方式。这就是为什么流量有限的项目往往比流量无限的项目更有价值，因为后者可以随意测试一些无关紧要的细节。

一个反复出现的困惑点在于，效果是以相对值还是绝对值来表示，而这两者之间的差异不容忽视。假设基准转化率为 2%，那么 10% 的相对提升意味着转化率达到 2.2%，绝对变化仅为 0.2 个百分点。而 10% 的绝对提升则意味着转化率达到 12%，这在实际应用中几乎不可能实现。样本量计算器、测试平台和利益相关者经常在不加说明的情况下切换这两种表示方法，而基于错误解读制定的计划要么会导致实验无法得出结论，要么会导致实验规模过大。在每个测试计划中明确说明表示方法，并同时列出基准值和最终的绝对值，可以消除这种歧义，否则每次与分析部门以外的人员讨论结果时，这种歧义都会再次出现。

在实践中，模型驱动工程（MDE）的决策是在路线图规划阶段集体做出的，而不是由分析师单独完成的。 CRO服务 参与度文档通常会针对每个计划的实验记录基线率、最小可检测效应 (MDE)、最终样本量和预计运行时间，以便利益相关者在决定实施之前了解每个问题的成本。对于在多个平台或市场开展实验的组织而言，这种文档还可以避免将单一的 MDE 规范应用于流量特征截然不同的网站这一常见错误，这种情况在……中经常出现。 企业 某些程序会将中央标准下推给流量无法支持该标准的团队。