贝叶斯A/B测试

贝叶斯A/B测试是一种实验分析方法，它根据观察到的数据和任何提供的先验信息，报告一个变体优于另一个变体的概率。它与频率学派方法形成对比，后者报告的是如果变体没有效果，数据会有多么出乎意料。实际区别在于输出结果：贝叶斯方法会生成诸如“变体B有93%的概率优于对照组，如果我们选择错误，预期损失为0.2%”之类的语句，这些语句可以直接应用于业务决策。

该方法的工作原理是将先验分布（代表测试前对可能效果的预期）与观测数据相结合，从而生成一个后验分布，该分布描述了各种可能的效果。然后，可以根据决策的需要对该后验分布进行查询：例如，任何改进的概率、改进超过具有商业意义阈值的概率，或者做出错误判断的预期成本。正是出于这个原因，一些广泛使用的测试平台已将贝叶斯报告作为其默认报告方式，因为这样一来，利益相关者在采取行动之前就无需进行太多解读。

贝叶斯方法最常被提及的优势在于，它对持续监测更加稳健。由于后验分布会随着数据的更新而更新，并且并非基于固定样本假设，因此重复查看结果不会像使用朴素的频率学派p值那样导致误差率膨胀。这在商业环境中尤为重要，因为利益相关者会不顾分析方案的规定查看仪表盘。然而，这并不意味着只要某个数值看起来不错就可以停止测试：仅仅基于你正在关注的指标就停止测试仍然会高估估计效应量，而且无论采用何种统计框架，短期测试仍然会遗漏每周周期和新奇效应。

先验分布既是该方法的优势所在，也是其最常见的争议点。大多数平台默认使用的弱信息先验分布，一旦积累了足够多的数据，对结果的影响就微乎其微。而基于组织自身过往实验经验得出的强信息先验分布，能够显著提升估计结果的准确性，尤其是在低流量测试中，它可以将观测到的过大效应拉回到经验所表明的合理范围内。但是，为了支持某种预设结论而选择的先验分布是站不住脚的，因此，先验分布应该在测试启动前记录并达成一致，而不是在分析过程中临时选择。

任何框架都无法挽救设计糟糕的实验。如果实验存在随机化失效、跟踪误差、样本比例失调或指标无法反映商业价值等问题，那么贝叶斯分析只能给出看似可靠却精确的答案，而答案本身却与实验问题无关。框架的选择本质上是报告方式和决策理论的选择；而真正决定答案价值的，是实验设计本身的质量。

该框架真正能在商业环境中发挥作用的输出是预期损失，有时也称为风险。它并非询问某个方案是否更好，而是询问如果选择该方案后发现它更差，平均而言会损失多少。当预期损失低于企业认为可以忽略不计的阈值时，即可发布该方案的决策规则，与实际的商业决策方式直接吻合，因为没有人会要求对一个负面影响微乎其微的变更抱有绝对的确定性。该框架还能处理两个方案性能几乎相同的常见情况：其中一个方案更优的概率可能长期徘徊在 50% 左右，而预期损失无论哪个方案都微乎其微，这正确地表明选择无关紧要，团队应该停止在该方案上投入资源。

在项目实施过程中，框架选择通常会在早期确定，然后保持不变，因为在项目进行中途更改框架会导致历史结果无法比较。 CRO服务 团队通常会根据客户现有平台和分析文化的支持情况，选择合适的方法，预先定义决策阈值，并将精力集中在实验设计和优先级排序上，而不是统计理论本身。如果组织正在构建自己的测量体系，那么通常会结合更广泛的报告架构来做出选择。 数据分析 实现此功能，使实验输出和商业智能能够使用一致的语言来表示不确定性。