Çağdaş Polat · · 阅读约 1 分钟
A/B 测试是优化网站和应用的关键方法,它让企业能够比较网页或应用的两个版本,以确定哪个表现更好。理解 A/B 测试中涉及的关键指标和术语,对于准确解读结果至关重要。本文将解析重要的 A/B 测试指标和术语,包括p 值、置信区间、单侧检验与双侧检验、z 分数、观测功效、变体、对照组、增量收入、转化率和贝叶斯计算。
A/B 测试的关键指标与术语
1. 变体(Variant)
变体是指 A/B 测试中被测试的其中一个版本。通常,现有版本称为对照版本(control),新版本则是变体。
示例:在对落地页进行的 A/B 测试中,版本 A(当前页面)是对照版本,版本 B(新设计)是变体。
2. 对照组(Control Group)
对照组是指在 A/B 测试中看到原始版本(对照版本)的用户群。它作为基线,用来比较变体的表现。
示例:如果有 10,000 名用户访问网站,其中 5,000 人可能看到对照页面(对照组),另外 5,000 人看到变体页面。

3. 增量收入(Incremental Revenue)
增量收入是指因 A/B 测试中所做的更改而产生的额外收入。它有助于评估测试带来的财务影响。
示例:如果变体页面使平均订单价值提高 5 美元,并额外产生了 1,000 笔购买,则增量收入为 5,000 美元。

4. 转化率(Conversion Rate)
转化率是指完成预期行为(如购买或订阅新闻通讯)的用户占访客总数的百分比。
示例:如果 1,000 名访客中有 100 人完成购买,则转化率为 10%。
5. p 值(P-Value)
p 值衡量的是两个版本之间观察到的差异由偶然因素造成的概率。p 值越低(通常小于 0.05),表明观察到的差异在统计上越显著。
示例:假设一次 A/B 测试比较落地页的两个版本。版本 A 的转化率为 5%,版本 B 的转化率为 7%。如果 p 值为 0.03,则观察到的差异由偶然因素造成的概率为 3%,说明两个版本之间存在显著差异。

6. 置信区间(Confidence Interval)
置信区间给出一个范围,真实效应量在一定置信水平(通常为 95%)下预期落在该范围内。它有助于评估测试结果的可靠性。
示例:在同一次 A/B 测试中,转化率差异的 95% 置信区间可能是 [1%, 3%]。这意味着我们有 95% 的把握认为转化率的真实差异介于 1% 和 3% 之间。
7. 单侧检验与双侧检验(One-Sided and Two-Sided Tests)
单侧检验评估效应的方向(例如版本 B 是否优于版本 A),而双侧检验评估两个方向上是否存在任何差异。
单侧检验示例:检验版本 B 的转化率是否高于版本 A。
双侧检验示例:检验版本 A 和版本 B 的转化率之间是否存在任何差异,无论方向如何。

8. z 分数(Z-Score)
z 分数衡量一个数值与均值相差多少个标准差。在 A/B 测试中,它用于判断两个版本之间观察到的差异是否显著。常见置信水平及其对应的 z 分数:
- 置信区间 95%
- 双侧 z 分数: 1.96
- 单侧 z 分数: 1.65
- 置信区间 99%
- 双侧 z 分数: 2.58
- 单侧 z 分数: 2.33
- 置信区间 90%
- 双侧 z 分数:1.64
- 单侧 z 分数: 1.28
示例:如果版本 A 与版本 B 转化率差异的 z 分数为 2.5,则表示该差异偏离均值 2.5 个标准差,说明差异在统计上显著。
9. 观测功效(Observed Power)
观测功效是指当存在真实效应时,测试正确拒绝原假设的概率。观测功效越高,检测到真实差异的可能性越大。
示例:在观测功效为 0.8(80%)的 A/B 测试中,若各版本之间确实存在真实差异,则有 80% 的概率检测到该差异。

10. 贝叶斯计算(Bayesian Calculation)
贝叶斯计算是指在获得更多证据时,利用贝叶斯定理更新对某一假设的概率估计。在 A/B 测试中,它提供了一个基于数据做出决策的概率框架。
示例:使用贝叶斯方法,您可以在给定观测数据的情况下,确定某个变体优于对照版本的概率,而不是仅仅依赖传统的 p 值。

11. 频率学派统计(Frequentist Statistics)
频率学派统计是假设检验中的传统方法,侧重于数据的频率或比例。它依赖固定的数据集,不纳入先验知识或概率分布。
示例:在 A/B 测试的频率学派方法中,您会使用 p 值和置信区间来判断测试结果的显著性,而不纳入先验概率。
实际案例
案例 1:电子邮件营销 A/B 测试
一家公司想测试两个电子邮件主题行,看哪一个能带来更高的打开率。
- 主题行 A: 打开率 25%
- 主题行 B: 打开率 28%
- p 值: 0.02(表明存在显著差异)
- 置信区间: [2%, 5%](有 95% 的把握认为打开率的真实差异介于 2% 和 5% 之间)
- z 分数: 2.33(说明存在统计上显著的差异)
- 观测功效: 0.85(有 85% 的概率检测到真实差异)
案例 2:网站落地页 A/B 测试
一家电商网站测试两种落地页设计,以确定哪一种能带来更多购买。
- 设计 A:转化率 4%
- 设计 B: 转化率 5%
- p 值: 0.045(表明存在显著差异)
- 置信区间: [0.5%, 1.5%](有 95% 的把握认为转化率的真实差异介于 0.5% 和 1.5% 之间)
- z 分数:2.01(说明存在统计上显著的差异)
- 观测功效: 0.78(有 78% 的概率检测到真实差异)
A/B 测试是优化数字体验的有力工具,理解其关键指标和术语对于准确解读结果至关重要。Switas 懂得如何开展有效的A/B 测试,确保企业能够做出数据驱动的决策以提升业绩,并提供可靠、可落地的洞察,推动增长与成功。




