多变量测试(MVT)是一种实验方法,通过在同一页面上同时测试两个或更多组件的多种变体,并衡量它们对转化率等目标指标的综合影响,来判断页面上的多个元素之间如何相互作用。标准 A/B 测试比较的是一个完整页面版本与另一个版本,而多变量测试可能同时让标题有两种变化、首屏主图有三种变化,从而产生六种不同的组合,并分别展示给不同的流量分组。其结果不仅能找出整体表现最好的组合,还能揭示每个元素各自的贡献,以及元素之间是否存在交互作用,也就是某个组件的效果取决于它与另一个组件的哪个版本搭配。
当团队需要弄清页面上究竟是哪些具体元素在驱动表现,而不只是确认某次整体改版优于另一版时,这种方法就很有价值。例如,一个重新设计的落地页作为单个 A/B 变体进行测试时可能胜出,但如果不做多变量测试,就无法知道提升究竟来自新标题、重新调整位置的表单,还是更新后的图片,而这些信息对于把经验应用到其他页面十分重要。多变量测试最适合高流量页面,因为随着变量的增加,在众多组合(通常称为“单元”)之间检测出有意义差异所需的统计样本量会大幅增长:两个变量各有三种变体的全因子设计需要九个单元,而每个单元都需要足够的样本量,通常每个单元要有数百乃至数千次转化,才能达到可靠的统计显著性。
由于对流量有这样的要求,MVT 通常只用于本身流量已经很可观的页面,例如电商首页或高意向的产品页;对于小众 B2B 落地页这类低流量页面则不太现实,此时依次开展一系列简单的 A/B 测试,通常能更快得出可执行的结论。测试平台通常提供两种多变量测试的统计方法:全因子设计会测试所有可能的组合,以获得最全面的洞察;部分因子设计或田口方法则只测试精简后的组合子集,以牺牲部分交互数据为代价更快得出结论。
一个常见的误解是把多变量测试看成是同时运行多个 A/B 测试的更快方式。实际上,由于流量被分摊到更多变体上,要达到与单个 A/B 测试相同的统计置信度,它需要多得多的流量和更长的测试周期。运行功效不足的多变量测试,即在每个单元尚未达到所需样本量时就解读结果,是转化率优化工作中造成错误结论的最常见原因之一;另一个常见原因是依据第一周的领先结果就过早结束测试,而不是等到完整的计划测试周期结束,该周期通常设为两到四周,以涵盖每周的季节性波动。
在 CRO 咨询实践中,多变量测试通常被定位为一种进阶工具,会在较简单的 A/B 测试已验证假设的大方向之后使用,适用于客户流量充足、希望细致了解后续设计工作应优先处理哪些具体页面元素的情形。顾问通常会把 MVT 的结果与热力图或用户访谈等定性研究结合起来,不仅解释哪种组合在数值上胜出,更解释用户为何作出这样的反应,从而把一次实验转化为可复用的设计原则,指导最初测试页面之外的其他页面。
来看一个具体的例子:某电商产品页团队希望同时测试两种标题和两种产品图风格。全因子多变量测试会产生四种组合。如果页面的基准转化率为 5%,团队希望可靠地检测出任一单元 10% 的相对提升,那么每个单元所需的样本量很容易达到数千名访客,也就是说页面需要累计数万名访客,测试才能结束。如果该页面每月只有几千名访客,同样的测试需要许多个月才能达到显著性,这时改为依次进行两次 A/B 测试,先单独测试标题,再测试图片,通常能更早得出可靠且可执行的答案。
