假设驱动测试是一种结构化的实验方法,其中每次测试都从一个明确、可证伪的陈述开始,预测某项具体改动将对用户行为产生具体、可衡量的影响,其格式通常是:因为我们观察到证据 X,所以我们相信将 Y 改为……会在既定时间段内带来结果 Z,以指标 M 来衡量。这与临时性测试形成鲜明对比,后者基于一般直觉或借用的行业最佳实践来尝试各种变体,没有清晰阐明的、基于当下被测试的实际网站或产品所特有证据的理由。一些团队还进一步要求每个假设指明其适用的具体用户群,因为一项帮助首次访问的移动端访客的改动,对已经清楚自己要做什么的桌面端回头客,可能毫无作用,甚至产生负面影响。
这种做法之所以重要,是因为它迫使团队在投入工程和设计资源去构建和运行测试之前,先用现有证据来论证所提出的改动,这能在长期内明显提高实验项目的整体胜率,并使成功和失败背后的推理,可以在产品的其他地方重复用于未来工作。一个验证或否定了基于既有数据的假设的测试(例如热力图显示用户完全忽略了某个关键行动号召),产生的经验可以推广到呈现类似模式的其他页面;而一个纯粹基于脱离依据的创意想法的测试,即便碰巧胜出,所得结果往往也很难解释,更难应用到产品的其他任何地方。
在实践中,假设驱动的测试项目通常会维护一份持续更新的假设清单,同时来自多个渠道,包括分析数据、热力图和会话录屏、用户访谈、客服反馈主题,以及对同一品类中类似企业的竞品分析。该清单使用 ICE 等评分框架来排定优先级,该框架依据潜在影响、对底层证据的信心和实施难易度为每个假设评分。一旦排定优先级,假设就会被转化为一项 A/B 测试,带有明确定义的主要指标、最小可检测效应和预先计算好的所需样本量,随后测试会一直运行到达到统计显著(通常为 95% 的置信水平),而不是基于一个诱人但为时过早的中期结果就提前停止。
一个常见的误解是,认为假设只是对变体外观的描述,例如我们要把按钮改成红色,而不是把现有证据与预期行为结果联系起来的有理有据的预测;一个表述得当的假设,始终会说明设计改动专门要检验和验证的、关于用户行为的底层信念。另一个重大陷阱是把失败的测试视为整个流程的失败,而不是本身有效且真正有价值的学习成果,因为一个被真实用户数据否定的假设,仍然消除了一个错误的假设,并比从未测试过这个想法更有成效地重新引导未来的投入,这是经验丰富的 CRO 从业者努力随时间推移融入客户组织的一项重要文化区别。
在 CRO 咨询公司中,假设驱动测试是几乎所有客户实验项目所围绕构建的运营模式,因为它提供了一条站得住脚、可审计的链条,把观察到的问题、提出的解决方案和测得的结果连接起来。这条链条既是向持怀疑态度的相关方论证持续测试项目所需持续投入的关键,也是建立组织知识库的关键,随着在产品的连续多轮测试中,越来越多的假设被检验、完善,并最终得到验证或明确排除,这一知识库的价值会显著复利增长。随着时间推移,这份经验证和被否定的假设的累积记录,会成为咨询公司最宝贵的资产之一,因为它让新的实验能够借助已经学到的一切来设计,而不是每次都从一张白纸开始。
