定量研究是指收集并统计分析关于用户行为的数值数据,用来衡量大规模用户群体中各类模式的规模、频率和显著性,而不是解释个体的动机。在 UX 和转化率优化语境下,常见的定量方法包括网站分析报告、漏斗分析、A/B 测试和多变量测试、跨大量会话汇总的点击和滚动追踪,以及采用封闭式问题的结构化问卷,这类问卷产生的数据适合进行统计比较,例如净推荐值(NPS)或系统可用性量表(SUS)评分。定量研究的决定性特征是,其结论以可衡量的方式表达,例如转化率、统计置信水平或效应量,可以在不同时间段或不同变体之间进行客观比较。
这项工作对转化率优化至关重要,因为它提供了所需的证据,用来验证拟议的改动是否真正改善了结果,而不是仅仅让提出改动的团队“感觉”有所改善。没有定量验证,设计和营销决策就会依赖意见、内部政治或主观偏好,而研究一致表明,这些与用户的实际行为相关性很差。A/B 测试是 CRO 中最常见的定量方法,需要在达到预先计算好的样本量和统计置信水平(通常为 95%)之后,结果才会被视为可靠;测试通常至少运行一到两个完整的业务周期,往往是两到四周,以涵盖星期几以及发薪日相关的行为差异,否则这些差异会扭曲短期测试的结果。
除了对照实验之外,定量研究还包括对现有行为数据的观察性分析,例如按流量来源、设备类型或地区细分转化率,找出表现差异显著之处;以及队列分析,追踪某一特定用户群体(例如某个月注册的所有用户)在随后数周或数月内的行为,常用于衡量留存和生命周期价值的趋势。严谨的定量研究所依赖的核心统计概念包括样本量计算,用来确定在给定置信水平下检测出有意义效应所需的观测数量;以及避免多重比较问题,即同时检验大量指标会增加纯属偶然地得到虚假显著结果的可能性。
一个常见的误解是,定量数据天然客观,因此无需仔细解读。实际上,如果底层数据收集存在缺陷,定量结果可能产生误导,例如机器人流量抬高了访客数、追踪代码在某些设备上触发不正确,或者测试被同期运行的无关营销活动污染。另一个常见陷阱在这一语境下有时被称为基础比率谬误,即只关注相对百分比变化,却不考虑所涉及的转化绝对数量:基于寥寥几次总转化得出的 50% 提升,其统计可靠性要远低于在数千次转化中测得的 10% 提升。
在 CRO 与增长咨询工作中,定量研究既是诊断的起点,用于找出漏斗中哪里存在最大且统计上最可靠的机会,也是最终的验证层,用于确认通过定性研究提出的假设在实施后是否真的带来了可衡量的业务结果。成熟的咨询实践通常会对为客户开展的所有实验维护测试速度和胜率指标,利用历史定量结果不断优化在后续优化轮次中值得优先考虑的假设类型。
举一个具体的例子:假设某结账页当前的转化率为 3.2%,团队希望检测改版后的表单能否将该转化率相对提升 15%,即提升至大约 3.7%。在 95% 置信度和 80% 统计功效下进行的标准样本量计算可能表明,每个变体需要数万名访客,测试才能得出可靠的结论。如果该页面每周只有几千名访客,定量研究的严谨性就要求团队要么接受长达数周的测试时长,要么设定更大的预期效应量,要么把测试精力转向漏斗中流量更高、能更快得出有意义结果的页面,而不是过早宣布一个功效不足的测试结果,从而冒着得出错误结论的风险。
