我们重点介绍了 Microsoft Clarity,它是一款由真正了解像 Switas 这样的公司所面临挑战的产品开发人员,以实际应用场景为导向打造的产品。诸如“愤怒点击”和 JavaScript 错误跟踪等功能,在识别用户痛点和技术问题方面发挥了至关重要的作用,从而能够进行有针对性的改进,直接提升用户体验和转化率。
实验速度是指组织完成有效实验的速率,通常以每月或每季度完成的测试数量来表示。它是衡量测试项目价值的最有力指标之一,原因很简单:如果只有少数实验能带来显著的改进,那么改进的数量很大程度上取决于实验的运行数量。在其他条件相同的情况下,学习速度翻倍,对关键指标的复利效应也大致翻倍。
速度受三个不同的限制因素制约,确定哪个因素是制约因素是提升速度的第一步。流量设定了一个严格的统计上限:一个网站无法同时运行比其流量所能支持的更多、性能充足的测试。生产能力涵盖了创意产生、设计、构建和质量保证,通常是每个测试都需要工程工作的组织中的主要制约因素。流程涵盖了审批周期、利益相关者审查、法律或品牌审批以及分析周转时间,通常是最大的隐性成本,因为测试在队列中闲置的时间比收集数据的时间还要长。
降低标准来提高速度是适得其反的,而且不幸的是,这种情况很常见。将运行时间缩短到低于一个完整的业务周期、跳过样本量计算、放弃质量保证、只测试容易测试的内容而非真正重要的内容,以及在发现显著性结果的第一时间就停止测试,这些都会增加已完成实验的数量,同时减少真正有价值的发现。一个每季度报告四十次测试但方法不可靠的项目,其价值远低于一个每季度报告十二次测试且方法正确的项目,而且前者还会因为结果相互矛盾而造成更多的组织混乱。
提高效率的关键在于减少等待时间,而非压缩测试本身。维护一个优先级排序的待开发项目清单,确保资源始终处于可用状态。建立可重用的组件库和测试模板,从而缩短构建时间。对特定类别的低风险实验达成长期审批协议,避免每次实验都需要重新审批。在网站的不同区域同时运行互不重叠的测试。自动化分析和报告流程,使结果在测试当天即可获得,而非两周之后。所有这些措施都不会降低测试的严谨性,而是都能有效缩短实验之间的间隔时间。
速度指标应与质量指标结合解读,而非孤立地看待。有用的辅助指标包括:得出有效结论而非中止的测试比例、无论结果如何都能产生可记录学习成果的测试比例、针对高价值页面或流程的实验比例,以及通过保留测试样本衡量的程序累积效果。不出所料,仅显示速度指标的仪表盘会通过运行更多简单的测试来优化。
并发性值得特别关注,因为它是最常被滥用的工具。同时运行多个实验,如果测试影响的是体验中不相关的部分,可以显著提高吞吐量;但如果测试结果重叠,则会导致结果难以解读。实用的原则是:将每个测试映射到它所涉及的流程步骤和受众;避免同时运行两个修改同一步骤的测试;并且在测试相邻时检查交互效应,而不是假设它们彼此独立。一些组织通过维护一个记录所有活跃实验及其影响区域的共享日历来解决这个问题。虽然这种方法并不美观,但它可以避免常见的情况:两个团队在不知情的情况下测试了对同一页面的冲突更改,最终都报告了不确定的结果,却不明白原因。
对大多数组织而言,提升效率的最快途径并非新的工具,而是更清晰的运营模式:谁负责提出想法、谁负责优先级排序、谁负责开发、谁负责审批,以及每个步骤允许花费多长时间。建立这样的模式是组织日常运营的正常组成部分。 成长管理 参与度以及由此产生的节奏通常取决于是否有足够多的、准备充分且证据确凿的假设来保持信息渠道畅通,而这正是持续性的重要性所在。 用户研究 它作为测试路线图的输入,而不是偶尔的独立项目,而获得了应有的地位。
我们重点介绍了 Microsoft Clarity,它是一款由真正了解像 Switas 这样的公司所面临挑战的产品开发人员,以实际应用场景为导向打造的产品。诸如“愤怒点击”和 JavaScript 错误跟踪等功能,在识别用户痛点和技术问题方面发挥了至关重要的作用,从而能够进行有针对性的改进,直接提升用户体验和转化率。