仮説駆動型テストとは、すべてのテストを、特定の変更がユーザー行動に特定の測定可能な効果をもたらすと予測する、明示的で反証可能な記述から始める、構造化された実験のアプローチです。通常は、「エビデンスXを観察したため、Yを変更すれば、定められた期間内に指標Mで測定される結果Zになると考える」といった形式で表現されます。これは、その時点でテストの対象となる実際のサイトやプロダクトに固有のエビデンスに基づく明確な理由がないまま、一般的な直感や借りてきた業界のベストプラクティスに基づいてバリエーションを試す、場当たり的なテストとは大きく異なります。一部のチームは、さらにすべての仮説について、それが適用される具体的なユーザーセグメントを明記することを求めます。初めてモバイルで訪れる訪問者に役立つ変更が、自分が何をしに来たのかを正確に把握しているリピートのデスクトップ顧客には効果がない、あるいは逆効果であることもあるからです。
この規律が重要なのは、テストを構築して実行するためのエンジニアリングやデザインのリソースを投じる前に、提案する変更を既存のエビデンスで正当化することをチームに求めるからです。これにより、実験プログラム全体の勝率が時間とともに大きく向上し、成功と失敗の双方の背景にある推論を、プロダクトの別の場所での今後の作業で再利用できるようになります。ユーザーが重要なコールトゥアクションを完全に見落としていることを示すヒートマップのような、過去のデータに基づく仮説を裏付けるか否定するテストは、同様のパターンを示す他のページにも一般化できる学びをもたらします。一方、根拠のない創造的なアイデアだけに基づくテストは、たまたま勝ったとしても、その結果を説明したり、プロダクトの他の場所に適用したりすることが非常に難しい結果になることが少なくありません。
実際には、仮説駆動型のテストプログラムは、通常、複数の情報源から同時に生み出される仮説のバックログを継続的に維持しています。情報源には、分析データ、ヒートマップやセッションレコーディング、ユーザーインタビュー、カスタマーサポートのテーマ、同じカテゴリの類似ビジネスの競合分析が含まれます。このバックログは、各仮説を潜在的な影響度、基盤となるエビデンスへの確信度、実装の容易さで評価するICEなどのスコアリングフレームワークで優先順位付けされます。優先順位が付けられた仮説は、明確に定義された主要指標、検出可能な最小効果、事前に算出された必要サンプルサイズを持つA/Bテストとして具体化され、魅力的ではあってもまだ早すぎる途中経過の結果に基づいて早期に打ち切るのではなく、統計的有意性、一般的には95%の信頼水準に達するまで実施されます。
よくある誤解は、仮説が、「ボタンを赤くする」のように、バリアントがどのような見た目になるかを単に記述したものであって、既存のエビデンスと期待される行動上の成果を結び付ける、理由付けされた予測ではないというものです。適切に構成された仮説は、デザイン変更が具体的に検証し確かめようとしているユーザー行動についての根底にある信念を、常に明示します。もう一つ重要な落とし穴は、負けたテストを、プロセス全体の失敗として扱い、それ自体が正当で本当に価値のある学びの成果であると捉えないことです。実際のユーザーデータによって否定された仮説も、誤った前提を取り除き、そもそもそのアイデアをテストしなかった場合よりも将来の労力をより生産的な方向に向け直すからです。これは経験豊富なCRO実務家が、クライアント組織に時間をかけて根付かせようと懸命に努力する、重要な文化的区別です。
CROのコンサルティングにおいて、仮説駆動型テストは、クライアントの実験プログラムのほぼすべてがその周りに構築される運営モデルです。観察された問題から、提案された解決策、そして測定された成果までを結ぶ、説明可能で監査可能な道筋を提供するからです。この道筋は、継続的なテストプログラムへの継続的な投資を懐疑的な関係者に正当化するためにも、プロダクト全体で繰り返されるテストを通じて、より多くの仮説がテストされ、洗練され、検証されるか決定的に否定されるにつれて、価値が大きく複利的に高まる組織的な知識ベースを築くためにも不可欠です。時間とともに、この検証された仮説と否定された仮説の蓄積された記録は、コンサルティング会社の最も価値ある資産の一つとなります。新しい実験を、毎回白紙から始めるのではなく、すでに学んだことすべてを活かして設計できるからです。
