定量的研究

定量的研究 定量調査とは、ユーザー行動に関する数値データを収集し統計的に分析する手法であり、個々のユーザーの動機を説明するのではなく、多数のユーザー集団におけるパターンの規模、頻度、および重要性を測定するために使用されます。UXおよびコンバージョン最適化の文脈では、一般的な定量的手法として、Webアナリティクスレポート、ファネル分析、A/Bテストおよび多変量テスト、多数のセッションにわたって集計されたクリックおよびスクロール追跡、および統計的比較に適したデータ（ネットプロモータースコアやシステムユーザビリティスケール評価など）を生成するクローズドエンド型の質問を含む構造化アンケートなどがあります。定量調査の決定的な特徴は、その結論がコンバージョン率、統計的信頼水準、効果量など、客観的に期間やバリエーション間で比較できる測定可能な用語で表現されることです。

コンバージョン率最適化において、この手法は中心的な役割を果たします。なぜなら、提案された変更が、単に変更を行ったチームにとって改善されたように感じられるだけでなく、実際に成果を向上させるかどうかを検証するために必要な証拠を提供するからです。定量的な検証がなければ、デザインやマーケティングの意思決定は、意見、社内政治、主観的な好みに頼ることになりますが、調査によると、これらは実際のユーザー行動と相関性が低いことが一貫して示されています。CROで最も一般的な定量的手法であるA/Bテストでは、結果が信頼できるとみなされる前に、事前に計算されたサンプルサイズと統計的信頼水準（通常95%）に達する必要があります。また、テストは一般的に、曜日や給料日に関連した行動の変動を考慮するため、最低でも1～2回のビジネスサイクル（多くの場合2～4週間）にわたって実施されます。これらの変動は、短期間のテストでは結果を歪めてしまう可能性があります。

定量的研究には、制御された実験以外にも、トラフィックソース、デバイスの種類、地域別にコンバージョン率をセグメント化してパフォーマンスが大きく異なる箇所を特定するなど、既存の行動データの観察分析や、特定のユーザーグループ（例えば、特定の月に登録したすべてのユーザー）がその後の数週間または数か月にわたってどのように行動するかを追跡するコホート分析が含まれます。コホート分析は、定着率や生涯価値の傾向を測定するためによく使用されます。健全な定量的研究の中心となる統計的概念には、特定の信頼水準で意味のある効果を検出するために必要な観測数を決定するサンプルサイズ計算や、複数の指標を同時にテストすると偶然に誤って有意な結果が見つかる可能性が高くなる多重比較問題の回避などがあります。

よくある誤解として、定量データは本質的に客観的であるため、慎重な解釈は不要であるというものがあります。しかし実際には、ボットによるトラフィックで訪問者数が水増しされたり、特定のデバイスでトラッキングコードが正しく動作しなかったり、テストが同時に実行されている無関係なマーケティングキャンペーンによって汚染されたりした場合など、基礎となるデータ収集に欠陥があると、定量的な結果は誤解を招く可能性があります。また、この文脈では「ベースレートの誤謬」と呼ばれることもある、コンバージョンの絶対数を考慮せずに相対的なパーセンテージの変化に注目するという落とし穴もよくあります。なぜなら、わずか数件のコンバージョンに基づいて報告された50%の増加は、数千件のコンバージョンで測定された10%の増加よりも統計的な信頼性がはるかに低いからです。

CRO（コンバージョン率最適化）や成長コンサルティング業務において、定量調査は、ファネルのどの段階で最も規模が大きく、統計的に最も信頼性の高い機会が存在するかを特定する診断の出発点となるだけでなく、定性調査によって生成された仮説が実際に実装された際に測定可能なビジネス成果を生み出すかどうかを確認する最終的な検証層としても機能します。成熟したコンサルティング業務では、通常、クライアントのために実施するすべての実験においてテストの実施速度と勝率の指標を維持し、過去の定量調査結果を用いて、今後の最適化ラウンドで優先すべき仮説の種類を継続的に精査していきます。

具体的な例として、チェックアウトページのコンバージョン率が現在3.2%で、フォームのデザイン変更によってコンバージョン率が15%向上し、約3.7%になるかどうかを検証したいとします。95%の信頼度と80%の統計的検出力で標準的なサンプルサイズを計算すると、テストを確実に完了するには、各バリアントに数万人の訪問者が必要になることが示されるかもしれません。もしそのページへの訪問者数が週に数千人程度であれば、定量的な厳密さを期すためには、テスト期間を数週間に延長するか、期待される効果量を大きくするか、あるいは、検出力の低いテストを早期に終了して誤った結論を出すリスクを冒すよりも、ファネル内のトラフィック量の多いページにテストの取り組みを振り向け、そこでより早く有意義な結果を得る必要があります。