Switasお問い合わせ

定量調査

定量調査とは、ユーザー行動に関する数値データを収集して統計的に分析し、個々の動機を説明するのではなく、多数のユーザーにわたるパターンの規模、頻度、有意性を測定する調査です。UXやコンバージョン最適化の文脈での代表的な定量調査の手法には、ウェブ解析のレポート、ファネル分析、A/Bテストや多変量テスト、多数のセッションにわたって集計したクリックやスクロールのトラッキング、そしてNet Promoter ScoreやSystem Usability Scaleの評価のように、統計的な比較に適したデータが得られる選択式の質問による構造化アンケートがあります。定量調査の決定的な特徴は、その結論が、コンバージョン率、統計的信頼水準、効果量といった測定可能な形で表され、期間やバリエーションをまたいで客観的に比較できることです。 この調査は、コンバージョン率最適化の中核をなします。提案された変更が、実施したチームにとって改善に感じられるだけでなく、実際に成果を向上させるかどうかを検証するための根拠を提供するからです。定量的な検証がなければ、デザインやマーケティングの判断は、意見、社内の力関係、主観的な好みに頼ることになります。調査では、これらが実際のユーザー行動とほとんど相関しないことが一貫して示されています。CROで最も一般的な定量的手法であるA/Bテストでは、結果が信頼できると見なされるために、事前に計算したサンプルサイズと、通常は95パーセントの統計的信頼水準に到達する必要があります。テストは一般に、少なくとも1〜2回分の完全な営業サイクル(多くは2〜4週間)にわたって実施されます。これは、短期間の結果を歪めかねない曜日や給料日に伴う行動の変動を考慮するためです。 定量調査には、管理された実験のほかに、既存の行動データの観察的な分析も含まれます。たとえば、流入元、デバイスの種類、地域ごとにコンバージョン率をセグメント化して、パフォーマンスが大きく異なる箇所を特定する分析や、特定の月に登録したすべてのユーザーのような特定のグループが、その後の数週間や数か月にどう行動するかを追跡するコホート分析があり、後者は継続率や顧客生涯価値の傾向を測定するのによく使われます。適切な定量調査の中核をなす統計的な概念には、ある信頼水準で意味のある効果を検出するために必要な観測数を決めるサンプルサイズの計算と、多数の指標を同時にテストすると、純粋な偶然によって誤って有意な結果が見つかる可能性が高まるという、多重比較の問題の回避があります。 よくある誤解は、定量データは本質的に客観的であり、したがって慎重な解釈は必要ないというものです。実際には、基盤となるデータ収集に欠陥があれば、定量的な結果は誤解を招くことがあります。たとえば、ボットのトラフィックが訪問者数を水増ししている、特定のデバイスでトラッキングコードが正しく発火しない、あるいは同時に実施されていた無関係なマーケティングキャンペーンがテストを汚染した、といったケースです。もう1つのよくある落とし穴は、この文脈でベースレート・フォールシー(基準率の誤り)と呼ばれることもあるもので、関係するコンバージョンの絶対数を考慮せずに、相対的な変化率だけに注目することです。合計でごくわずかなコンバージョンに基づく50パーセントの改善は、数千件のコンバージョンにわたって測定された10パーセントの改善よりも、統計的な信頼性がはるかに低いからです。 CROやグロースのコンサルティング実務では、定量調査は2つの役割を果たします。1つは診断の出発点として、ファネルのどこに最大で統計的に最も信頼できる機会があるかを特定すること。もう1つは最終的な検証の層として、定性調査から生まれた仮説が、実装後に実際に測定可能なビジネス成果を生むかを確認することです。成熟したコンサルティングの実務では通常、クライアントのために実施したすべての実験について、テストの実施速度と勝率の指標を維持し、過去の定量的な結果を使って、今後の最適化のラウンドでどの種類の仮説を優先する価値があるかを継続的に見直します。 具体例で説明します。あるチェックアウトページのコンバージョン率が現在3.2パーセントで、チームが、リデザインしたフォームによってその率が相対的に15パーセント、つまり約3.7パーセントまで向上するかを検出したいとします。信頼水準95パーセント、統計的検出力80パーセントでの標準的なサンプルサイズの計算では、テストを確実に完了するために、各バリエーションに数万人の訪問者が必要になるかもしれません。ページへの訪問者が週に数千人しかない場合、定量的な厳密さを求めるなら、チームは数週間にわたるテスト期間を受け入れるか、より大きな期待効果量を目標にするか、あるいはファネル内でトラフィックのより多いページにテストの労力を振り向けて、意味のある結果にもっと早く到達する必要があります。検出力の不足したテストを早期に打ち切って、誤った結論を出すリスクを冒してはなりません。

Qで始まるその他の用語

一緒に創りましょう、 次の一件を。

お問い合わせ