Switasお問い合わせ

多変量テスト

多変量テスト(MVT)とは、同じページ上の2つ以上の要素について複数のバリエーションを同時にテストし、コンバージョン率などの目標指標への複合的な影響を測定することで、複数のページ要素がどのように相互作用するかを調べる実験手法です。通常のA/Bテストはページ全体の1つのバリエーションを別のものと比較しますが、多変量テストでは、たとえば見出しを2通り、ヒーロー画像を3通り同時に変化させ、6通りの異なる組み合わせをトラフィックの異なるセグメントに表示します。その結果、全体として最も成果の高い組み合わせがわかるだけでなく、各要素の個別の寄与や、要素間に交互作用があるか(ある要素の効果が、組み合わせるほかの要素のバージョンによって変わるか)も明らかになります。 この手法は、1つの全面的なリデザインが別のものを上回ったことを確認するだけでなく、ページのどの要素が成果を牽引しているのかを把握したいときに有効です。たとえば、リニューアルしたランディングページを1つのA/Bバリエーションとしてテストして勝ったとしても、改善の要因が新しい見出しなのか、フォームの配置変更なのか、画像の更新なのかは、多変量テストなしには判別できません。他のページに学びを適用する際には、この情報が重要になります。多変量テストは、トラフィックの多いページで最も効果的です。多数の組み合わせ(セルと呼ばれます)にわたって意味のある差を検出するための統計的要件は、変数が増えるごとに大きく膨らむためです。たとえば、2つの変数をそれぞれ3バリエーションにする完全要因計画では9つのセルが必要になり、各セルが信頼できる統計的有意性に達するには、十分なサンプルサイズ(一般にセルあたり数百から数千件のコンバージョン)が必要です。 このトラフィック要件のため、MVTは通常、ECサイトのトップページや購買意欲の高い商品ページのように、すでに大量のトラフィックがあるページに限って用いられます。ニッチなBtoBのランディングページのようにトラフィックが少ないページでは現実的ではなく、単純なA/Bテストを順に重ねるほうが、実行可能な結論に早く到達できるのが一般的です。テストプラットフォームは、多変量テストに2つの統計的アプローチを用意していることが多くあります。1つは、あらゆる組み合わせをテストして最大限の知見を得る完全要因計画、もう1つは、組み合わせの一部だけをテストすることで、交互作用のデータをいくらか犠牲にしつつ、より早く結論に至る一部実施要因計画(田口メソッドなど)です。 よくある誤解は、多変量テストを複数のA/Bテストを同時に回すための、より速い方法と見なすことです。実際には、トラフィックがはるかに多くのバリエーションに分割されるため、単一のA/Bテストと同じ統計的信頼度に達するには、大幅に多いトラフィックと長いテスト期間が必要になります。検出力が不足した多変量テスト、つまりセルあたりに必要なサンプルサイズに達する前に結果を解釈してしまうテストは、コンバージョン最適化の現場で誤った結論を招く最も一般的な原因の1つです。同様に、計画した期間全体(週次の季節性を考慮して2〜4週間とすることが多い)を待たず、1週目の先行結果をもとにテストを早期終了することも、誤った結論の原因となります。 CROコンサルティングの実務では、多変量テストは一般に、単純なA/Bテストで仮説の大まかな方向性がすでに検証された後に用いる高度な手法として位置づけられます。クライアントに十分なトラフィックがあり、今後のデザイン作業でどのページ要素を優先すべきか、きめ細かな知見を求める場面に使います。コンサルタントは通常、MVTの結果をヒートマップやユーザーインタビューなどの定性調査と組み合わせ、どの組み合わせが数値的に勝ったかだけでなく、なぜユーザーがそのように反応したのかを説明します。これにより、1回の実験が、最初にテストしたページを超えて他のページにも活かせる、再利用可能なデザイン原則になります。 具体例で考えてみましょう。ECの商品ページのチームが、2通りの見出しと2通りの商品画像スタイルを同時にテストしたいとします。完全要因計画の多変量テストでは4つの組み合わせが生じます。ページのベースラインのコンバージョン率が5パーセントで、どのセルでも10パーセントの相対的な改善を確実に検出したい場合、セルあたりに必要なサンプルサイズは容易に数千人に達します。つまり、テストが完了するまでにページには合計で数万人の訪問者が必要です。ページの訪問者が月に数千人しかない場合、同じテストが有意性に達するまでには何か月もかかります。その場合は、まず見出しを切り分け、次に画像を切り分けるという2つのA/Bテストを順に実施するほうが、確信の持てる実行可能な答えをはるかに早く得られるのが一般的です。

Mで始まるその他の用語

一緒に創りましょう、 次の一件を。

お問い合わせ