統計力

統計的検出力とは、実験が実際に存在する特定のサイズの真の効果を検出できる確率のことです。最も広く用いられている80%の検出力を持つテストでは、指定されたサイズの真の改善を5回中4回正しく検出でき、残りの1回は見逃してしまいます。検出力は有意水準に対応するもので、有意水準はテストがどれだけ頻繁に誤った結果を出すかを制御し、検出力はどれだけ誤った結果を見逃すかを制御します。

検出力は、有意水準、ベースライン変換率、最小検出可能効果とともに事前に決定され、これらによって必要なサンプルサイズが決定されます。検出力の要件を80%から90%に引き上げると、必要なトラフィックが大幅に増加するため、臨床研究ではより高い基準が一般的であるにもかかわらず、商業試験では80%がデフォルトとなっています。この選択は、優れたアイデアを見逃すコストと、それを探すために費やすトラフィックのコストとの間のビジネス上のトレードオフを反映しています。

最適化プログラムにおいて、最も蔓延しているにもかかわらず最も見過ごされがちな欠陥は、テストの検出力不足です。計算されたサンプルサイズではなく、固定された期間で実行されるテストは、トラフィックが想定よりも少ない場合、必然的に検出力が不足します。その結果、労力の無駄遣いだけでなく、体系的に誤った結論が導き出されます。検出力不足のプログラムは、結論の出ない結果を次々と生み出し、それらは「効果なし」として記録されます。そして、時間の経過とともに、ある種の変更は重要ではないという誤った認識が組織内に広まります。測定手段の感度が十分でなかったために、真の機会が失われてしまうのです。

さらに、より厄介な第二の弊害があります。検出力が不十分な実験では、統計的に有意な結果が得られたとしても、計算上、観測された効果は大きく見えてしまいます。これは、プログラムが報告するあらゆる成功事例の見かけ上の規模を誇張することになり、いわゆる「勝者の呪い」と呼ばれる現象です。そのため、検出力が不十分なテストを実行するプログラムは、劇的な成功事例の数々を報告することになりますが、実際に展開してみると、報告された規模で再現されるものはなく、予測収益と実現収益のギャップこそが、最終的にその手法に対する信頼を損なう原因となるのです。

検出力を高めるために、必ずしもトラフィックの増加を待つ必要はありません。ファネルの上位層でベースレートの高い指標を選択することで、同じ訪問者数でも検出力を高めることができます。共変量調整分析を使用したり、テスト対象をより均質なオーディエンスセグメントに限定したりすることで、分散を低減し、実行時間を大幅に短縮できます。より大きな効果が期待される大胆な変更をテストすることで、テストで検出する必要のある効果量が増加し、結果としてサンプル数を減らすことができます。これらはすべて、ローンチ前に決定する設計上の判断であり、数値が好転することを期待して既に結論が出ていないテストを延長するよりも、はるかに効果的です。

分散低減は、トラフィックを増やすことなく感度を向上させるため、通常よりも注目されるべきです。最も確立された手法は、テスト前の数週間の行動など、各訪問者に関する事前実験データを分析の共変量として使用し、処理とは無関係な変動を除去します。トラフィックのかなりの割合が履歴のあるリピーターである場合、必要なサンプルを大幅に削減でき、単一のテストを改善するのではなく、プログラム全体の実行時間を短縮できます。変動の少ない指標を選択することでも同様の効果が得られます。バイナリコンバージョンは、少数の大口注文に支配される訪問者あたりの収益よりもノイズが少ないため、コンバージョンを重視し、収益を二次指標として報告するテストは、収益を直接重視するテストよりもはるかに早く結論に達することがよくあります。

コンサルティング業務において、パワー分析とは、テストロードマップが実際に何ができるかを正直に示す段階です。 コンバージョン率の最適化 プログラムが開始され、現在のトラフィックで達成可能なパワーを計算すると、クライアントは四半期あたりに現実的な実験回数と、まったく異なる方法が必要となる質問を把握できます。継続的な実験サイクルをサポートしない計算上の問題がある場合、より効果的な方法は、通常、構造化された調査と専門家による評価であり、 UX監査実験は、数値的に有効な、トラフィック量が多く価値の高い少数のフローに限定される。