最小検出可能効果（MDE）

最小検出可能効果（MDEと略されることが多い）とは、実験が確実に検出できるように設計された指標の最小変化量のことです。これはテスト開始前に設定され、サンプルサイズ計算に直接入力されます。MDEが10%の実験は、指定された信頼水準と検出力で10%以上の改善を検出するように設計されています。それよりも小さい真の改善は、このテストでは検出されず、成功ではなく結論の出ない結果として現れることがよくあります。

MDEは、バリアントがコンバージョン率をどれだけ向上させるかを予測するものだと誤解されることがよくあります。しかし、これは予測ではありません。これは、目盛りに最小測定増分があるのと同じように、感度設定です。MDEを設定しても、効果が発生する可能性が高くなったり低くなったりするわけではありません。MDEは、効果が存在する場合に、実験がそれを検出できるだけの十分な解像度を持っているかどうかを決定するものです。この2つを混同すると、テスト終了後によくある、MDEが15%に設定されていたためバリアントが「勝つべきだった」と主張するチーム間の議論につながります。実際には、MDEはテストで確認できる範囲を表しているに過ぎないのです。

MDE（最大検出可能値）を設定する正しい方法は、統計的ではなく、商業的な観点から行うべきです。問題は、どの程度の改善であれば、変更の構築、展開、維持にかかるコスト、そして測定に費やしたトラフィックの機会費用を正当化できるかということです。大量のチェックアウトの場合、2%の相対的な増加は年間で相当な金額になり、長期にわたるテストを行う価値があるかもしれません。トラフィックの少ない問い合わせフォームの場合、20%未満の改善では、追加されるリードの絶対数がごくわずかであるため、検出する価値がないかもしれません。ビジネス価値から逆算することで、テストのロードマップは統計的な便宜ではなく、結果にしっかりと結びつくようになります。

野心的なMDE（最大検出可能期間）と実際のサイトトラフィックの間には、避けられない緊張関係が存在します。結果を出すようプレッシャーを受けているチームは、しばしば間違った方向にこの緊張関係を解消しようとし、サンプルサイズ計算で適切な日数が返されるまで、ひっそりとMDEを引き上げてしまいます。こうして得られる実験は、技術的には有効でも、実際には役に立ちません。なぜなら、テストをしなくても明らかだったであろう大きな効果しか検出できないからです。誠実な代替策は、現在のトラフィックレベルでは実験では答えられない疑問があることを受け入れ、ユーザビリティテスト、分析調査、専門家によるレビューなど、他の方法に委ねることです。

MDEは、バリアント自体のデザインにも影響を与えます。テストを実行する価値があるために15%の改善を検出する必要がある場合、ボタンのコピーを少し変更しただけではその基準を満たすことはまずなく、チームにとっては、ページに対する根本的に異なるアプローチ、つまり、再構築された価値提案、異なるフォームの長さ、変更された価格表示などをテストする方がはるかに有益です。これが、トラフィックが限られているプログラムの方が、些細なことをテストできる余裕のあるトラフィック無制限のプログラムよりも、より興味深い成果を生み出す傾向がある理由です。

繰り返し混乱を招く原因の一つは、効果が相対値で表されているのか絶対値で表されているのかという点であり、その違いは些細なものではありません。基準となるコンバージョン率が2%の場合、相対的に10%改善すると2.2%になり、絶対値では0.2パーセントポイントの変化となります。一方、絶対値で10%改善すると12%になりますが、これは現実的な変化では実現できません。サンプルサイズ計算ツール、テストプラットフォーム、関係者は、明示せずにこの2つの表記法を頻繁に使い分けており、誤った解釈に基づいて作成された計画では、結論が出ない実験、あるいは過剰な検出力を持つ実験が計画されてしまいます。基準値と結果として得られる絶対値とともに、表記法をすべてのテスト計画に明示的に記載することで、分析部門以外の関係者と結果について議論するたびに再燃する曖昧さを解消できます。

実際には、MDEの意思決定は、アナリストが単独で行うのではなく、ロードマップ計画の段階で集団的に行われる。 CROサービス エンゲージメントでは通常、計画された各実験について、ベースライン率、MDE、結果として得られるサンプルサイズ、および推定実行時間を文書化し、ステークホルダーが各質問にコミットする前にコストを確認できるようにします。複数のプロパティまたはマーケットで実験を実行する組織の場合、この文書化は、トラフィックプロファイルが大きく異なるサイトに単一のMDE規約を適用するというよくあるエラーも防止します。 エンタープライズ 中央の標準規格が、その規格に対応できないトラフィックを抱えるチームに押し付けられるプログラム。