信頼区間

信頼区間とは、実験データから算出される値の範囲であり、変化の真の効果が含まれる可能性が高い範囲です。有意性検定が二者択一の結果を返すのに対し、信頼区間は効果の方向と妥当な大きさ、そして測定の精度を示します。「相対的増加率6%、95%信頼区間は1%から11%」という結果は、「95%で有意」という結果よりもはるかに多くの意思決定に役立つ情報を含んでいます。

区間の幅が重要な指標となります。狭い区間は、実験で効果が正確に測定されたことを意味し、企業はその数値に基づいて計画を立てることができます。ゼロを含まない広い区間は、変化は恐らくプラスであったものの、その大きさは依然として不確実であることを意味し、導入コストに見合うだけの効果があるかどうかが出荷決定の鍵となる場合には、この点が重要になります。ゼロを含む区間は、データが変化がプラス、マイナス、マイナスのいずれにも当てはまる可能性があり、いずれの方向にも確証のある主張はできないことを意味します。

信頼区間は、特定の、そしてコストのかかる習慣を是正します。それは、観測された点推定値をあたかも真実であるかのように報告することです。テストで18%の改善が報告され、信頼区間が2%から36%だった場合、エグゼクティブサマリーに掲載される見出しの数値はほぼ必ず18%となり、その数値は予測、ビジネスケース、年間予測にも使用されます。変更が実際に導入されて4%の改善しか得られなかった場合、テストプログラムは過剰な約束をしたとして非難されます。最初から信頼区間を提示することで、正確な期待値を設定し、その手法の信頼性を守ることができます。

正式な解釈は、日常的な解釈よりも微妙です。95%信頼区間とは、真の効果がこの区間内に95%の確率で存在するという意味ではありません。これは、このような方法で区間を算出する手順が、繰り返し実験を行った場合の95%で真の値を捉えるという意味です。実際には、ほとんどのチームは日常的な方法でこれを解釈し、問題が生じることはめったにありませんが、複数のテストの区間を組み合わせたり、特定の結果を確率論的に考察したりする場合には、この区別が重要になります。直感的な解釈で信頼区間を報告するベイズ法は、まさにこの理由から好まれることが多いのです。

区間は、事後的なセグメント分析のコストも明らかにします。実験をモバイルとデスクトップ、新規とリピーター、有料とオーガニックといったように分割すると、各サブセットが縮小するにつれて区間が急激に広がります。点推定値が極端に大きく、区間が強い負の値から強い正の値まで広がるセグメントは、最適化作業における誤った学習のほとんどの原因となります。各セグメントの数値の横に区間を表示することで、専門家でない人にもその測定値の弱点がすぐにわかるようになり、誰も読まないような注意書きを文章で書くよりも効果的です。

商業関係者に期間を伝えるには、統計的な表記として提示するのではなく、意思決定の文脈に即した形で伝える必要があります。効果的な表現方法としては、事業単位で範囲を示すことです。相対的な増加幅を報告するのではなく、現在のトラフィックを前提として、変更によって月間収益が下限値から上限値の間で増加すると予測されることを示します。計画段階では、予測が妥当な範囲の保守的な値を使用し、最も現実的なケースを想定した楽観的な値を使用します。範囲にゼロが含まれる場合は、変更がプラスになるかマイナスになるかを実験で判断できなかったことを正直に伝え、その後の質問として、トラフィックを絞り込むためにさらに費用をかけるか、ブランド、アクセシビリティ、メンテナンスコストなどの他の基準で決定するかを検討する必要があります。

したがって、成熟したプログラムにおける報告慣行は、判決よりも期間を優先する。 データ分析 実験、マーケティング測定、予測における間隔報告を標準化する機能は、不確実性に関する組織共通の語彙を構築し、それによって、どの結果が戦略構築に十分な確固たる根拠となるかについて率直な議論をしやすくなる。 成長管理 正直さがもたらす効果は大きい。区間を考慮した推定値に基づいて構築された予測は、過去四半期で最も都合の良いテストから都合よく選ばれた点推定値に基づいて構築された予測よりも、現実との接触にはるかに強く耐える。