P値

p値とは、テスト対象の変化に実際的な影響がないと仮定した場合に、測定された結果と少なくとも同程度に極端な結果が観測される確率のことです。これは、変換実験における有意性判定の根拠となる数値です。p値が0.05未満の場合、効果がないという仮定に反する証拠として扱われ、結果は95%水準で有意と判定されます。

この定義には、実際には省略されることが多い条件文が含まれており、この省略が概念に関する混乱の大部分を引き起こしています。p値が0.03だからといって、変更が全く効果をもたらさなかった確率が3%あるという意味ではありませんし、変異の方が優れている確率が97%あるという意味でもありません。これは、変更が全く効果をもたらさなかった世界で、データがどれほど驚くべきものになるかを表しています。これを仮説自体の確率に変換するには、追加情報、具体的にはテスト前に仮説がどれほど妥当であったかという情報が必要です。これはまさにベイズ法が明示的に示していることであり、頻度論的p値が省略している点です。

これは商業的に重要な意味を持ちます。なぜなら、結果の重み付けの仕方が変わるからです。観察されたユーザー行動に基づいた、十分に根拠のある仮説に対するp値0.04は、たとえ数値が同じであっても、気まぐれでテストされた恣意的な変更に対する同じp値よりもはるかに強力な証拠となります。質の低いアイデアを大量にテストするプログラムは、閾値が示唆する割合、つまり偶然だけでも20回に1回の割合で有意な結果を蓄積しますが、その後、報告された成功事例の合計と、その総合的なビジネスへの影響が一致しない理由を理解するのに苦労することになります。

0.05という閾値自体には科学的根拠はありません。これは20世紀初頭の統計手法から受け継がれた慣習であり、最適化業界がそのまま採用したものです。これを明確な基準として扱うと、p値が0.049の場合は成功、0.051の場合は失敗と判断されるという、誤った推論を助長します。実際には、両者の結果は実質的に同じです。より良い方法は、p値を効果量と信頼区間と併せて報告し、変更に伴うコストや誤った判断による影響など、全体像を考慮した上で意思決定を行うことです。

最終報告書には表れない形でp値を過大評価する一般的な手法がいくつかあります。結果を繰り返し確認し、閾値を超えた時点で停止するという方法は、実際の偽陽性率を劇的に上昇させます。多くの指標をテストし、有意水準に達した指標のみを報告する方法も同様です。合計値を確認した後にセグメントに分割する方法も、同じ誤りをより大きな規模で繰り返すことになります。多重比較に対する補正方法や、継続的なモニタリングのための逐次テスト設計は存在しますが、最も確実な対策は、データが到着する前に主要指標、セグメント、停止ルールを固定した事前登録済みの分析計画を作成することです。

プログラムの履歴全体にわたるp値の分布を調べることは、多くのチームが行っていないものの、非常に有益な診断方法です。実験が正しく実行・分析され、テストされたアイデアのほとんどに実質的な効果がなかった場合、ポートフォリオ全体のp値はほぼ均一に分布し、約20個に1個が従来の閾値を下回るはずです。閾値のすぐ下に分布が集中している場合は、計画ではなく数値に基づいて停止ルールが設定されていることを強く示唆しています。なぜなら、ある線を越えた瞬間に停止されたテストは、まさにその線上に蓄積されるからです。このようにして過去1年間の実験をレビューするには数時間かかりますが、多くの場合、企業が長年悩まされてきた矛盾、つまり、報告された成功事例のポートフォリオが、経営陣が実際に注目している指標に影響を与えていない理由を解明できます。

コンサルタントにとって有益な貢献とは、通常、すべてのテストプラットフォームが自動的に行うp値の正確な計算よりも、p値の使用方法を管理することにある。 CROサービス 通常、エンゲージメントでは、文書化された分析プロトコルを確立し、実験ごとに主要および副次的指標を定義し、単一の結論ではなく効果量と間隔を含む一貫した形式で結果を報告します。大規模な組織では、このプロトコルは、 データ分析 この機能は、取締役会への報告で引用される前に結果を検証するため、統計的に脆弱な成功事例のポートフォリオが信頼できる収益予測として提示されることを防ぎます。