テストを破棄する前に、5つのブランチでサンプル比率の不一致を診断してください。

テストを破棄する前に、5つのブランチでサンプル比率の不一致を診断してください。

マイクロソフトの実験の約6%でサンプル比率の不一致が見られ、年間1万回の実験を実行する製品では、1日に約1回の検出となる(ファビジャンら、KDD 2019テストの実施回数がはるかに少ないチームでは、その数値を見ることはめったにありません。なぜなら、彼らのプラットフォームが実行するチェックは、彼らのトラフィック量では有意水準に達しないからです。テストは問題なく見え、4%の増加を報告しますが、いずれにしても間違っています。

このガイドは、実験結果を読み取って出荷するかどうかを決定する担当者向けです。このガイドを読み終える頃には、ミスマッチチェックが意味を持つほどテスト規模が大きいかどうかを判断し、原因を最も早く特定できる順序で5つの診断手順を実行し、結果を無効にする不均衡と、セグメント化して保持できる不均衡を区別できるようになります。

SRMアラームが実際に何を示しているのか

サンプル比率の不一致とは、設定した分割比率と実際に観測された分割比率との間に差がある状態を指します。例えば、50/50に設定したのに、50.8/49.2になった場合などです。標準的なチェック方法は、曝露カウントに対するピアソンのカイ二乗適合度検定であり、2群検定の場合は自由度が1となります。

これは重要な点です。なぜなら、ユーザーを失うメカニズムは、指標に対して中立的であることはほとんどないからです。リダイレクトによって低速接続がバリアントから除外された場合、生き残ったのは高速接続のユーザーであり、彼らのコンバージョン率は高くなります。データ上は確かに効果が見られますが、現実には効果がないのです。

ほとんどのチームがまず間違えるのは、業界に決まった基準値など存在しないということだ。プラットフォームによって、価格差は桁違いに大きい。

Platformホイール試乗旗お願い
AB美味しい逐次頻度論的モデル(S-SRM)p <0.01継続的な監視のために設計されているため、繰り返しの閲覧も考慮されます。
統計カイ二乗p <0.01「SRMのp値が0.01未満の場合、曝露は不均衡であるとみなします。」
成長ブックカイ二乗p <0.001警告はそれ以上抑制されます
マイクロソフト(イラスト)カイ二乗約1人に500,000人大きなnでの50.2/49.8の分割は既にこれをクリアしている

2つの結果が生じます。あるプラットフォームでフラグが立てられたテストが、同じデータを持つ別のプラットフォームでは合格となるため、「私たちのツールは警告を発しなかった」というだけでは、明確な分割の証拠にはなりません。また、0.01の閾値では、100件の正常なテストのうち1件がフラグ付けされます。3週間のテストでp値を毎日目視すると、単純な独立ピークによる誤警報の上限は19%になります。連続する日は強く相関しているため、実際の数値はこれより低くなりますが、1%ではありません。これが、AB Tastyが逐次的な手順を実行する理由です。プラットフォームが固定期間のカイ二乗検定を実行する場合は、最後に累積カウントを一度だけ確認してください。

検査でそもそも不均衡を検出できるかどうか確認してください。

50/50の分割の場合、カイ二乗統計量は4n(p̂−0.5)²に簡略化されます。ここでnは総曝露数です。これを逆数にすると、チェックで検出できる最小の不均衡が得られます。

総曝露量p < 0.01でフラグが立てられた最小の分割p < 0.001
5,00051.8 / 48.252.3 / 47.7
10,00051.3 / 48.751.6 / 48.4
30,00050.7 / 49.351.0 / 49.0
100,00050.4 / 49.650.5 / 49.5
1,000,00050.13 / 49.8750.16 / 49.84

ライセンスではなく、制限として読んでください。10,000回の露出では、1.3ポイント未満の不均衡はチェックで検出されず、1.3ポイントの選択効果は、わずかなコンバージョン増加を生み出すのに十分です。これが、この地域のほとんどの構造的な問題です。トルコでは、2025年に約634,000の企業で約6億件の電子商取引が記録されました(貿易省、2026年5月12日平均すると年間約9,500件の違反が発生しており、この平均値はごく少数のマーケットプレイスによって大きく押し上げられています。中規模マーケットのショップがチェックアウト手順をテストする場合、数百万件ではなく数万件の露出を扱うため、SRMチェックでは重大な違反は検出できますが、より微妙な違反は検出できません。

その量では、アラームに頼らないでください。日ごと、セグメントごとに生の露出カウントを自分で取得し、p値が特筆すべきものでなくても、持続的な同じ方向のドリフトを疑わしいものとして扱います。プラットフォームがこれらのカウントをどこで公開しているかわからない場合は、 SRMチェッカーのドキュメント ツールごとにマッピングします。

原因を最も早く突き止める順に、5つの部門

KDDの分類法では、SRMの原因をライフサイクル段階(割り当て、実行、ログ処理、分析、干渉)ごとに分類します。診断は、最も安価で発生頻度の高いものから順に行います。

  1. 分析とトリガー。 症状:生の曝露ログでは分割が正常だが、スコアカードでは分割が崩れている。確認:トリガー条件、日付フィルター、メトリックレベルの結合なしで比率を再計算する。比率が期待値に戻れば確認済み。修正:バリアント固有の動作によって適格性が変更される前に、両方の群でトリガーを同じように評価する。最も一般的な誤報で、除外するのに10分かかる。
  2. ログ処理。 症状: 2 つのパイプライン間で露出カウントが異なるか、ETL ステップの後にギャップが発生します。確認: 同じウィンドウの SDK 側カウント、ウェアハウス カウント、レポート カウントを比較し、アームごとのボット フィルタ除外率を比較します。アームが上流で等しく、下流で等しくない場合は、それが確認できます。修正: 決定論的に、かつ同一にフィルタリングします。自動化されたトラフィックは、2024 年の 51% から 2026 年の Web トラフィックの 53% に増加しました (Impervaの悪質ボット報告、2026年4月29日)、そのため、読み込みタイミングやユーザーエージェントの動作をキーとするヒューリスティックフィルタは、バリアントごとに異なる割合で除外できます。同意に基づく損失もここに含まれます。 ad_storage 拒否された場合、Google のタグ プラットフォームは広告 Cookie の設定を停止します (Googleタグプラットフォームの同意に関するドキュメント)したがって、あるテストで地域によって拒否率が異なる場合、それらの識別子に依存する割り当ては、ユーザーを不均等に失うことになります。
  3. 実行。 症状: 不均衡はページ重量とともに大きくなり、モバイルではさらに悪化するか、デプロイ時に発生します。確認: 比率をデバイス、ブラウザ、接続タイプ、日ごとに分割し、各アームの露出までの時間を比較します。不足が遅いセグメントまたは特定のブラウザに集中している場合は、それが原因であることを確認します。修正: ここでリダイレクト テストは失敗します。リダイレクトは、一方のアームにのみ完全なナビゲーションを追加するため、その間に離脱したユーザーは選択的な損失となります。両方のバリアントを 1 つの URL でサーバー側でレンダリングするか、アームが比較できないことを受け入れます。
  4. 譲渡 症状:最初の1時間から比率がずれており、一定の係数でずれたままになる。確認:同じ割り当てに対してA/Aを実行し、ハッシュソルトがこの集団に対する以前の実験から再利用されていないことを確認する。A/Aでも不均衡が示されれば、それが確認される。修正:新しいソルトで再割り当てして再起動する。以前のテストからの持ち越しは、この問題の静かなバージョンであり、A/Aによってのみ明らかになる。
  5. 干渉。 症状:不均衡は、少数の高活動識別子、または内部IPアドレス範囲に集中している。確認事項:ユーザーごとの露出回数分布、およびイベント量上位1%の識別子を確認する。これらを削除することで比率が回復するかどうかを検証する。修正方法:内部トラフィックとスクリプトによるトラフィックを、手動ではなく、文書化されたルールに基づいて除外する。これにより、次回以降の除外処理が同一となる。

解説付き攻略ガイド

以下の数値は例示であり、クライアントデータではありません。チェックアウトテストでは、コントロール群で61,480回、バリアント群で58,520回の露出が報告されています。120,000人のユーザーで51.2/48.8、カイ二乗p値は0.001未満です。ブランチ1:トリガー条件を削除すると60,020/59,980が返されるため、割り当ては適切であり、損失は露出後に発生します。ブランチ2:パイプラインのカウントは一致し、両アームでボット除外率は0.9%です。ブランチ3:デスクトップは50.1/49.9、モバイルは52.4/47.6で、バリアントの露出までの時間の中央値はモバイルの方が900ms高くなっています。診断:バリアントは余分なレンダリングブロック要求を送信し、モバイルユーザーはその間に離脱し、生存者は接続が良好です。読み出しは無効です。修正はパフォーマンス修正であり、テストは再解釈されずに再実行されます。

回収できるものとできないもの

  • 読み出しを無効にする 損失メカニズムが指標と妥当な相関関係にある場合。すべての実行および割り当て原因はデフォルトで該当します。
  • セグメントごとのサルベージ 不均衡が明確に除外できるセグメントに限定され、そのセグメントが指標を確認する前に定義されており、残りの部分が独自のSRMチェックに合格する場合に限ります。3つのうち2つでは不十分です。
  • テストを保管する 原因が分析上の誤りであり、修正後のスコアカードが合格した場合。これは、固定フィルターを使用して同じデータを再読み込みしているだけであり、不正なデータ検索を行っているわけではありません。
  • どちらにしても記録してください。 実験結果の原因カテゴリを記録してください。分類法は累積的に効果を発揮します。例えば、直近の10回のテストのうち3回がブランチ3で失敗した場合、問題は実験ではなく、フロントエンドのデリバリーにあると言えます。[必要な内部データ:過去24か月間にSwitasが実施した実験のうち、SRMチェックに失敗した割合を分類ブランチ別に分類し、Microsoftの6%というベンチマークをこの市場の数値に置き換える]

これが破綻するところ

このツリーは、固定された既知の割り当てとユーザーレベルのランダム化を伴う2群テストを想定しています。すべての群にわたる完全なカイ二乗検定と、どのペアが外れているかのフォローアップが必要な多群テストや、テスト中に期待比率が変動し、累積カイ二乗検定がそもそも不適切なテストとなるランプ型割り当てには対応していません。また、単位がユーザーではなく、重要な不均衡がクラスター特性にあるクラスターランダム化設計や地理的ランダム化設計にも適用できません。さらに、メトリック定義が正しいかどうかについても何も述べていません。曝露がログに記録されておらず、メトリックイベントから割り当てを推測している場合(これはスプリットチェックではなく推測です)には役立ちません。

FAQ

51対49の比率は常に問題なのでしょうか? それは完全にnに依存します。5,000回の露光では通常のノイズですが、500,000回になるとほぼ確実に欠陥となります。比率は、固定された経験則ではなく、検出可能性表に基づいて判断してください。

再実行するのではなく、統計的に腕の重み付けを調整するだけでいいですか? いいえ。重み付け調整はカウントを修正するだけで、選択自体はそのまま維持されます。削除されたユーザーは既に削除されており、彼らはアームのランダムサンプルではありませんでした。

SRMのp値はどのくらいの頻度で確認すべきですか? プラットフォームが逐次的な処理を実行する場合を除き、最後に累積カウントに基づいて一度だけ実行してください。固定期間のカイ二乗検定を毎日確認すると、誤報が大幅に増加します。

SRMはガードレール指標も無効にするのでしょうか? はい、同じ理由です。腕に異なる人口が収容されている場合、平坦なガードレールは、移動する主要指標よりも信頼できるものではありません。

A/Aテストでも不一致が示された場合はどうなりますか? 問題は処理方法ではなく、割り当てまたはログ記録パイプラインにあると考えられます。他の処理を実行する前にこれを修正してください。そうしないと、そのプラットフォーム上のすべてのテストに影響が出てしまいます。

リダイレクトテストは必ずSRMを引き起こしますか? 必ずしもそうとは限りませんが、ナビゲーション機能が片方のアームにしか搭載されていないため、他の設計にはない構造上のリスクを伴います。どうしても導入する必要がある場合は、指標を読み取る前に、接続速度とデバイスごとの比率を確認してください。

私のアクセス数が少なすぎて、このチェック結果は何の意味もありません。では、どうすればいいのでしょうか? 日々の曝露量の生データを監視し、持続的な変動がないか確認し、割り当てレイヤーに対して定期的なA/Aテストを実行し、より詳細な健全性チェック項目を事前に登録してください。統計的検出力の代わりにプロセスを用いることになります。

ボットのフィルタリングは、割り当ての前に行うべきか、後に行うべきか? 曝露ログ記録後、解析前に、両群に同一の決定論的ルールを適用します。SDK内部のヒューリスティックフィルタリングによって、フィルタ自体が不一致の原因となります。

自分の実験プログラムでチェックを実行してください。

現在実行中のテストの分割健全性について別の視点からの検証が必要な場合、またはそれらすべてが依存する割り当ておよびログレイヤーのレビューが必要な場合は、 CROおよび実験サービス ありません。

ソース


関連記事

スウィタス

Magnify: Engin Yurtdakul によるインフルエンサー マーケティングの拡大

Microsoft Clarityのケーススタディをご覧ください

Microsoft Clarityは、Switasのような企業が直面する課題を理解している、実際のプロダクト担当者によって、実用的で現実的なユースケースを念頭に構築された製品として高く評価されました。レイジクリックやJavaScriptエラー追跡といった機能は、ユーザーの不満や技術的な問題を特定する上で非常に役立ち、ユーザーエクスペリエンスとコンバージョン率に直接影響を与える、的を絞った改善を可能にしました。