毎朝A/Bテストをチェックし、ダッシュボードが最初に緑色になった時点で停止した場合、実際の偽陽性率は5%ではありません。エヴァン・ミラーは、各観測後に有意性をテストするシミュレーションで、それを次のように測定しました。 26.1%ほとんどのチームが自分たちの走っていると考えているレベルの5倍以上（A/Bテストの実施方法（やってはいけないこと）4件に1件の「成功」が再現されないというのは、統計上の問題ではなく、ロードマップの問題です。
このガイドは、eコマースや旅行関連のトラフィックなど、4週間もじっとしていてはテストを実施できないような、季節変動の大きいトラフィックを対象としたグロースチームやCROチーム向けです。このガイドを読み終える頃には、ローンチ前にルックのスケジュールを計画し、表から各ルックの閾値を読み取り、計画コストがかかる少量の追加サンプルに合わせてテスト規模を決定し、メソッドの有効性が失われる箇所を認識できるようになります。
覗き見が固定視野テストを破綻させる理由
固定期間検定では、5%の誤差許容範囲を一度だけ、あらかじめ決められたサンプルサイズで消費します。それ以上の検証は、許容範囲を超えるリスクを増大させることになります。問題はデータを見ることではなく、一度の検証に見合った閾値でデータを見ることです。ミラーの表は、一定回数の検証を前提とした場合に、真の5%の許容範囲を維持するために必要な報告された有意水準を示しています。
| ルックの数 | 真の5%の有意性を得るために報告された有意性 |
|---|---|
| 1 | 2.9% |
| 2 | 2.2% |
| 3 | 1.8% |
| 5 | 1.4% |
| 10 | 1.0% |
逆に言えば、10回覗き見すると、1%の有意性に見えても、実際は5%の有意性である可能性がある。粗雑ではあるが、正直な見方だ。以下の方法は、同じことをより効率的に行う。
途中で解約する3つの方法と、それぞれの料金
| アプローチ | 発売前に修正してください | コスト対固定テスト | 次のようなときに使用します |
|---|---|---|---|
| 固定期間 | サンプルサイズ、分析日1回 | なし、ただし早退は認められない | 交通状況は安定しているが、チャンスは限られている。 |
| グループシーケンシャル （アルファ支出） | 最大サンプル数、ルックのタイミング | 最大サンプルは、約3%（オブライエン＝フレミング）から約20%（ポコック）まで上昇し、4つのルック | サンプルサイズは推定可能である |
| 常に有効 (mSPRT) | 原則として何もない | 同一サンプルにおける3つの中で最大の電力損失 | サンプルサイズは推定できません |
3行目が重要なのは、ほとんどの商用プラットフォームが出荷している内容だからです。Georgi Georgiev氏のシミュレーションでは、グループあたり最大サンプル数を7,045に固定した場合、固定ホライズン検定は83.3%の検出力、グループシーケンシャルAGILEは目標の80%、SPRTは約73%、常時有効な推論は62.4%の検出力を達成しました。80%の検出力を達成するには、常時有効な推論はおよそ 85%増のサンプル グループ逐次設計よりも（分析ツールキット、2022年Spotifyのエンジニアも独自に同じ結論に達しました。サンプルサイズを推定できる場合、グループ逐次テストは「常に有効なアプローチよりも体系的に優れているか、同等である」とのことです（シュルツバーグとアンカーグレン、2023年).
これは修正する価値があります。なぜなら、ベンダーのフレームワークは逆方向だからです。Optimizely のドキュメントには、「実験を開始する前にサンプルサイズを計算するなどの事前実験作業をスキップする」と書かれています (Optimizelyのサポートエラー制御は現実的であり、基礎となる研究は健全である（ジョハリら、 常に有効な推論）この枠組みで省略されているのは電力料金です。同じ手法群を実装しているStatsigは、それをはっきりと述べています。「効果量の正確な測定が必要な場合は、実験前の検出力計算で推定される完全な検出力を待ちます」Statsigのドキュメント「サンプルサイズは不要」という表現は、妥当性に関する主張として解釈すべきであり、決して効率性に関する主張として解釈すべきではない。
手順を追って説明します
実例：アパレル小売業者がチェックアウトをテストしている。ベースラインのセッションコンバージョン率は2.4%、目標効果は相対的に+10%（2.64%）、両側アルファ値は5%、検出力は80%、1日あたりのセッション数は約5,000。
1. 決して覗き見しないかのようにサイズを決めましょう
2つの比率のサイズ設定により 各群66,943セッション合計133,886です。これは、予定より早く終了するからといって省略できる余剰費用ではありません。スケジュールの基盤となる重要な要素です。
2. ルックの数とタイミングを選択する
3～5ルックでほぼ全てのメリットを享受できます。それ以上になると、ルックごとにサンプルコストが最大化される割にリターンはわずかです。ルックを揃えるには 数週間なぜなら、曜日構成は小売店の来店客数の変動の大きな要因となるからです。1日5,000セッションの場合、週4回のルックで約14万セッションとなり、計画された最大数をカバーします。
3. 支出関数を選択し、しきい値を書き出す
アルファ支出関数は、蓄積されたデータ量に応じて、各ルックが5%の予算のうちどれだけを消費できるかを決定します（ペンシルベニア州立大学 STAT 509）2つの古典的な選択肢を、等間隔の4つのルックで、両側α=0.05で表示します。
| 見て | 計画サンプルの割合 | オブライエン＝フレミング：p の場合停止 | ポコック: p の場合停止 |
|---|---|---|---|
| 1（第1週終了） | 25% | 0.0001 | 0.0179 |
| 2（第2週終了） | 50% | 0.0055 | 0.0179 |
| 3（第3週終了） | 75% | 0.0216 | 0.0184 |
| 4（第4週終了） | 100% | 0.0411 | 0.0188 |
| 最大サンプル数と固定テストの比較 | + 3％ | + 20％ |
これらはLan-DeMets支出関数で計算され、公表されている特性と一致しています。O'Brien-Flemingは「初期段階では非常に厳しい閾値を使用するが、最終的な分析閾値は典型的なp < 0.05に近い」のに対し、Pocockはp < 0.016付近でほぼ一定の閾値を維持しています（Ciolino、Kaizer、Bonner、2023).
O'Brien-Flemingは安価な保険のようなものです。ルック1で発火することはほとんどなく、最大サンプル数は約3%増えるだけで、最終的な閾値は0.05よりわずかに厳しい程度です。Pocockは早期に停止する頻度がはるかに高いですが、トラフィック料金は20%高くなります。収益連動型の指標には、O'Brien-Flemingをデフォルトとして選択してください。
4. リリース前にチケットにルールを記入する
テストを中止できる人なら誰でも見える一文：「1週目から4週目までの終了時点を確認し、[主要指標]の両側p値がその時点の閾値を下回った場合にのみ勝者を宣言し、それ以外の場合は4週目まで継続する。」誰かの頭の中にあるルールはルールではない。
5. 無益性の境界も設定する
ほとんどのチームは有効性の境界のみを設定しているため、勝者を早期に止め、敗者を最後まで走らせてしまい、機会費用の観点から逆効果になっています。拘束力のない無益性の境界（意味のある勝利が非現実的になった時点で止める）が、カレンダーの節約の大部分を生み出します。オブライエン・フレミングのルックを4回適用すると、真の効果の下での期待サンプル数は、固定期間要件の約83%に減少します。
6. 初期の点推定値を効果量として報告しない
早期に終了するテストは終了しました なぜなら 観測された揚力は異常に大きかったため、推定値は計算上上方バイアスがかかっています。この推定値は船舶の決定に使用し、収益予測には使用しないでください。Statsig氏：「早期の決定では、不確実性の高い、検出力の低い揚力推定値が得られることが多い。」
発売前チェックリスト
- 発売前に書面で宣言された主要指標の1つ
- 最大サンプル数とカレンダー終了日が確定しました
- 数値とタイミングは固定されており、週単位で調整されているようです。
- 支出関数が選択され、しきい値がチケットに書き込まれます
- 無益性ルールの定義、有効性ルールだけでなく、無益性ルールの定義も含まれる。
- SRMはあらゆる視線でチェックされ、 p値が読み取られる
- ガードレールの指標は、停止ルールとは別に個別に監視されます。
- テストを止められる立場にある者は皆、計画外の視線は禁止されていることを知っている。
これをトルコと地域に合わせて調整する
トルコでは、2026年5月に発表された貿易省の電子商取引展望レポートによると、2025年に59億4000万件の電子商取引が記録され、取引総額は4兆5700億トルコリラに達した。デイリー・サバ紙、2026年5月12日) 中規模店舗が大部分を占める大きな市場なので、4週間の期間が一般的であり、キャンペーンと重なるには十分な長さです。
地元でエフサネ・クマとして知られる11月下旬の割引期間と、その前の11.11イベントは、 who サイト上でのアクセス数だけでなく、アクセス状況も重要です。割引をきっかけにコンバージョンに至る訪問者は、異なるロジックに基づいて行動するため、キャンペーン期間をまたぐスケジュールでは、特定のユーザー層を測定することはできません。私たちのルールは、キャンペーン期間の開始前に終了するか、終了後に開始することです。どうしてもキャンペーン期間をまたいでテストを実施する必要がある場合は、キャンペーン期間を独立した層として扱い、その期間中はテストの中止を決定しないでください。
2つ目の調整はEU全体とトルコのKVKK準拠の同意バナーに適用されます。アナリティクスが同意ゲートされている場合、トラフィックの一部は監視されません。サイズとスケジュールは 観測された セッションが予定より遅れて行われたり、すべてのルックがカレンダーに記載されているよりも遅れて届いたりする。
[必要な内部データ：Switasのeコマース顧客全体における1日あたりのセッション数の中央値と、テスト実施時間の中央値。これにより、例示として提示されている1日あたり5,000セッションという数値を実際の分布に置き換えることができます。]
これが破綻するところ
- 構成の変化。 逐次的な手法では、受信するデータストリームが時間とともに交換可能であることを前提としています。キャンペーンや有料メディアの変更によってこの前提が崩れるため、どの週であっても早期ロックを停止することは異例でした。
- 斬新さと優位性。 1週目の測定は反応を測るものであり、定着した行動を測るものではありません。リピーターのお客様に変化が感じられるのであれば、1週目の測定には効果判定の基準を設けない方が良いでしょう。
- 裾野の重い指標。 セッションあたりの収益は、まれに発生する高額注文によって大きく左右されるため、小規模な中間サンプルでは正規近似は信頼できません。コンバージョン率で停止し、収益を併せて確認するか、ウィンザー化してその旨を明記してください。
- 複数の指標。 これらの境界は、 XNUMXつ 指標。5つの指標と5つの停止ルールがあり、それ以上の修正がないと、元の状態に戻ってしまいます。
- 計器類が故障している。 シーケンシャルテストは、破損したデータに対しても容易に境界を越えることができます。これはSRMチェックの代わりにはなりません。
- ここでは取り上げていない内容： ベイズ停止ルール、マルチアームバンディット、CUPEDなどの分散低減法。それぞれが早期停止と相互作用するため、個別に検討する必要がある。
FAQ
このセクションにFAQPageスキーマを適用してください。
支出関数の代わりに、より厳密なp値を使用することはできますか？
はい、ルック数を事前に決めておいて、それが少数であれば可能です。ミラーの表がその閾値を示しています。アルファ支出よりも保守的なので、必要以上にサンプル費用がかかりますが、新しいツールは必要ありません。
逐次検定の場合、サンプルサイズ計算は省略できるということですか？
いいえ。サンプルサイズ推定がなくても妥当性は維持されますが、検出力は維持されません。GeorgievとSpotifyのシミュレーションはどちらも同じパターンを示しています。サンプルサイズを推定できる場合は、グループ逐次デザインが優位になります。
もし私が、勝利ではなく後退を注視しているとしたらどうでしょうか？
それはガードレール監視であって、仮説検証ではありません。安全性とエラーの指標を、より緩やかな別のルールに基づいて継続的に監視し、主要な停止ルールは変更しないでください。ユーザーに害を及ぼすバリアントを削除するのに、特別な手順は必要ありません。
ベイズ検定は、覗き見の影響を受けないのか？
いいえ。事後確率が閾値を超えた瞬間に停止すると、決定ルールの動作特性が変わってしまいます。ただし、そのルールが任意停止を前提として設計されている場合は別です。事前確率は問題の形状を変えるだけで、問題の存在そのものを変えるわけではありません。
オブライエン＝フレミングか、それともポコックか？
ほぼすべての商業案件において、オブライエン＝フレミング法が適しています。ポコック法を選択するのは、早期の回答に具体的な価値があり、最大サンプル数を約20%増やすことが可能で、かつ1週間以内に結果を出荷できる体制が整っている場合に限ります。
予定していなかったコーディネートを追加してもいいですか？
アルファ支出機能を使用する場合、はい、ただし、検索の決定がこれから表示されるデータに基づいて行われるのではない場合に限ります。ダッシュボードが「近い」と判断したために検索を追加すると、データに依存するタイミングとなり、保証が無効になります。
この件で私たちと協力しましょう
トルコまたは地域のeコマースプラットフォームで実験を実施していて、現在の停止ルールが「毎朝チェックする」である場合、弊社はお客様と共にそれを再構築します。具体的には、規模設定、監視スケジュール、境界、無益性ルール、SRMゲートなどを実験テンプレートに組み込み、次回のテストで継承できるようにします。 実験プログラムについてSwitasに相談してください。.
ソース
- エヴァン・ミラー、 A/Bテストの実施方法（やってはいけないこと）
- ジョハリ、ペケリス、ウォルシュ、クーメン、 常に有効な推論：A/Bテストの継続的なモニタリング; 掲載 オペレーションズリサーチ 70(3), 2022
- ゲオルギ・ゲオルギエフ、 連続検定の統計的検出力の比較、アナリティクスツールキット、2022年11月（2023年3月更新）
- シュルツバーグとアンカーグレン、 シーケンシャルテストフレームワークの選択Spotifyエンジニアリング、2023年3月
- Optimizely、 統計分析手法の概要
- 統計、 頻度論的逐次検定
- チオリーノ、カイザー、ボンナー、 臨床試験における中間解析方法に関するガイダンス, 臨床翻訳科学ジャーナル 7(1):e124、2023年
- ペンシルベニア州立大学 STAT 509、 アルファ支出関数アプローチ
- rpact、 グループの連続境界を定義する
- トルコの電子商取引量は2025年に52%以上増加する見込みデイリー・サバ紙、2026年5月12日、貿易省の電子商取引展望報告書を報じる
