Якщо ви перевіряєте A/B-тест щоранку та зупиняєте його, щойно панель приладів вперше стане зеленою, ваш реальний рівень хибнопозитивних результатів не становитиме 5%. У симуляційному тестуванні значущості після кожного спостереження Еван Міллер виміряв його на 26.1%, що більш ніж у п'ять разів перевищує рівень, на якому більшість команд, на думку більшості, вони виступають (Як не слід проводити A/B-тестуванняКожна четверта «перемога», яка не буде відтворена, не є проблемою статистики. Це проблема дорожньої карти.
Цей посібник призначений для команд з розвитку та CRO, які проводять тестування електронної комерції або туристичного трафіку, що є занадто сезонним, щоб простоювати на місці протягом чотирьох тижнів. До кінця ви зможете спланувати графік перегляду сайтів перед запуском, зчитувати порогове значення для кожного перегляду з таблиці, розрахувати розмір тесту для невеликої додаткової вибірки, яка потребує планування, та розпізнати, де метод перестає бути валідним.
Чому підглядання порушує тест на фіксований горизонт
Тест з фіксованим горизонтом витрачає весь свій 5% бюджет помилок один раз, для одного заздалегідь оголошеного розміру вибірки. Кожен додатковий перегляд – це ще один шанс перетнути межу. Проблема не в перегляді даних; проблема в перегляді з порогом, врахованим за один перегляд. Таблиця Міллера показує рівень значущості, необхідний для утримання справжнього 5% рівня, якщо ви наполягаєте на перегляді певну кількість разів:
| Кількість поглядів | Заявлена значущість, необхідна для отримання справжніх 5% |
|---|---|
| 1 | 2.9% |
| 2 | 2.2% |
| 3 | 1.8% |
| 5 | 1.4% |
| 10 | 1.0% |
Інакше кажучи: якщо поглянути десять разів, то те, що ви прочитаєте як 1% значущості, насправді є 5%. Грубо, але чесно. Наведені нижче методи виконують ту саму роботу ефективніше.
Три способи зупинитися раніше, і скільки кожен з них коштує
| Підхід | Виправити перед запуском | Вартість проти фіксованого тесту | Використовуйте його, коли |
|---|---|---|---|
| Фіксований горизонт | Розмір вибірки, одна дата аналізу | Немає, але рання зупинка заборонена | Рух транспорту стабільний, коротке вікно |
| Група послідовна (альфа-витрати) | Максимальна вибірка, кількість та час переглядів | Максимальна вибірка зростає від ~3% (О'Браєн-Флемінг) до ~20% (Покок), 4 погляди | Розмір вибірки можна оцінити |
| Завжди дійсний (мСПРТ) | Нічого, в принципі | Найбільша втрата потужності з трьох в одному зразку | Розмір вибірки неможливо оцінити |
Третій рядок важливий, оскільки саме його постачає більшість комерційних платформ. У симуляції Георгія Георгієва з фіксованою максимальною вибіркою 7,045 на групу, тест з фіксованим горизонтом досяг потужності 83.3%, групово-послідовний AGILE досяг цільового показника 80%, SPRT близько 73%, а завжди дійсний висновок - 62.4%. Щоб досягти потужності 80%, завжди дійсний висновок потрібен приблизно... На 85% більше зразка ніж групово-послідовний дизайн (Аналітичний інструментарій, 2022). Інженери Spotify незалежно дійшли такого ж висновку: групові послідовні тести «систематично кращі або порівнянні з завжди валідними підходами», коли можна оцінити розмір вибірки (Шульцберг та Анкаргрен, 2023).
Це варто виправити, оскільки фреймінг постачальника працює в іншому напрямку. У документації Optimizely зазначено, що потрібно «пропустити передекспериментну роботу, таку як розрахунок розміру вибірки перед запуском експерименту» (Підтримка Optimizely). Контроль помилок є реальним, а дослідження, що лежить в основі, є обґрунтованим (Джохарі та ін., Завжди дійсний висновок); що не враховується в фреймінгу, так це рахунок за електроенергію. Statsig, реалізуючи те саме сімейство методів, прямо говорить: «Якщо вам потрібне точне вимірювання розміру ефекту, зачекайте повної потужності, яку оцінює ваш передекспериментальний розрахунок потужності» (Документація Statsig). Розумійте твердження «не потрібен розмір вибірки» як твердження про валідність, а не про ефективність.
Метод, крок за кроком
Розроблений приклад: роздрібний продавець одягу тестує касу. Базова конверсія сеансу 2.4%, цільовий ефект +10% відносно (2.64%), двосторонній альфа 5%, потужність 80%, приблизно 5,000 сеансів на день.
1. Розміряйте так, ніби ви ніколи не зазирнете
Двопропорційне калібрування дає 66 943 сеанси на групу, загалом 133 886. Це не необов'язкові накладні витрати лише тому, що ви плануєте зупинитися раніше; це те, на чому базується графік.
2. Виберіть, скільки образів і коли
Від трьох до п'яти переглядів охоплюють майже всю доступну вигоду; понад це кожен перегляд додає максимальну вартість зразка за невелику віддачу. Узгодьте перегляди з цілі тижні, оскільки склад за днями тижня є значним джерелом дрейфу трафіку роздрібної торгівлі. При 5,000 сеансах на день чотири тижневі перегляди досягають майже 140 000 сеансів, покриваючи запланований максимум.
3. Виберіть функцію витрат і запишіть порогові значення
Функція альфа-витрат визначає, яку частину 5% бюджету може спожити кожен вигляд, залежно від обсягу накопичених даних (Penn State STAT 509). Два класичні варіанти, з чотирма рівновіддаленими поглядами, двостороння альфа 0.05:
| подивитися | Частка запланованої вибірки | О'Браєн-Флемінг: зупинитися, якщо p | Покок: зупинись, якщо п |
|---|---|---|---|
| 1 (кінець 1-го тижня) | 25% | 0.0001 | 0.0179 |
| 2 (кінець 2-го тижня) | 50% | 0.0055 | 0.0179 |
| 3 (кінець 3-го тижня) | 75% | 0.0216 | 0.0184 |
| 4 (кінець 4-го тижня) | 100% | 0.0411 | 0.0188 |
| Максимальна вибірка проти фіксованого тесту | + 3% | + 20% |
Вони були обчислені за допомогою функцій витрат Лана-ДеМета та відповідають опублікованій характеристиці: О'Браєн-Флемінг використовує «дуже суворі пороги на ранніх стадіях, але остаточний поріг аналізу близький до типового p < 0.05», тоді як Покок дотримується майже постійного порогу близько p < 0.016 (Чоліно, Кайзер та Боннер, 2023).
О'Браєна-Флемінга — дешева страховка: він майже ніколи не спрацьовує на першому погляді, коштує приблизно на 3% більше максимальної вибірки, а його кінцевий поріг ледь нижчий за 0.05. Покок зупиняється раніше набагато частіше, але стягує на 20% більше трафіку. За замовчуванням для показників, пов'язаних з доходом, використовується О'Браєна-Флемінга.
4. Запишіть правило в заявку перед запуском
Одне речення, видиме для всіх, хто може зупинити тест: «Ми розглядаємо кінець тижнів з 1 по 4, оголошуємо переможця лише тоді, коли двостороннє p-значення для [основної метрики] нижче порогового значення цього погляду, а в іншому випадку продовжуємо до 4-го тижня». Правило, яке живе в чиїйсь голові, не є правилом.
5. Також встановіть межу марності
Більшість команд впроваджують лише межі ефективності, тому вони зупиняють переможців на ранній стадії та дозволяють тим, хто програв, грати повну потужність, що є зворотним з точки зору альтернативної вартості. Необов'язкова межа марності — зупинка, коли значуща перемога стала неправдоподібною — це те, звідки береться більша частина економії календаря. З чотирма варіантами О'Браєна-Флемінга очікувана вибірка за істинного ефекту падає приблизно до 83% від вимоги фіксованого горизонту.
6. Не повідомляйте про ранню точкову оцінку як про розмір ефекту.
Тест, який зупиняється раніше терміну, зупинився оскільки Спостережуваний підйом був надзвичайно великим, тому оцінка зміщена вгору через будівництво. Використовуйте це для рішення щодо судна, а не для прогнозу доходу. Statsig: «Ранні рішення часто призводять до недостатніх оцінок підйому з високою невизначеністю».
Контрольний список перед запуском
- Один основний показник, заявлений письмово перед запуском
- Максимальна дата вибірки та кінцева дата календаря фіксовані
- Виглядає фіксованою за кількістю та часом, узгоджено з цілими тижнями
- Вибрано функцію витрат, пороги записані в заявку
- Визначення правила марності, а не лише правила ефективності
- SRM перевірявся при кожному погляді, перед тим зчитується p-значення
- Метрики захисного огородження контролюються окремо, поза межами правила зупинки
- Кожен, хто може зупинити тест, знає, що незаплановані погляди заборонені.
Калібрування цього для Туреччини та регіону
Згідно зі звітом Міністерства торгівлі про перспективи електронної комерції, представленим у травні 2026 року, у 2025 році в Туреччині було зафіксовано 5.94 мільярда транзакцій електронної комерції на суму 4.57 трильйона турецьких лір.Daily Sabah, 12 травня 2026 р.Це великий ринок, що складається переважно з магазинів середнього розміру, тому чотиритижневі вікна є звичайною справою — достатньо довго, щоб збігатися з кампанією.
Період знижок кінця листопада, відомий на місцевому рівні як Efsane Cuma, та подія 11.11 перед ним змінюються хто є на сайті, а не просто скільки. Відвідувачі, орієнтовані на знижки, конвертуються за іншою логікою, тому графік, що перетинає межі кампанії, не вимірює одну популяцію. Наше правило: завершуйте перед кампанією або починайте після неї. Якщо тест має пройти через одну популяцію, розглядайте тиждень кампанії як окремий стратум і не приймайте рішень щодо зупинки всередині нього.
Друге коригування застосовується по всьому ЄС та до банерів згоди, що відповідають вимогам KVKK, у Туреччині: якщо аналітика залежить від згоди, частина вашого трафіку залишається поза спостереженням. Розмір і графік увімкнено. спостерігається сеанси, або кожен образ надходить пізніше, ніж зазначено в календарі.
[НЕОБХІДНІ ВНУТРІШНІ ДАНІ: медіана щоденних сесій та медіана реалізованої тривалості тестування серед клієнтів електронної комерції Switas, щоб замінити ілюстративну цифру 5,000 сесій/день фактичним розподілом.]
Де це ламається
- Зміна складу. Послідовні методи припускають, що вхідний потік можна обмінювати з часом. Кампанія або зміна платних медіа порушує це, і зупинка ранніх блокувань у будь-який тиждень була незвичною.
- Новизна та першість. Тижневе вимірювання вимірює реакцію, а не усталену поведінку. Якщо зміни помітні для постійних клієнтів, взагалі не встановлюйте межі ефективності для першого погляду.
- Метрики з важкими хвостами. Дохід за сеанс переважно формується рідкісними великими замовленнями, а звичайні наближення є ненадійними для невеликих проміжних вибірок. Зупиніться на коефіцієнті конверсії та порівняйте з доходом або ж скажіть «winsorise» (перевірте на власний розсуд).
- Кілька показників. Ці межі контролюють похибку для один метрика. П'ять метрик із п'ятьма правилами зупинки та без подальшої корекції повертають вас до початкової точки.
- Зламане обладнання. Послідовний тест із задоволенням перетне межу пошкоджених даних. Він не замінить перевірку SRM.
- Тут не розглядається: Баєсівські правила зупинки, багаторукі бандити та зменшення дисперсії, таке як CUPED. Кожен з них взаємодіє з ранньою зупинкою способами, що потребують окремого розгляду.
FAQ
Позначте цей розділ схемою сторінки FAQ.
Чи можу я просто використовувати суворіше p-значення замість функції витрат?
Так, якщо ви заздалегідь визначите кількість переглядів, і їх буде лише кілька. Таблиця Міллера вказує поріг. Вона консервативніша, ніж витрати на альфа-тест, тому ви платите більше зразка, ніж потрібно, але це не потребує нових інструментів.
Чи означає послідовне тестування, що я можу пропустити розрахунок розміру вибірки?
Ні. Валідність зберігається без оцінки розміру вибірки; потужність – ні. Як симуляції Georgiev, так і Spotify показують однакову закономірність: коли можна оцінити розмір вибірки, домінує груповий послідовний дизайн.
Що робити, якщо я спостерігаю за регресом, а не за перемогою?
Це моніторинг за принципом «захисного рейлінгу», а не перевірка гіпотез. Постійно спостерігайте за показниками безпеки та помилок за окремим, менш жорстким правилом і не змінюйте основне правило зупинки. Знищення варіанта, який шкодить користувачам, не потребує церемоній.
Чи є баєсівське тестування стійким до підглядання?
Ні. Зупинка в момент, коли апостеріорна ймовірність перетинає поріг, змінює робочі характеристики правила прийняття рішення, якщо тільки правило не було розроблено для необов'язкової зупинки. Апріорна ймовірність змінює форму проблеми, а не її існування.
О'Браєн-Флемінг чи Покок?
О'Браєн-Флемінг майже в кожній комерційній справі. Вибирайте Покока лише тоді, коли рання відповідь має конкретну цінність, ви можете поглинути приблизно на 20% більше максимальної вибірки, і хтось готовий відправити результат через тиждень.
Чи можу я додати образ, який я не планував/планувала?
З альфа-функцією витрат, так, за умови, що рішення про перегляд не зумовлене даними, які ви збираєтеся побачити. Додавання перегляду через те, що інформаційна панель "виглядала близько", залежить від даних у часі та анулює гарантію.
Працюйте з нами над цим
Якщо ви проводите експерименти на турецькій або регіональній електронній комерційній території, і правило зупинки сьогодні — «перевіряти щоранку», ми разом з вами перебудуємо його: розмір, графік перегляду, межі, правило марності та шлюз SRM, записані у ваш шаблон експерименту, щоб наступний тест успадкував його. Поговоріть зі Світасом про вашу програму експериментів.
Джерела
- Еван Міллер, Як не слід проводити A/B-тестування
- Джохарі, Пекеліс, Волш і Кумен, Завжди дійсний висновок: безперервний моніторинг A/B-тестів; опубліковано в Дослідження операцій 70(3), 2022
- Георгій Георгієв, Порівняння статистичної потужності послідовних тестів, Аналітичний інструментарій, листопад 2022 р. (оновлено у березні 2023 р.)
- Шульцберг та Анкаргрен, Вибір фреймворку для послідовного тестування, Spotify Engineering, березень 2023 р.
- Оптимізувати, Огляд методів статистичного аналізу
- Статсіг, Частотне послідовне тестування
- Чоліно, Кайзер та Боннер, Керівництво щодо методів проміжного аналізу в клінічних випробуваннях, J Clin Transl Sci 7(1):e124, 2023
- Пенсильванський державний університет STAT 509, Підхід альфа-функції витрат
- взаємодія, Визначення послідовних меж групи
- Обсяг електронної комерції Туреччини зріс більш ніж на 52% у 2025 році, Daily Sabah, 12 травня 2026 р., повідомляє про Звіт Міністерства торгівлі про перспективи електронної комерції
