Ваша програма повідомляє про переможця приблизно раз на місяць. Додайте дванадцять перемог, і річна колода покаже, що конверсія має бути на 18% вищою, ніж минулого року. Фінансисти дивляться на звіт про прибутки та збитки та показують, що це не так. Зазвичай колода помиляється.
На експериментальній платформі Microsoft лише близько третини протестованих ідей покращили показник, для покращення якого вони були розроблені, а ті, що були запущені, відбираються саме за те, що виглядали добре, і саме тут арифметика починає збиватися (Кохаві та Лонгботам, 2015). Група опору – це найдешевший інструмент, який вимірює більшість квитків вже розпродано! а не індивідуальний тест.
Цей посібник призначений для лідів CRO та власників аналітичних систем, які проводять принаймні один експеримент на місяць. До кінця ви зможете оцінити розмір затримки, яка дійсно може виявити ефект вашої програми, вибрати тривалість та вікно аналізу, а також розпізнати режими невдачі, які анулюють результат, перш ніж ви його представите.
Що вимірює група, яка встояла, чого не визначає сума перемог
«Залишити» – це випадково вибрана частина користувачів, яких залишають на етапі до змін, тоді як усі інші отримують кожен переможець запуску. Через кілька місяців ви порівнюєте дві групи. Різниця полягає в сукупному, все ще живому ефекті всього, що ви запустили, а не в дванадцяти короткострокових оцінках, з'єднаних разом.
Netflix використовує той самий інструмент, описуючи «тести AB на стримування» як спосіб «розуміння довгострокових наслідків, повторної перевірки старих припущень на нових учасниках та вимірювання кумулятивної цінності» (Блог Netflix про технології).
Чому підсумовані перемоги в тестах перебільшують те, що сталося
Чотири механізми витягують суму вище істини, і вони складаються:
- Прокляття переможця. Ви запускаєте лише варіанти, які перетнули значущість, тому запущений набір збагачується висхідним шумом. Лі та Шен з Airbnb формалізували цю упередженість вибору та опублікували виправлення (КДД 2018).
- Новизна та розпад первинності. Короткі вікна фіксують реакції на новинки. У прикладі Microsoft News початкове збільшення кількості кліків на нову кнопку на 28% зменшувалось щодня протягом експериментального вікна (Садегі та ін., 2022).
- Взаємодія та спадна віддача. Два незалежно протестовані виграші на одному кроці воронки продажів часто не додаються; вони конкурують за одного й того ж маргінального користувача.
- Прогалина в аналізі. Підглядання, перемикання метрик та вибіркове звітування зміщують запущений набір ще більше вгору (ЕППО).
Ніщо з цього не означає, що ваші тести були підробленими. Це означає, що сума є верхньою межею, а не оцінкою.
Розмір закріплення перед його будівництвом
Це крок, який майже всі пропускають, і саме на ньому гине більшість тих, хто утримується від результатів. Тест, що утримується від результатів, – це тест із двома руками з навмисно однобоким розподілом, а точність визначається меншою рукою. Необхідна загальна вибірка шкалується з 1 / (p × (1 − p)), Де p – це частка тих, хто не враховує результатів. Таким чином, для досягнення того ж ефекту для тих, хто не враховує результатів, що 1%, потрібен приблизно в 25 разів більший трафік, ніж для збалансованого тестування.
Загальна кількість користувачів, необхідних протягом періоду очікування, за базового коефіцієнта конверсії 2%, потужності 80% та двосторонньої значущості 5%:
| Частка, що заперечує | Користувачі, необхідні для виявлення +5% відносної | Користувачі, необхідні для виявлення +10% відносної |
|---|---|---|
| 1% | 15,500,000 | 3,900,000 |
| 5% | 3,250,000 | 814,000 |
| 10% | 1,720,000 | 432,000 |
| 20% | 971,000 | 245,000 |
| 50% | 630,000 | 161,000 |
Тепер порівняйте це зі значеннями за замовчуванням постачальника. Statsig пропонує «низький однозначний відсоток утримання, наприклад, 1%–2%» (Статсіг); Optimizely попереджає про значення вище 5% (Optimizely); GrowthBook повідомляє, що команди Facebook та X працюють на 5% або менше (Книга зростання).
Ці цифри правильні для їхніх авторів і неправильні для більшості сайтів середнього бізнесу. Регіональний сайт електронної комерції з 400 000 користувачів щомісяця накопичує 1.2 мільйона протягом кварталу. При витримці в 1% йому знадобиться приблизно десять років. При 10% він все ще не досягає показника читаності +5%. При 20% він виявляє +5% за квартал і +10% приблизно за місяць. Вибирайте частку зі свого трафіку, а не зі стандартного трафіку постачальника. Якщо чесна відповідь — 20%, то чітко поясніть цей компроміс для бізнесу: п'ята частина користувачів чекає квартал на нові функції в обмін на те, щоб знати, чи був цей квартал чогось вартий.
Виберіть тривалість та вікно аналізу
Statsig рекомендує від трьох до шести місяців, перш ніж відпускати заявку; GrowthBook рекомендує активний період від півмісяця до кварталу, а потім період аналізу від двох до чотирьох тижнів, щоб наслідки врегулювалися, а вікна ретроспективного огляду заповнилися.
Наше робоче правило: активний період – це довший період, який вимагає ваша таблиця розмірів, і один повний бізнес-цикл. У цьому регіоні це означає охоплення принаймні одного піку кампанії та одного місяця з рівнем активності, щоб результат не визначався лише 11.11. Потім заморозьте прапорці та зачекайте, поки завершиться вікно аналізу, перш ніж хтось відкриє панель інструментів.
Зробіть це: сім речей, які потрібно зробити правильно
- Випадковий вибір на постійний ідентифікатор користувача або облікового запису на стороні сервераФайл cookie, який блокує банер згоди або який очищує користувач, пропускає людей між руками.
- Призначити затримку один раз, спереду, до запусків, які ви хочете виміряти. Затримка, створена після факту, не є затримкою.
- Пропускати кожного запущеного переможця через ту саму систему прапорців, тому "holdout = off" дійсно означає старий досвід. Користувачі з Holdout отримують значення гейту та шару за замовчуванням, як це робить реалізація Statsig.
- Зберігайте чітке список виключень: виправлення безпеки, робота з дотримання юридичних вимог та вимог щодо доступності, а також зміни цін доступні всім. Задокументуйте кожне виключення з його датою.
- Виберіть від двох до чотирьох міцний показники (дохід на користувача, утримання, частота замовлень) плюс ваш основний коефіцієнт конверсії. Не додавайте п'яту частину.
- Ведіть датований реєстр запусків кожної зміни, внесеної у вікно, з виміряним впливом. Саме з ним ви порівнюєте утримання.
- Повідомте інженерам, що прапорці залишаються в кодовій базі, доки не закриється вікно аналізу. Ті, хто не вдається, частіше гинуть через передчасне очищення прапорців, ніж через щось статистичне.
Чесно прочитайте результат
Обчисліть співвідношення підйомної сили, виміряної під час затримки, до сумарної підйомної сили у вашому реєстрі запусків. Наші робочі пороги — це оціночні висновки, а не опубліковані контрольні показники:
| Підйом затримки ÷ підсумований підйом | читання | дію |
|---|---|---|
| ≥ 0.6, інтервал виключає нуль | Програма приблизно чесна | Повідомте про кількість затримок зовні, підтримуйте актуальність прогнозу |
| 0.3 - 0.6 | Нормальне зменшення від вибору та взаємодії | Застосуйте спостережуване співвідношення як дисконт до майбутніх бізнес-кейсів |
| < 0.3, або інтервал включає нуль | Сума не є доказом | Припинити котирування підсумованого підйому; переглянути критерії перемоги та правила зупинки |
| Негативна точкова оцінка | Щось, що доставлено, коштує грошей | Зворотне тестування найбільших запусків по одному |
Одне регіональне застереження щодо альтернативних команд, які прагнуть першої позиції. Якщо ви плануєте пропустити період очікування та порівняти цей квартал з минулим роком, зверніть увагу, що річна інфляція споживчих цін у Туреччині у серпні 2026 року становила 31.51% (Дані TÜIK, опубліковані 3 вересня 2026 року). Дохід на користувача в лірах не можна порівняти за різними періодами за такої швидкості, а його дефляція додає власні припущення. Паралельна рандомізація обходить це: обидві групи знаходяться в одній економіці в один і той самий день.
[НЕОБХІДНІ ВНУТРІШНІ ДАНІ: приклад клієнта Switas — тривалість програми, масштаб трафіку, сумарне порівняння тестового підйому та порівняння виміряного підйому в умовах очікування, а також використана частка очікування.]
Шість способів, як непомітно зламати опір
- Забруднення. Спільні пристрої, сеанси після виходу з системи та скидання ідентифікаторів переміщують користувачів між групами. Виміряйте перехресне використання; вище приблизно 2% оцінка не є достовірною.
- Тиха витік. Зміна, надіслана поза системою прапорців (правило CDN, редагування CMS, новий шаблон), також досягає затримки та зменшує розрив до нуля.
- Виключення повзучості. Кожне рішення «це має бути доступне всім» виключає запуск з того, що ви вимірюєте. Десять таких запусків — і ви нічого не вимірюєте.
- Невідповідність коефіцієнта вибірки. Розкол відхиляється від запланованої частки. Перевіряйте щотижня; ухилення від SRM є таким же недійсним, як і будь-який інший тест з SRM.
- Передчасне звільнення. Глобальні затримки Optimizely, що влаштовані на основі рідної технології, не можна призупинити, їх лише завершити. Візьміть це за правило: дострокове завершення втрачає вікно.
- Недостатньо потужний з першого дня. Найпоширеніша невдача. Нульовий результат з 2% затримкою нічого не говорить про вашу програму і нічого не говорить про ваш розмір.
Де цей метод ламається
Утримання показує розмір сумарного ефекту, а не те, який запуск його спричинив. Атрибуція все ще потребує окремих тестів. Вона не може виміряти нічого, що має бути доставлено всім, тому робота над дотриманням вимог залишається поза нею. Вона погано підходить, коли ті самі користувачі не повертаються в межах вікна, і вона нічого не говорить про бренд чи офлайн-перетік між підрозділами. Нижче приблизно 100 000 користувачів щомісяця немає частки, яку можна було б одночасно виявити та захистити; у такому масштабі ретельно контрольовані показники «до» та «після» плюс якісна перевірка є чесним запасним варіантом, а їхні слабкі сторони озвучуються вголос.
Часті питання
Наскільки великою має бути група, що виступає проти?
Достатньо великий, щоб виявити очікуваний кумулятивний ефект, який є скоріше розрахунком, ніж умовністю. За базового рівня 2% та відносної цілі +5%, для утримання 5% потрібно близько 3.25 мільйона користувачів, тоді як для утримання 20% потрібно близько 971 000.
Як довго має тривати затримка?
Продавці пропонують від трьох до шести місяців активного періоду плюс вікно аналізу від двох до чотирьох тижнів. Додайте обмеження, що вікно охоплює принаймні один пік кампанії та один звичайний місяць, щоб один продаж не визначав результат.
Чому мій показник підйому в очікуванні менший, ніж сума моїх перемог у тестах?
Це очікуваний результат, а не помилка. Прокляття переможця, спад новизни, взаємодія між змінами та брак аналізу – все це завищує суму. Число, яке можна утриматися, ближче до реальності.
Чи можу я створити затримку після того, як я вже запустив щось?
Не для цих запусків — усі їх уже отримали. Затримка враховує лише зміни, внесені з дати її початку. Ви все ще можете розпочати її сьогодні протягом наступних двох кварталів.
Чи шкодить стримування користувачів доходам?
Трохи, якщо ваші запуски справді спрацюють; ця вартість обмежена часткою утримання, помноженою на справжній підйом. Якщо вони не спрацюють, утримання нічого не коштує і позбавляє вас від необхідності їх повторювати.
Що робити, якщо результат утримання буде рівним?
Спочатку перевірте потужність за таблицею розмірів, потім перехресні ...
Наступний крок
Якщо ви проводите експерименти та не можете сказати, чого вартий рік перемог, оцініть свій власний трафік цього тижня — або ж доручіть нам оцінити, скласти та прочитати його як частину Залучення CRO.
Джерела
- Кохаві та Лонгботам, «Онлайн-контрольовані експерименти та A/B-тестування» (2015)
- Лі та Шен (Airbnb), «Прокляття переможця», KDD 2018
- Садегі та ін. (Microsoft), «Новизна та першість», Technometrics, 2022
- Технічний блог Netflix, «Застосування причинно-наслідкового висновку в Netflix»
- Документація Statsig, "Опір"
- GrowthBook, «Заперечення в GrowthBook»
- Підтримка Optimizely, "Глобальні відмови"
- Еппо, «Ціле менше, ніж сума його частин»
- Управління стратегії та бюджету — TÜIK CPI, серпень 2026 р.
