Прекратите A/B-тестирование на ранней стадии, выбрав один из четырех запланированных образов, вместо того чтобы подглядывать каждое утро.

Если вы каждое утро проводите A/B-тестирование и останавливаете его, как только индикатор на панели загорается зеленым, то реальный уровень ложноположительных результатов составляет не 5%. В имитационном тестировании значимости после каждого наблюдения Эван Миллер измерил ее на уровне 26.1%Более чем в пять раз превышая уровень, на котором, по мнению большинства команд, они находятся на самом деле.Как не следует проводить A/B-тестирование). Каждая четвертая «победа», которая не будет повторена, — это не проблема статистики. Это проблема плана действий.

Это руководство предназначено для команд, занимающихся развитием и оптимизацией конверсии (CRO), которые проводят тестирование трафика электронной коммерции или туристического рынка, слишком сезонного, чтобы оставаться неизменным в течение четырех недель. К концу вы сможете спланировать график показов перед запуском, определить пороговые значения для каждого показа по таблице, рассчитать размер теста для небольшой дополнительной выборки, которую требует планирование, и понять, где метод перестает быть эффективным.

Почему подглядывание нарушает тест фиксированного горизонта

Тест с фиксированным горизонтом выборки расходует весь свой 5%-ный запас погрешности один раз, при одном заранее заявленном размере выборки. Каждый дополнительный взгляд — это еще один шанс пересечь черту. Проблема не в анализе данных, а в использовании порогового значения, рассчитанного на один взгляд. В таблице Миллера указан требуемый уровень значимости для обеспечения истинной 5%-ной вероятности ошибки, если вы настаиваете на просмотре данных определенное количество раз:

Иными словами: если посмотреть десять раз, то то, что вы видите как 1% значимости, на самом деле составляет 5%. Грубо, но честно. Приведенные ниже методы выполняют ту же работу более эффективно.

Три способа остановиться раньше и стоимость каждого из них.

Третий ряд имеет значение, потому что именно он используется в большинстве коммерческих платформ. В симуляции Георги Георгиева при фиксированном максимальном размере выборки в 7,045 человек на группу тест с фиксированным горизонтом достиг мощности 83.3%, групповой последовательный AGILE достиг своей цели в 80%, SPRT — около 73%, а всегда корректный вывод — 62.4%. Для достижения мощности в 80% всегда корректному выводу требовалось примерно На 85% больше образцов чем групповой последовательный дизайн (Аналитический инструментарий, 2022Инженеры Spotify независимо друг от друга пришли к тому же выводу: групповые последовательные тесты «систематически лучше или сопоставимы с всегда достоверными подходами», когда размер выборки можно оценить.Шульцберг и Анкаргрен, 2023).

Это стоит исправить, потому что подход поставщика работает в обратную сторону. В документации Optimizely говорится, что «не следует выполнять предварительную работу, такую ​​как расчет размера выборки, до начала эксперимента» (Поддержка OptimizelyКонтроль ошибок реален, а лежащие в его основе исследования обоснованы.Джохари и др., Всегда обоснованный вывод); в этой формулировке упущен счет за электроэнергию. Компания Statsig, использующая тот же набор методов, прямо заявляет: «Если вам необходимо точное измерение величины эффекта, дождитесь полной мощности, которую вы оцениваете на основе предэкспериментального расчета мощности».Документация Statsig). Фразу «размер выборки не требуется» следует понимать как утверждение о достоверности, а не об эффективности.

Метод, шаг за шагом

Пример из практики: магазин одежды тестирует процесс оформления заказа. Базовая конверсия сеансов 2.4%, целевой эффект +10% относительно (2.64%), двусторонний альфа-критерий 5%, мощность 80%, примерно 5,000 сеансов в день.

1. Подберите размер так, как будто вы никогда не будете подглядывать.

Двухпропорциональная размерная сетка дает 66 943 сеанса на каждую группуВсего 133 886. Это не дополнительные накладные расходы только потому, что вы планируете закончить работу раньше; это основа, на которой строится расписание.

2. Выберите количество образов и время их создания.

Три-пять вариантов дизайна позволяют получить почти всю доступную выгоду; каждый последующий вариант дизайна увеличивает стоимость максимального количества образцов, принося при этом незначительную отдачу. Согласуйте варианты дизайна с... целые неделиПоскольку структура показа рекламы по дням недели является основным источником колебаний трафика в розничной торговле. При 5,000 сессий в день, четыре еженедельных образа приближаются к 140 000 сессий, покрывая запланированный максимум.

3. Выберите функцию расходования средств и запишите пороговые значения.

Функция распределения альфа-дохода определяет, какую часть 5% бюджета может поглотить каждый вариант, в зависимости от объема накопленных данных.Penn State STAT 509Два классических варианта, четыре одинаково расположенных взгляда, двусторонний альфа-критерий 0.05:

Эти значения были рассчитаны с использованием функций расходов Лан-ДеМетс и соответствуют опубликованной характеристике: О'Брайен-Флеминг использует «очень строгие пороговые значения на начальном этапе, но пороговое значение для окончательного анализа близко к типичному p < 0.05», в то время как Покок поддерживает почти постоянное пороговое значение около p < 0.016.Чиолино, Кайзер и Боннер, 2023).

О'Брайен-Флеминг — это недорогая страховка: он почти никогда не срабатывает на первом этапе, требует примерно на 3% больше максимальной выборки, а его окончательный порог едва превышает 0.05. Покок останавливается раньше гораздо чаще, но взимает на 20% больше платы за трафик. Для показателей, связанных с доходом, по умолчанию следует использовать О'Брайен-Флеминг.

4. Впишите правило в заявку перед запуском.

Одно предложение, видимое каждому, кто может остановить тест: «Мы смотрим на конец недель с 1 по 4, объявляем победителя только в том случае, если двустороннее p-значение для [основного показателя] ниже порогового значения для этой недели, в противном случае переходим к 4-й неделе». Правило, которое живет в чьей-то голове, — это не правило.

5. Установите также границу бесполезности.

Большинство команд вводят только ограничения эффективности, то есть останавливают победителей на ранней стадии и позволяют проигравшим играть до конца, что неправильно с точки зрения альтернативных издержек. Необязательная граница бесперспективности — остановка, когда значимая победа становится маловероятной — вот где достигается большая часть экономии календаря. При четырех вариантах О'Брайена-Флеминга ожидаемая выборка при истинном эффекте снижается примерно до 83% от требуемого значения для фиксированного горизонта.

6. Не указывайте предварительную точечную оценку в качестве величины эффекта.

Тест, который останавливается досрочно, остановился. потому что Наблюдаемый подъем был необычно большим, поэтому оценка завышена из-за особенностей конструкции. Используйте ее для принятия решения о судне, а не для прогнозирования доходов. Statsig: «На ранних этапах принятия решений часто получаются заниженные оценки подъемной силы с высокой степенью неопределенности».

Контрольный список перед запуском

• Один из основных показателей, заявленный в письменной форме до запуска.
• Установлены максимальная дата выборки и дата окончания календарного периода.
• Кажется, что количество и время фиксированы, и они выровнены по целым неделям.
• Выбрана функция расходования средств, пороговые значения указаны в заявке.
• Правило бесперспективности определено, а не только правило эффективности.
• Проверка SRM проводилась при каждом осмотре. до Значение p считывается
• Показатели ограждения отслеживаются отдельно, вне рамок правил остановки.
• Все, кто может остановить тест, знают, что необдуманные взгляды запрещены.

Калибровка этого параметра для Турции и региона.

Согласно отчету Министерства торговли о перспективах развития электронной коммерции, представленному в мае 2026 года, в 2025 году в Турции было совершено 5.94 миллиарда транзакций в сфере электронной коммерции на сумму 4.57 триллиона турецких лир.Daily Sabah, 12 мая 2026 г.Это большой рынок, состоящий в основном из магазинов среднего размера, поэтому четырехнедельные периоды — обычное дело, достаточно долгое время, чтобы совпасть с рекламной кампанией.

Период распродаж в конце ноября, известный в местном масштабе как Efsane Cuma, и предшествующая ему акция 11.11 меняют... кто На сайте находится определенное количество посетителей, а не просто число. Посетители, привлеченные скидками, конвертируются по другой логике, поэтому график, пересекающий границу кампании, не измеряет одну конкретную группу населения. Наше правило: завершить до начала кампании или начать после. Если тестирование должно проходить через одну неделю, рассматривайте неделю кампании как отдельный этап и не принимайте решения о прекращении внутри него.

Второе изменение применяется по всей территории ЕС и к баннерам согласия, соответствующим требованиям KVKK в Турции: если аналитика требует согласия, часть вашего трафика остается неучтенной. Размер и расписание на наблюдается фотосессии, иначе все образы появятся позже, чем указано в расписании.

[ТРЕБУЮТСЯ ВНУТРЕННИЕ ДАННЫЕ: медианное количество ежедневных сессий и медианная фактическая продолжительность тестирования среди клиентов Switas в сфере электронной коммерции, чтобы заменить иллюстративную цифру в 5,000 сессий в день фактическим распределением.]

Где это происходит сбой

• Изменение состава. Последовательные методы предполагают, что входящий поток данных может меняться со временем. Изменение рекламной кампании или платной рекламы нарушает это условие, а преждевременная блокировка на той неделе, когда она была особенно актуальной, является необычной.
• Новизна и первенство. Показатель первой недели отражает реакцию, а не устоявшееся поведение. Если изменения заметны для постоянных клиентов, не устанавливайте никаких ограничений по эффективности первого этапа.
• Метрики с тяжелыми хвостами распределения. Доход за сессию в основном формируется за счет редких крупных заказов, а приближенные значения, полученные с помощью нормального распределения, ненадежны при небольших промежуточных выборках. Остановитесь на показателе конверсии и считывайте доход параллельно, или же используйте винзоризацию и укажите это отдельно.
• Множество показателей. Эти границы контролируют погрешность для one метрика. Пять метрик с пятью правилами остановки и без дальнейшей корректировки возвращают вас к исходной точке.
• Неисправные приборы. Последовательная проверка без проблем преодолеет границу, если данные окажутся поврежденными. Однако она не заменяет проверку SRM.
• Здесь это не рассматривается: Байесовские правила остановки, многорукие бандиты и методы снижения дисперсии, такие как CUPED. Каждый из них взаимодействует с ранней остановкой таким образом, что требует отдельного рассмотрения.

FAQ

Отметьте этот раздел с помощью схемы FAQPage.

Могу ли я просто использовать более строгий p-критерий вместо функции распределения средств?
Да, если заранее определить количество вариантов и их немного. Таблица Миллера показывает пороговое значение. Это более консервативный подход, чем альфа-тестирование, поэтому вы тратите больше средств на выборку, чем необходимо, но при этом не требуется никаких новых инструментов.

Означает ли последовательное тестирование, что я могу пропустить расчет размера выборки?
Нет. Достоверность сохраняется и без оценки размера выборки; мощность — нет. И моделирование Георгиева, и моделирование Spotify показывают одну и ту же закономерность: когда можно оценить размер выборки, доминирует групповой последовательный дизайн.

А что, если я жду не победы, а регресса?
Это мониторинг в рамках охранных мер, а не проверка гипотез. Необходимо постоянно отслеживать показатели безопасности и ошибок в рамках отдельного, более мягкого правила, а основное правило остановки оставить без изменений. Уничтожение варианта, наносящего вред пользователям, не требует никаких церемоний.

Защищено ли байесовское тестирование от подглядывания?
Нет. Остановка в момент, когда апостериорная вероятность пересекает пороговое значение, изменяет рабочие характеристики правила принятия решений, если только правило не было разработано с возможностью опциональной остановки. Априорное распределение изменяет форму проблемы, а не её существование.

О'Брайен-Флеминг или Покок?
Метод О'Брайена-Флеминга подходит практически для всех коммерческих случаев. Метод Покока следует выбирать только тогда, когда предварительный результат имеет конкретную ценность, вы можете охватить примерно на 20% больше выборки, и кто-то готов начать поставки уже на первой неделе.

Можно ли добавить образ, который я не планировала?
Да, при использовании функции альфа-расходования — да, при условии, что решение о просмотре не обусловлено данными, которые вы сейчас увидите. Добавление просмотра только потому, что панель мониторинга «посмотрела близко», зависит от времени, затраченного на анализ данных, и аннулирует гарантию.

Поработайте с нами над этим.

Если вы проводите эксперименты на турецкой или региональной платформе электронной коммерции, и сегодня правило остановки — «проверяйте каждое утро», мы перестроим его вместе с вами: размер, расписание проверок, границы, правило бесполезности и контрольный пункт SRM, внедрив их в ваш шаблон эксперимента, чтобы следующий тест унаследовал их. Поговорите со Свитасом о вашей экспериментальной программе..

Источники

• Эван Миллер, Как не следует проводить A/B-тестирование
• Джохари, Пекелис, Уолш и Кумен, Всегда достоверные выводы: непрерывный мониторинг A/B-тестов; опубликовано в Исследование операций 70(3), 2022
• Георги Георгиев, Сравнение статистической мощности последовательных тестовAnalytics-Toolkit, ноябрь 2022 г. (обновлено в марте 2023 г.)
• Шульцберг и Анкаргрен, Выбор фреймворка для последовательного тестирования, Spotify Engineering, март 2023 г.
• Оптимально, Обзор методов статистического анализа
• Статсиг, Частотное последовательное тестирование
• Чиолино, Кайзер и Боннер, Руководство по методам промежуточного анализа в клинических исследованиях, J Clin Transl Sci 7(1):e124, 2023
• Penn State STAT 509, Подход с использованием функции альфа-расходов
• пакт, Определение последовательных границ группы
• Объем электронной коммерции в Турции вырастет более чем на 52% в 2025 году.Газета Daily Sabah, 12 мая 2026 г., сообщает о результатах исследования Министерства торговли по перспективам развития электронной коммерции.