Создайте контрольную группу, которая сможет реально определить, чего стоили ваши победы в тестировании.

Ваша программа сообщает о победителе примерно раз в месяц. Если сложить двенадцать побед, то в годовом отчете говорится, что конверсия должна быть на 18% выше, чем в прошлом году. Финансовый отдел смотрит на отчет о прибылях и убытках и говорит, что это не так. Обычно отчет неверен.

На экспериментальной платформе Microsoft лишь около трети протестированных идей улучшили показатель, для улучшения которого они были разработаны, а те, которые были запущены, отбирались именно потому, что выглядели многообещающе, и именно здесь начинаются проблемы с арифметикой.Кохави и Лонгботам, 2015Контрольная группа — это самый дешевый инструмент для измерения. программа а не отдельный тест.

Это руководство предназначено для руководителей отделов CRO и владельцев аналитических подразделений, запускающих как минимум один эксперимент в месяц. К концу вы сможете определить размер контрольной группы, которая действительно способна выявить эффект вашей программы, выбрать продолжительность и окно анализа, а также распознать причины сбоев, которые могут аннулировать результат, прежде чем вы его представите.

Что измеряет группа, которая сопротивляется, чего не измеряет сумма побед?

Контрольная группа — это случайно выбранная часть пользователей, сохранивших доступ к версии до изменений, в то время как все остальные получают все запущенные успешные версии. Через несколько месяцев вы сравниваете две группы. Разница представляет собой совокупный, все еще действующий эффект всего, что вы выпустили, а не двенадцать краткосрочных оценок, скрепленных вместе.

Netflix использует тот же инструмент, описывая «отложенные A/B-тесты» как способ «понять долгосрочные эффекты, проверить старые предположения на новых участниках и измерить совокупную ценность».Технологический блог Netflix).

Почему суммарные результаты тестов преувеличивают произошедшее?

Четыре механизма искажают целое, и это суммируется:

• Проклятие победителя. Вы запускаете только те варианты, которые пересекли пороговое значение статистической значимости, поэтому запущенный набор обогащен положительным шумом. Ли и Шен из Airbnb формализовали это смещение выборки и опубликовали исправление (КДД 2018).
• Новизна и первенство угасают. Короткие временные промежутки позволяют зафиксировать реакцию на новизну. В примере с Microsoft News первоначальный рост числа кликов по новой кнопке на 28% снижался день от дня в течение экспериментального периода.Садеги и др., 2022).
• Взаимодействие и убывающая отдача. Два независимо проверенных успеха на одном и том же этапе воронки продаж часто не приносят результата; они конкурируют за одного и того же потенциального пользователя.
• Аналитический slack. Подглядывание, переключение метрик и выборочная отчетность при каждом изменении запускаемого набора показателей приводят к дальнейшему росту (ЕППО).

Всё это не означает, что ваши тесты были поддельными. Это означает, что сумма является верхней границей, а не приблизительной оценкой.

Определите размеры укрытия, прежде чем строить.

Этот этап почти все пропускают, и именно здесь большинство контрольных выборок терпят неудачу. Контрольная выборка — это двухгрупповой тест с намеренно неравномерным разделением, и точность определяется меньшей группой. Необходимый общий размер выборки масштабируется пропорционально 1 / (p × (1 − p)), Где p Это доля контрольной группы. Таким образом, для 1% контрольной группы требуется примерно в 25 раз больший объем трафика, чем при сбалансированном тестировании, чтобы увидеть тот же эффект.

Общее количество пользователей, необходимое за весь период контрольного тестирования, при базовом коэффициенте конверсии 2%, мощности 80% и двусторонней значимости 5%:

Теперь сравните это с настройками по умолчанию от поставщика. Statsig предлагает «небольшой однозначный процент отсечки, например, 1–2%» (Стациг); Optimizely выдает предупреждения при уровне ошибок выше 5% (OptimizelyПо данным GrowthBook, в командах Facebook и X этот показатель составляет 5% или меньше (Книга роста).

Эти цифры верны для их авторов, но неверны для большинства сайтов среднего размера. Региональный сайт электронной коммерции с 400 000 ежемесячных пользователей за квартал набирает 1.2 миллиона. При уровне посещаемости в 1% ему потребуется примерно десять лет. При 10% он все еще не достигает показателя +5%. При 20% он обнаруживает +5% за квартал и +10% примерно за месяц. Выберите способ распространения контента, исходя из вашего трафика, а не из настроек поставщика по умолчанию. Если честный ответ — 20%, то объясните бизнесу прямо: пятая часть пользователей ждет квартал новых функций, чтобы понять, стоил ли этот квартал чего-либо.

Выберите продолжительность и окно анализа.

Statsig рекомендует от трех до шести месяцев до выпуска контрольного образца; GrowthBook рекомендует активный период от половины месяца до квартала, а затем период анализа от двух до четырех недель, чтобы эффекты стабилизировались и заполнились окна ретроспективного анализа.

Наше рабочее правило: активный период — это больший из двух показателей, указанных в вашей таблице размеров, и один полный бизнес-цикл. В данном регионе это означает охват как минимум одного пика кампании и одного месяца без активности, поэтому результат не определяется только 11.11. Затем зафиксируйте флажки и дождитесь окончания окна анализа, прежде чем кто-либо откроет панель управления.

Создайте это: семь важных моментов, которые нужно учесть.

• Случайный выбор постоянный, серверный идентификатор пользователя или учетной записиФайл cookie, который блокируется баннером согласия или который пользователь удаляет, пропускает людей между руками.
• Назначьте неявившегося один раз, спередиПеред запусками, которые вы хотите измерить. Контрольная группа, созданная постфактум, таковой не является.
• Всех победителей, запустивших игру, следует пропускать через одну и ту же систему флагов, поэтому "holdout = off" действительно означает старый интерфейс. Пользователи, не участвующие в игре, получают значения по умолчанию для ворот и слоев, как это реализовано в Statsig.
• Сохраните явное список исключения: Исправления безопасности, работа по обеспечению соответствия законодательным требованиям и требованиям доступности, а также изменения цен доставляются всем пользователям. Каждое исключение должно быть задокументировано с указанием даты.
• Выберите от двух до четырех прочный Показатели (доход на пользователя, удержание, частота заказов) плюс ваш основной коэффициент конверсии. Не добавляйте пятую величину.
• Ведите датированный реестр запуска, в котором будут указаны все изменения, внесенные в рамках временного окна, с указанием измеренной высоты подъема. Именно с этим вы будете сравнивать оставшиеся изменения.
• Сообщите инженерам, что флаги остаются в коде до закрытия окна анализа. Контрольные образцы чаще выходят из строя из-за преждевременной очистки флагов, чем по каким-либо статистическим причинам.

Оцените результат честно.

Вычислите отношение измеренной на контрольном образце подъемной силы к суммарной подъемной силе в вашем регистре запуска. Наши рабочие пороговые значения — это решения, принимаемые на основе экспертной оценки, а не опубликованные эталонные показатели:

Одно региональное предостережение относительно альтернативных команд: если вы планируете пропустить этот вариант и сравнить текущий квартал с прошлым годом, обратите внимание, что годовая инфляция потребительских цен в Турции в августе 2026 года составила 31.51%.Данные TÜİK, опубликованные 3 сентября 2026 г.Доход на одного пользователя в лирах не сопоставим между периодами при таком курсе, а его дефлирование вносит свои собственные допущения. Одновременная рандомизация позволяет обойти это: обе группы находятся в одной и той же экономике в один и тот же день.

[НЕОБХОДИМЫЕ ВНУТРЕННИЕ ДАННЫЕ: пример клиента Switas — продолжительность программы, масштаб трафика, суммарный прирост трафика в тестовой выборке по сравнению с приростом трафика в контрольной выборке, а также используемая доля контрольной выборки.]

Шесть способов, которыми человек, долгое время сопротивлявшийся, тихо сдаётся.

• Загрязнение. Использование общих устройств, выход из системы и сброс идентификаторов приводят к перемещению пользователей между различными группами. Необходимо измерить степень пересечения; при показателе выше примерно 2% оценка становится недостоверной.
• Скрытая утечка. Изменения, внесенные вне системы флагов (правило CDN, редактирование CMS, новый шаблон), достигают и оставшейся части системы и сокращают разрыв до нуля.
• Ползучесть исключения. Каждое решение типа «этот вариант должен быть одобрен всеми» исключает запуск из того, что вы измеряете. Десять таких решений — и вы ничего не измеряете.
• Несоответствие соотношения выборок. Разделение акций отклоняется от запланированной доли. Проверяйте еженедельно; проверка с помощью SRM так же недействительна, как и любая другая проверка с помощью SRM.
• Преждевременный релиз. Встроенные в Optimizely глобальные сервисы, которые до сих пор не запущены, нельзя приостановить, можно только завершить. Это правило действует так: досрочное завершение означает потерю возможности использовать сервис.
• С самого первого дня был недостаточно мощным. Наиболее распространенная ошибка. Нулевой результат, полученный при проверке 2% контрольной группы, ничего не говорит о вашей программе, но зато говорит все о размерах вашей системы.

Где этот метод дает сбой

Отклонение от нормы показывает величину совокупного эффекта, а не то, какой именно запуск его вызвал. Атрибуция по-прежнему требует индивидуальных тестов. Она не может измерить то, что должно быть доступно всем, поэтому работа по обеспечению соответствия требованиям находится вне её рамок. Она плохо подходит, если одни и те же пользователи не возвращаются в течение периода наблюдения, и ничего не говорит о влиянии бренда или офлайн-перетекании между различными вариантами. При количестве пользователей менее 100 000 в месяц нет доли рынка, которую можно было бы одновременно обнаружить и защитить; в таком масштабе тщательно контролируемые сравнения «до и после» плюс качественная проверка являются честным запасным вариантом, при этом их недостатки должны быть четко обозначены.

Часто задаваемые вопросы

Насколько большой должна быть группа, которая будет сопротивляться?

Достаточно большой, чтобы обнаружить ожидаемый кумулятивный эффект, который является скорее расчетом, чем общепринятой практикой. При базовом уровне 2% и относительном целевом уровне +5% для контрольной группы с уровнем 5% потребуется около 3.25 миллиона пользователей, а для контрольной группы с уровнем 20% — около 971 000.

Как долго должна продолжаться отсрочка?

Поставщики предлагают период активности от трех до шести месяцев плюс окно анализа от двух до четырех недель. Добавьте ограничение, что это окно должно охватывать как минимум один пик кампании и один обычный месяц, поэтому результат не зависит от одного события, связанного с продажами.

Почему мой прирост силы в контрольной группе меньше, чем сумма моих побед в тестах?

Это ожидаемый результат, а не ошибка. Проклятие победителя, снижение новизны, взаимодействие изменений и недостаточная аналитическая подготовка — всё это завышает итоговую сумму. Итоговое значение ближе к реальности.

Могу ли я создать резервную копию после того, как уже запустил проект?

Это не относится к тем запускам — их уже получили все. Запуск, на который еще не поступили данные, учитывает только изменения, произошедшие с момента его начала. Вы все еще можете запустить такой запуск сегодня в течение следующих двух кварталов.

Влияет ли сдерживание пользователей на выручку?

В некоторой степени, если ваши запуски действительно работают, затраты ограничены долей потенциальных клиентов, умноженной на реальный прирост. Если же они не работают, то доля потенциальных клиентов ничего не стоит и избавляет вас от необходимости повторять их.

А что, если результат в контрольной группе будет одинаковым?

Сначала проверьте мощность по таблице размеров, затем проверьте перекрытие и утечку. Действительно ровный, адекватный результат означает, что в течение двух кварталов поставок этот показатель не изменился: дорого обходится обучение, еще дороже – его отсутствие.

Следующий шаг

Если вы проводите эксперименты и не можете сказать, чего стоил год побед, оцените показатели контрольной группы по сравнению с вашим собственным трафиком на этой неделе — или поручите нам оценить, создать и прочитать его в рамках проекта. взаимодействие CRO.

Источники

• Кохави и Лонгботам, «Онлайн-контролируемые эксперименты и A/B-тестирование» (2015)
• Ли и Шен (Airbnb), "Проклятие победителя", KDD 2018
• Садеги и др. (Microsoft), «Новизна и первенство», Технометрика, 2022
• Технический блог Netflix, «Применение причинно-следственного анализа в Netflix»
• Документы Statsig, "Оставшиеся без внимания"
• GrowthBook, "Неоспоримые участники GrowthBook"
• Поддержка Optimizely для "глобальных пользователей, которые до сих пор не получили поддержки".
• Эппо, «Целое меньше, чем сумма его частей»
• Директорат стратегии и бюджета — TÜİK CPI, август 2026 г.