Контрольная группа — это случайно выбранная часть аудитории, которая намеренно исключается из изменений, кампании или целой программы изменений, чтобы совокупный эффект на эту группу можно было сравнить со всеми остальными. В то время как стандартный эксперимент сравнивает две версии одного и того же в течение нескольких недель, контрольная группа измеряет совокупное воздействие множества решений за несколько месяцев, отвечая на вопрос, на который не могут ответить отдельные тесты: действительно ли вся эта работа повлияла на бизнес?
Необходимость в таком подходе возникает из-за известной проблемы учета в программах оптимизации и маркетинга. В отдельных экспериментах сообщается об индивидуальном приросте результатов, и эти результаты суммируются в годовой показатель воздействия, который представляется руководству. Но эта сумма почти всегда больше, чем в реальности, поскольку выигрышные эффекты перекрываются, ослабевают, взаимодействуют и часто завышаются из-за преждевременного прекращения эксперимента или «проклятия победителя». Длительный контрольный эксперимент дает единое, прямое измерение вклада всей программы, которое либо подтверждает представленные данные, либо выявляет пробел, требующий объяснения.
Контрольные группы могут принимать несколько форм. Контрольная группа после запуска сохраняет небольшой процент пользователей в контрольной группе после внедрения успешного варианта, чтобы отслеживать эффект в течение нескольких месяцев и проверять его снижение. Контрольная группа на уровне программы исключает определенный процент пользователей из каждого изменения оптимизации в течение квартала или дольше. Контрольная группа в маркетинге исключает контакты с кампанией для случайной подгруппы, чтобы измерить прирост, а не приписываемый отклик, что обычно показывает, что значительная доля приписываемых конверсий произошла бы в любом случае. Каждая из них отвечает на разные вопросы, и каждая требует, чтобы исключенная группа была выбрана случайным образом и оставалась стабильной в течение периода измерения.
Проектирование требует тщательного подхода. Группа должна быть достаточно большой, чтобы выявить ожидаемый кумулятивный эффект, что обычно проще, чем при проведении одного теста, поскольку измеряемый эффект больше. Назначение изменений должно сохраняться в разных сессиях, на разных устройствах (по возможности) и каналах, иначе «загрязнение» искажает результаты сравнения. Исключение должно действительно соблюдаться, что сложнее, чем кажется, когда десяток команд внедряет изменения с помощью разных механизмов. И организация должна смириться с преднамеренными издержками, связанными с задержкой внедрения улучшений для реальных клиентов в течение длительного периода, что является решением, принимаемым на уровне управления, а не аналитическим путем.
Главное возражение заключается в стоимости, и оно заслуживает прямого ответа. Исключение пяти процентов трафика из программы, которая действительно повышает конверсию, приводит к потере части дохода. Контраргумент состоит в том, что без исключения никто не знает, повышает ли программа конверсию вообще, и сумма, потраченная на нее, обычно намного превышает упущенный доход от исключенной группы. Организации, которые провели первое тестирование программы с исключением части трафика, часто обнаруживают, что измеренный эффект значительно меньше, чем предполагают суммарные результаты тестирования, что неприятно, но именно эта информация необходима для разумного распределения бюджета.
Внутреннее обсуждение вопроса о невыполнении обязательств обычно проходит лучше, когда затраты количественно определены, а не остаются абстракцией. Если предполагаемый эффект программы выражается в определенном процентном улучшении, то отказ от пяти процентов трафика означает потерю пяти процентов этого улучшения, что, как правило, является небольшой цифрой по сравнению со стоимостью самой программы и ничтожно малой по сравнению с риском продолжения инвестиций в то, вклад чего неизвестен. Это также помогает рассматривать группу как постоянно используемый инструмент измерения, а не как лишение, поскольку тот же механизм поддерживает мониторинг снижения эффективности после запуска и обеспечивает базовый уровень для любых последующих заявлений о ценности программы. В тех случаях, когда отказ от улучшений вызывает опасения по поводу справедливости, как это может быть в услугах с законодательными или договорными обязательствами, соответствующим ответом является меньшая группа, более короткий период или географическое распределение, а не полный отказ от измерения.
Создание группы, способной противостоять существующему положению вещей, обычно является одной из наиболее важных рекомендаций в ходе исследования. управление ростом вовлеченность, поскольку она меняет основу оценки всей программы с набора отдельных отчетов на единый измеряемый результат. Внедрение обычно требует наличия возможностей сегментации аудитории и идентификации личности, поддерживаемых системой. аналитика данных функция, поскольку контрольный образец, данные которого просачиваются через каналы или устройства, не дает никаких надежных результатов.