«Подглядывание» — это практика многократной проверки результатов эксперимента во время его проведения и его остановки, как только будет превышен порог значимости. Это наиболее распространенный способ превращения достоверных статистических методов в недостоверные выводы, и почти всегда это делается из благих намерений людьми, которые считают, что просто отслеживают ход эксперимента. Математика теста с фиксированным горизонтом предполагает однократный анализ при заранее рассчитанном размере выборки; каждый дополнительный взгляд — это еще один шанс для случайных колебаний пересечь черту, и реальная частота ложноположительных результатов возрастает с каждым таким случаем.
Масштаб искажений удивляет людей. Тест, рассчитанный на 5-процентный уровень ложноположительных результатов, проверяемый ежедневно в течение нескольких недель с правилом остановки «достигнуты значительные результаты», может в итоге показать в несколько раз более высокий уровень ложноположительных результатов. Затем программа накапливает портфель успехов, значительная часть которых представляет собой шум, и совокупное влияние на бизнес не соответствует сумме заявленных эффектов. Поскольку каждый отдельный тест выглядел должным образом проанализированным, причина несоответствия редко выявляется, и обычно делается вывод, что оптимизация просто не работает в этой компании.
Подглядывание также искажает величину сохраняющихся эффектов. Тест, остановленный в момент достижения статистической значимости, останавливается в момент, когда случайные колебания благоприятствуют варианту, поэтому наблюдаемый прирост в этот момент систематически завышает истинный эффект, даже если эффект реален. Поэтому программы, которые останавливаются раньше, сообщают о больших успехах, чем они достигают на самом деле, что со временем подрывает доверие таким образом, что восстановиться после того, как финансовый отдел заметит разрыв, становится сложно.
Давление, побуждающее к подсчету, носит скорее структурный, чем личный характер. Тестовые платформы отображают на своих панелях мониторинга показатели значимости в режиме реального времени. Заинтересованные стороны проверяют их. Вариант, демонстрирующий значительное преимущество на начальном этапе, создает реальное коммерческое давление, требующее немедленного запуска, а вариант, демонстрирующий снижение на начальном этапе, создает давление, требующее остановки и сокращения убытков. Запрет на подсчет неэффективен; практические решения носят процедурный и технический характер. Зафиксируйте размер выборки и дату окончания в письменном виде до запуска. Используйте последовательные или байесовские методы, предназначенные для непрерывного мониторинга, чтобы подсчет был законным. Настройте панели мониторинга таким образом, чтобы скрывать значимость до достижения запланированного размера выборки. Оставьте раннюю остановку для реальных чрезвычайных ситуаций, выявленных с помощью контрольных показателей, с указанием лица, принимающего решения, и документально обоснованным объяснением.
Существует важное различие между подглядыванием и мониторингом. Наблюдение за частотой ошибок, производительностью страниц, соотношением выборок и серьезными нарушениями контрольных параметров во время тестирования не только допустимо, но и необходимо, поскольку неисправный или вредный вариант следует немедленно остановить. Искажение анализа происходит, когда основной бизнес-показатель используется в качестве критерия остановки вне заранее зарегистрированного плана. Разделение оперативного мониторинга и анализа результатов с помощью разных панелей мониторинга и разных прав доступа часто оказывается достаточным для решения проблемы на практике.
Когда заинтересованная сторона требует информации о ходе тестирования до его завершения, прямой отказ обычно контрпродуктивен, а предоставление данных подрывает протокол. Работоспособным компромиссным решением является отчет о состоянии системы, а не о результатах: подтверждение того, что тестирование проводится корректно, что распределение трафика происходит в соответствии с конфигурацией, что не было нарушено никаких ограничений и сколько дней осталось до запланированного анализа. Это отвечает на законные опасения, стоящие за запросом, которые обычно связаны с риском, а не с любопытством, без раскрытия конкретных цифр, на основании которых будут предприняты какие-либо действия. Согласовать это заранее, в рамках протокола эксперимента, гораздо проще, чем обсуждать это в середине, казалось бы, успешного тестирования, когда коммерческое давление с целью немедленного запуска находится на пике, а аргумент в пользу терпения наименее уместен.
Внедрение этой дисциплины — один из наименее технических и наиболее ценных способов, доступных в программе оптимизации. В типичной ситуации Услуги CRO Информация о взаимодействии, протокол анализа, правила остановки и полномочия по аварийной остановке документируются до первого запуска испытаний, а результаты публикуются с фиксированной периодичностью, а не по запросу. Если организации необходима непрерывная прозрачность по законным коммерческим причинам, решением является внедрение последовательной структуры, которая это поддерживает, вместо проведения испытаний с фиксированным горизонтом и надежды на то, что никто не будет смотреть.