Статистическая мощность

Статистическая мощность — это вероятность того, что эксперимент выявит подлинный эффект заданного размера, если этот эффект действительно существует. Тест с мощностью 80 процентов, наиболее распространенная оценка, правильно выявит реальное улучшение заданного размера в четырех случаях из пяти и пропустит его в оставшемся одном случае из пяти. Мощность является аналогом уровня значимости: значимость определяет, как часто тест «поднимает тревогу», а мощность определяет, как часто он не замечает тревоги.

Мощность определяется заранее, вместе с уровнем значимости, базовым коэффициентом конверсии и минимальным обнаруживаемым эффектом, и вместе они определяют необходимый размер выборки. Повышение требований к мощности с 80 до 90 процентов существенно увеличивает необходимый трафик, поэтому 80 процентов стали стандартом по умолчанию в коммерческих исследованиях, хотя в клинических исследованиях распространены более высокие стандарты. Этот выбор отражает компромисс между стоимостью упущенной хорошей идеи и стоимостью трафика, затраченного на ее поиск.

Недостаточная мощность тестирования — наиболее распространенный и наименее заметный недостаток программ оптимизации. Тесты, проводимые в течение фиксированного календарного периода, а не до рассчитанного размера выборки, по умолчанию оказываются недостаточно мощными, если трафик ниже предполагаемого. Следствием этого является не только пустая трата усилий, но и систематически вводящие в заблуждение выводы: недостаточно мощная программа выдает поток неубедительных результатов, которые регистрируются как «отсутствие эффекта», что со временем создает ложное институциональное убеждение в том, что целая категория изменений не имеет значения. Реальные возможности упускаются, потому что измерительный инструмент никогда не был достаточно чувствительным, чтобы их увидеть.

Есть и второе, более коварное последствие. В эксперименте с недостаточной статистической мощностью любой результат, достигающий статистической значимости, по арифметическим расчетам должен показывать большой наблюдаемый эффект. Это завышает кажущийся размер каждой победы, о которой сообщает программа, — явление, которое иногда называют «проклятием победителя». Таким образом, программа, проводящая тесты с недостаточной мощностью, будет сообщать о множестве впечатляющих побед, ни одна из которых не воспроизведется в заявленном масштабе после внедрения, и именно разрыв между прогнозируемой и фактической выручкой в ​​конечном итоге подрывает доверие к этой практике.

Повышение эффективности не всегда означает ожидание увеличения трафика. Выбор метрики на более высоком уровне воронки с большей базовой частотой повышает эффективность при том же количестве посетителей. Снижение дисперсии с помощью анализа с поправкой на ковариаты или ограничение теста более однородным сегментом аудитории может существенно сократить время выполнения. Тестирование более смелых изменений с большими ожидаемыми эффектами увеличивает величину эффекта, которую тест должен обнаружить, и, следовательно, снижает требования к выборке. Каждое из этих решений принимается до запуска, и каждое из них более продуктивно, чем продление уже неубедительного теста в надежде на изменение результатов.

Снижение дисперсии заслуживает большего внимания, чем обычно, поскольку оно повышает чувствительность без увеличения трафика. Наиболее устоявшаяся методика использует данные о каждом посетителе, полученные до начала эксперимента, например, их поведение за несколько недель до теста, в качестве ковариаты в анализе, исключая вариации, не имеющие отношения к воздействию. В случаях, когда значительная часть трафика приходится на повторных посетителей с историей посещений, это может существенно сократить необходимую выборку, что ускорит выполнение всей программы, а не улучшит результаты отдельного теста. Выбор менее вариативной метрики имеет аналогичный эффект: бинарная конверсия менее подвержена влиянию шума, чем доход на посетителя, который определяется небольшим количеством крупных заказов, поэтому тест, основанный на конверсии и учитывающий доход как вторичный показатель, часто приходит к выводу гораздо быстрее, чем тест, основанный непосредственно на доходе.

В консалтинговой практике анализ мощности — это процесс, в ходе которого план тестирования честно оценивает свои возможности. Прежде чем оптимизация коэффициента конверсии Программа запускается, рассчитывая достижимую мощность при текущем трафике, и сообщает клиенту, сколько экспериментов в квартал является реалистичным и для каких вопросов потребуется совершенно другой метод. Для сайтов, где расчеты не позволяют проводить непрерывный цикл экспериментов, более эффективным путем обычно является структурированное исследование и экспертная оценка, предоставляемые посредством UX-аудитПри этом эксперименты проводятся только в небольшом количестве высоконагруженных и ценных потоков, где показатели действительно работают.