P-значение

Значение p — это вероятность наблюдения результата, по меньшей мере столь же экстремального, как и измеренный, при условии, что тестируемое изменение не оказало реального эффекта. Это число лежит в основе большинства оценок значимости в экспериментах по конверсии: значение p ниже 0.05 обычно рассматривается как доказательство против предположения об отсутствии эффекта, и результат считается значимым на уровне 95 процентов.

Определение содержит условное утверждение, которое на практике обычно опускается, и именно его опускание вызывает большую часть путаницы вокруг этого понятия. Значение p, равное 0.03, не означает, что существует 3-процентная вероятность того, что изменение не оказало никакого эффекта, и не означает, что существует 97-процентная вероятность того, что вариант лучше. Оно описывает, насколько неожиданными были бы данные в мире, где изменение ничего не изменило. Для преобразования этого в вероятность относительно самой гипотезы требуется дополнительная информация, а именно, насколько правдоподобной была гипотеза до проверки, что как раз и исключается из явных значений p, используемых в байесовских методах и частотных методах.

Это имеет коммерческое значение, поскольку меняет подход к взвешиванию результатов. Значение p, равное 0.04, для обоснованной гипотезы, основанной на наблюдаемом поведении пользователей, является гораздо более убедительным доказательством, чем то же значение p для произвольного изменения, проверенного наобум, даже несмотря на то, что оба числа идентичны. Программы, тестирующие большое количество низкокачественных идей, будут накапливать значимые результаты примерно с той скоростью, которую предполагает пороговое значение, — один случай из двадцати, — и затем будут испытывать трудности с пониманием того, почему их совокупное влияние на бизнес не соответствует сумме заявленных успехов.

Сам по себе порог в 0.05 не имеет научного обоснования; это условность, унаследованная от статистической практики начала XX века и повсеместно принятая индустрией оптимизации. Восприятие его как четкой границы поощряет определенный тип ошибочных рассуждений, где p-значение 0.049 считается успехом, а 0.051 — неудачей, хотя оба результата практически идентичны. Более правильной практикой является указание p-значения вместе с размером эффекта и доверительным интервалом, и принятие решения должно отражать полную картину, включая стоимость изменений и последствия ошибки.

Ряд распространенных практик завышает значения p-значений таким образом, что это незаметно в итоговом отчете. Многократная проверка результатов и остановка при превышении порогового значения значительно увеличивает реальную частоту ложноположительных результатов. Тестирование множества показателей и сообщение только о том, который достиг статистической значимости, приводит к тому же результату. Разделение на сегменты после просмотра итоговых данных — это та же ошибка, но в большем масштабе. Существуют методы коррекции для множественных сравнений, а также последовательные схемы тестирования для непрерывного мониторинга, но наиболее надежной защитой является предварительно зарегистрированный план анализа, который корректирует основной показатель, сегменты и правило остановки до поступления каких-либо данных.

Анализ распределения p-значений на протяжении всей истории программы — это показательная диагностика, которую проводят лишь немногие команды. Если бы эксперименты проводились и анализировались правильно, и если бы большинство протестированных идей не оказывали реального эффекта, p-значения по всему портфелю были бы распределены примерно равномерно, причем примерно одно из двадцати попадало бы ниже общепринятого порогового значения. Распределение, сильно сконцентрированное чуть ниже порога, является сильным индикатором того, что правила остановки определяются цифрами, а не планом, поскольку тесты, остановленные в момент пересечения линии, накапливаются точно на этой линии. Такой анализ результатов экспериментов за прошлый год занимает несколько часов и часто объясняет несоответствие, которое долгое время ставило в тупик компанию, а именно, почему портфель заявленных успехов не повлиял на показатели, за которыми на самом деле следит руководство.

Для консалтинговой компании полезный вклад обычно заключается не столько в правильном вычислении p-значений, что каждая платформа для тестирования делает автоматически, сколько в управлении тем, как они используются. Услуги CRO Как правило, в рамках проекта разрабатывается письменный протокол анализа, определяются основные и второстепенные показатели для каждого эксперимента, а результаты представляются в согласованном формате, включающем величину эффекта и интервал, а не только один вердикт. В крупных организациях этот протокол становится частью процесса. аналитика данных Эта функция подтверждает результаты до того, как они будут представлены в отчетах для совета директоров, что предотвращает представление портфеля статистически ненадежных достижений в качестве надежного прогноза выручки.