Байесовское A/B-тестирование

Байесовское A/B-тестирование — это подход к анализу экспериментов, который показывает вероятность того, что один вариант лучше другого, с учетом наблюдаемых данных и любой предоставленной предварительной информации. Он отличается от частотного подхода, который показывает, насколько неожиданными были бы данные, если бы вариант не оказал никакого эффекта. Практическое различие заключается в результатах: байесовские методы выдают утверждения типа «с вероятностью 93 процента вариант B превосходит контрольный вариант, при этом ожидаемая потеря составляет 0.2 процента в случае неправильного выбора», которые напрямую соотносятся с бизнес-решениями.

Метод работает путем объединения априорного распределения, представляющего собой представления о вероятном эффекте до начала теста, с наблюдаемыми данными для получения апостериорного распределения правдоподобных эффектов. Затем это апостериорное распределение может быть использовано для получения любых необходимых для принятия решения данных: вероятности вообще какого-либо улучшения, вероятности улучшения выше коммерчески значимого порога или ожидаемой стоимости принятия неверного решения. Несколько широко используемых платформ тестирования приняли байесовскую отчетность в качестве стандартной именно по этой причине, поскольку результаты требуют меньшего объема интерпретации, прежде чем заинтересованная сторона сможет принять на них меры.

Наиболее часто упоминаемое преимущество заключается в том, что байесовские результаты более устойчивы к непрерывному мониторингу. Поскольку апостериорное распределение обновляется по мере поступления данных и не основано на предположении о фиксированной выборке, многократный просмотр результатов не приводит к завышению частоты ошибок, как это происходит с наивными частотными p-значениями. Это действительно полезно в коммерческих условиях, где заинтересованные стороны будут проверять панели мониторинга независимо от того, что говорит протокол анализа. Однако это не дает права останавливать тест в тот момент, когда число выглядит хорошо: остановка на основе отслеживаемого показателя все равно завышает оценку величины эффекта, а короткие тесты все равно пропускают еженедельные циклы и эффекты новизны независимо от используемой статистической модели.

Априорное распределение является одновременно и сильной стороной метода, и наиболее распространенным источником споров. Слабо информативное априорное распределение, которое большинство платформ используют по умолчанию, мало влияет на результат после накопления достаточного объема данных. Сильное априорное распределение, полученное на основе собственной истории прошлых экспериментов организации, может существенно улучшить оценки, особенно для тестов с низкой интенсивностью, смещая неправдоподобно большие наблюдаемые эффекты в сторону диапазона, который, по мнению опыта, является реалистичным. Но априорное распределение, выбранное для обоснования желаемого вывода, необоснованно, поэтому априорные распределения следует документировать и согласовывать до запуска теста, а не выбирать во время анализа.

Ни одна из этих методик не спасет плохо спланированный эксперимент. Байесовский анализ теста с нарушенной рандомизацией, ошибкой отслеживания, несоответствием соотношения выборок или показателем, не отражающим коммерческую ценность, даст уверенный и точный ответ на неправильный вопрос. Выбор между методиками — это выбор, основанный на теории отчетности и принятия решений; качество разработанного эксперимента определяет, стоит ли полученный ответ чего-либо.

Результатом, делающим эту структуру действительно полезной в коммерческих условиях, является ожидаемый ущерб, иногда называемый риском. Вместо вопроса о том, лучше ли тот или иной вариант, система спрашивает, сколько в среднем придется потерять, выбрав этот вариант, если он окажется хуже. Правило принятия решения, выраженное как «отправка продукта, когда ожидаемый ущерб падает ниже порога, который бизнес считает незначительным», напрямую соответствует тому, как на самом деле принимаются коммерческие решения, поскольку никому не нужна уверенность в изменении, негативные последствия которого незначительны. Оно также обрабатывает распространенную ситуацию, когда два варианта показывают почти одинаковые результаты: вероятность того, что один из них будет лучше, может бесконечно колебаться около пятидесяти процентов, в то время как ожидаемый ущерб минимален в любом направлении, что правильно указывает на то, что выбор не имеет значения, и команде следует прекратить тратить на него ресурсы.

В рамках проекта выбор методологии обычно определяется на раннем этапе и затем не меняется, поскольку изменение в середине проекта делает исторические результаты несопоставимыми. Услуги CRO Команда, как правило, стандартизирует подход в зависимости от существующей платформы клиента и культуры аналитики, заранее определяет пороговые значения для принятия решений и сосредотачивает усилия на разработке и приоритизации экспериментов, а не на статистической философии. Если организация создает собственную систему измерений, выбор обычно делается параллельно с более широкой архитектурой отчетности, обрабатываемой компанией. аналитика данных функция, чтобы результаты экспериментов и бизнес-аналитика использовали единый язык для описания неопределенности.