Мультивариантное тестирование (MVT) — это метод экспериментов, позволяющий определить, как взаимодействуют между собой несколько элементов страницы: на одной странице одновременно тестируются различные варианты двух или более компонентов, а совокупный эффект измеряется по целевой метрике, например по коэффициенту конверсии. Если стандартный A/B-тест сравнивает один полный вариант страницы с другим, то в мультивариантном тесте можно, например, изменить заголовок двумя способами и главное изображение тремя способами одновременно; получатся шесть различных комбинаций, которые показываются разным сегментам трафика. Результат не только указывает, какая комбинация в целом работает лучше всего, но и раскрывает вклад каждого отдельного элемента и наличие взаимодействия между элементами, то есть случаи, когда эффект одного компонента зависит от того, с какой версией другого компонента он сочетается.
Такой подход ценен, когда команде нужно понять, какие именно элементы страницы определяют результат, а не просто убедиться, что один целостный редизайн превосходит другой. Например, переработанная посадочная страница, протестированная как единый вариант A/B-теста, может победить, но без мультивариантного тестирования невозможно узнать, чем вызвано улучшение: новым заголовком, перемещённой формой или обновлёнными изображениями, а эта информация важна при применении выводов к другим страницам. Мультивариантное тестирование наиболее полезно для страниц с высоким трафиком, поскольку статистические требования к обнаружению значимых различий между многочисленными комбинациями, которые часто называют ячейками, существенно растут с каждой дополнительной переменной: полный факторный план с двумя переменными по три варианта в каждой требует девяти ячеек, и для каждой ячейки нужен достаточный размер выборки, как правило сотни или тысячи конверсий на ячейку, чтобы достичь надёжной статистической значимости.
Из-за этого требования к трафику MVT, как правило, применяют на страницах, которые уже получают значительный объём посетителей, например на главной странице интернет-магазина или на странице продукта с высоким намерением покупки. Для страниц с меньшим трафиком, таких как нишевая B2B-посадочная страница, он менее практичен: там последовательная серия простых A/B-тестов обычно быстрее приводит к применимым выводам. Платформы для тестирования, как правило, предлагают два статистических подхода к мультивариантному тестированию: полный факторный план, при котором проверяется каждая возможная комбинация ради максимальной информативности, и дробный факторный план или методы Тагути, при которых проверяется сокращённый набор комбинаций, что позволяет быстрее прийти к выводам ценой частичной потери данных о взаимодействиях.
Частое заблуждение — считать мультивариантное тестирование просто более быстрым способом провести сразу несколько A/B-тестов. На деле для достижения той же статистической достоверности, что и у одного A/B-теста, ему требуется заметно больше трафика и более длительное время проведения, поскольку трафик делится между гораздо большим числом вариантов. Проведение мультивариантного теста с недостаточной мощностью, когда необходимый размер выборки на ячейку не был достигнут до интерпретации результатов, — одна из самых частых причин ложных выводов в работе по оптимизации конверсии. К ним относится и преждевременная остановка теста на основании предварительных результатов первой недели вместо полной запланированной продолжительности, которую часто устанавливают в две-четыре недели, чтобы учесть недельную сезонность.
В практике консалтинга по CRO мультивариантное тестирование, как правило, рассматривается как продвинутый инструмент, применяемый после того, как более простые A/B-тесты уже подтвердили общее направление гипотезы. Его используют, когда у клиента достаточно трафика и нужно получить детальное понимание того, каким элементам страницы следует отдавать приоритет в дальнейшей работе над дизайном. Консультанты обычно дополняют результаты MVT качественными исследованиями, такими как тепловые карты или интервью с пользователями, чтобы объяснить не только какая комбинация победила в цифрах, но и почему пользователи так отреагировали, превращая единичный эксперимент в многократно применимый дизайн-принцип, который можно использовать и за пределами исходно протестированной страницы.
Рассмотрим конкретный пример: команда страницы продукта в интернет-магазине хочет одновременно протестировать два варианта заголовка и два стиля изображения продукта. Полный факторный мультивариантный тест даёт четыре комбинации, и если базовая конверсия страницы составляет 5 процентов, а команда хочет надёжно обнаружить относительное улучшение на 10 процентов в любой из ячеек, то необходимый размер выборки на ячейку может легко достичь нескольких тысяч посетителей, а значит, странице потребуются десятки тысяч посетителей в сумме, прежде чем тест завершится. Если же страница получает всего несколько тысяч посетителей в месяц, тому же тесту потребуются многие месяцы для достижения значимости, и тогда два последовательных A/B-теста, сначала отдельно по заголовку, затем по изображению, как правило, дадут уверенный и применимый ответ намного раньше.
Другие термины на букву M
Оценка размера рынка (Market Sizing)Маркетинговая автоматизация (Marketing Automation)Моделирование маркетингового микса (MMM)Маркетинг-квалифицированный лид (MQL)Модель зрелости (Maturity Model)Медиакит (Media Kit)Медиапланирование (Media Planning)Ментальная модель (Mental Model)Мерчандайзинг (Merchandising)МикроконверсииМикротекст (Microcopy)Минимально обнаружимый эффект (MDE)
