Багатовимірне тестування

Багатовимірне тестування (MVT) – це метод експериментування, який використовується для визначення взаємодії кількох елементів сторінки один з одним шляхом одночасного тестування кількох варіантів двох або більше компонентів на одній сторінці та вимірювання сумарного впливу на цільовий показник, такий як коефіцієнт конверсії. У той час як стандартний A/B-тест порівнює один варіант на всю сторінку з іншим, багатовимірний тест може змінювати заголовок двома способами, а головне зображення трьома способами одночасно, створюючи шість різних комбінацій, які відображаються різним сегментам трафіку. Результат не лише визначає, яка комбінація працює найкраще загалом, але й показує індивідуальний внесок кожного елемента та чи взаємодіють елементи, тобто вплив одного компонента залежить від того, з якою версією іншого компонента він поєднаний.

Такий підхід цінний, коли команді потрібно зрозуміти, які конкретні елементи сторінки впливають на продуктивність, а не просто підтвердити, що один цілісний редизайн перевершує інший. Наприклад, оновлена ​​цільова сторінка, протестована як окремий A/B-варіант, може перемогти, але без багатовимірного тестування немає способу дізнатися, чи покращення відбулося завдяки новому заголовку, переміщеній формі чи оновленим зображенням – інформації, яка має значення під час застосування отриманих знань до інших сторінок. Багатовимірне тестування найбільш корисне для сторінок з високим трафіком, оскільки статистична потреба у виявленні значущих відмінностей між багатьма комбінаціями, які часто називають клітинками, суттєво зростає з кожною додатковою змінною; повний факторний дизайн з двома змінними з трьома варіаціями кожна вимагає дев'яти клітинок, і кожна клітинка потребує достатнього розміру вибірки, зазвичай сотні або тисячі конверсій на клітинку, для досягнення надійної статистичної значущості.

Через цю вимогу до трафіку, MVT зазвичай резервується для сторінок, які вже отримують значний обсяг відвідувань, таких як головна сторінка електронної комерції або сторінка продукту з високим рівнем наміру, і менш практичний для сторінок з низьким трафіком, таких як нішева цільова сторінка B2B, де послідовна серія простих A/B-тестів зазвичай швидше призводить до дієвих висновків. Тестові платформи зазвичай пропонують два статистичні підходи до багатовимірного тестування: повний факторіальний, який тестує кожну можливу комбінацію для максимального розуміння, та дробовий факторіальний або метод Тагучі, які тестують зменшену підмножину комбінацій, щоб швидше дійти висновків за рахунок деяких даних про взаємодію.

Частим непорозумінням є трактування багатовимірного тестування як просто швидшого способу проведення кількох A/B-тестів одночасно; насправді для досягнення такої ж статистичної достовірності, як і для одного A/B-тесту, потрібен значно більший трафік і довша тривалість тестування, оскільки трафік розподіляється між набагато більшою кількістю варіантів. Проведення малопотужного багатовимірного тестування, коли необхідний розмір вибірки на комірку не був досягнутий до інтерпретації результатів, є однією з найпоширеніших причин помилкових висновків в оптимізації конверсій, поряд із передчасним зупиненням тестування на основі випереджаючих результатів першого тижня, а не повної запланованої тривалості тестування, яка часто встановлюється на два-чотири тижні, щоб врахувати тижневу сезонність.

Within a CRO У консалтинговій практиці багатовимірне тестування зазвичай позиціонується як просунутий інструмент, який використовується після того, як прості A/B-тести вже підтвердили загальний напрямок гіпотези, призначений для ситуацій, коли клієнт має достатній трафік і хоче детально зрозуміти, яким конкретним елементам сторінки слід надати пріоритет у майбутній дизайнерській роботі. Консультанти зазвичай поєднують результати MVT з якісними дослідженнями, такими як теплові карти або інтерв'ю з користувачами, щоб пояснити не лише яка комбінація перемогла чисельно, але й чому користувачі відреагували на неї, перетворюючи один експеримент на принцип дизайну, який можна використовувати повторно, і який може впливати на сторінки, що виходять за рамки тієї, що була спочатку протестована.

Розглянемо конкретний приклад: команда, що займається розробкою сторінки товару електронної комерції, хоче протестувати два варіанти заголовка та два стилі зображення товару одночасно. Повний факторний багатовимірний тест видає чотири комбінації, і якщо сторінка конвертується на базовому рівні 5 відсотків, а команда хоче надійно виявити відносне покращення на 10 відсотків у будь-якій заданій клітинці, необхідний розмір вибірки на клітинку може легко досягти кількох тисяч відвідувачів, а це означає, що сторінці знадобляться десятки тисяч відвідувачів загалом, перш ніж тест завершиться. Якби ж сторінка отримувала лише кілька тисяч відвідувачів на місяць, той самий тест зайняв би багато місяців, щоб досягти значущості, і в цей момент проведення двох послідовних A/B-тестів, спочатку ізолюючи заголовок, а потім зображення, зазвичай дає впевнену та дієву відповідь набагато швидше.