Тестування на основі гіпотез (hypothesis-driven testing) — це структурований підхід до експериментування, у якому кожен тест починається з явного, спростовуваного твердження, що передбачає, що конкретна зміна дасть конкретний вимірюваний вплив на поведінку користувачів; його зазвичай формулюють у форматі на кшталт: оскільки ми помітили доказ X, ми вважаємо, що зміна Y призведе до результату Z, виміряного метрикою M протягом визначеного періоду. Це різко відрізняється від ситуативного тестування, де варіації пробують на основі загальної інтуїції чи запозиченої галузевої найкращої практики без чітко сформульованої причини, що ґрунтується на доказах, специфічних для конкретного сайту чи продукту, який тестують у цей момент. Деякі команди додатково вимагають, щоб кожна гіпотеза називала конкретний сегмент користувачів, до якого вона застосовується, адже зміна, що допомагає новим мобільним відвідувачам, може не мати жодного впливу чи навіть мати негативний вплив на постійних десктопних клієнтів, які вже точно знають, що вони прийшли зробити.
Ця дисципліна важлива, бо змушує команду обґрунтувати запропоновану зміну наявними доказами, перш ніж виділяти інженерні та дизайнерські ресурси на створення й запуск тесту, що суттєво підвищує загальну частку виграшних тестів програми експериментування з часом і робить логіку як успіхів, так і невдач придатною для повторного використання в майбутній роботі в інших частинах продукту. Тест, що підтверджує чи спростовує гіпотезу, ґрунтовану на попередніх даних, як-от теплова карта, що показує, що користувачі повністю не помічають ключовий заклик до дії, дає висновок, який узагальнюється на інші сторінки з подібними закономірностями, тоді як тест, що ґрунтується суто на безпідставній креативній ідеї, навіть якщо випадково виграє, часто дає результат, який справді важко пояснити чи застосувати деінде в продукті.
На практиці програми тестування на основі гіпотез зазвичай ведуть поточний беклог гіпотез, згенерованих одночасно з кількох джерел, зокрема аналітичних даних, теплових карт і записів сесій, інтерв'ю з користувачами, тем звернень до підтримки та конкурентного аналізу подібних бізнесів у тій самій категорії. Цей беклог пріоритизують за допомогою системи оцінювання, наприклад ICE, що оцінює кожну гіпотезу за потенційним впливом, впевненістю в підґрунтових доказах і простотою впровадження. Після пріоритизації гіпотезу операціоналізують в A/B-тест із чітко визначеною основною метрикою, мінімальним виявлюваним ефектом і необхідним розміром вибірки, розрахованими заздалегідь, і тест потім виконують до досягнення статистичної значущості, зазвичай 95-відсоткового рівня довіри, а не зупиняють передчасно на привабливому, але завчасному проміжному результаті.
Поширене хибне уявлення полягає в тому, що гіпотеза — це просто опис того, як виглядатиме варіант, наприклад «ми зробимо кнопку червоною», а не обґрунтоване передбачення, що пов'язує наявні докази з очікуваним поведінковим результатом; належно сформульована гіпотеза завжди вказує на базове припущення про поведінку користувачів, яке зміна дизайну спеціально має перевірити й підтвердити. Ще одна суттєва пастка — сприймати програшний тест як провал усього процесу, а не як повноцінний і справді цінний результат навчання сам по собі, адже гіпотеза, спростована реальними даними користувачів, усе одно усуває хибне припущення й спрямовує майбутні зусилля продуктивніше, ніж якби ідею взагалі не тестували, — це важлива культурна відмінність, яку досвідчені фахівці з CRO наполегливо вкорінюють в організаціях клієнтів.
У межах консалтингу з CRO тестування на основі гіпотез є операційною моделлю, навколо якої структуровано майже всі клієнтські програми експериментування, адже воно забезпечує обґрунтований, придатний до аудиту ланцюжок, що пов'язує спостережену проблему із запропонованим рішенням і виміряним результатом. Цей ланцюжок необхідний як для обґрунтування постійних інвестицій у безперервну програму тестування перед скептично налаштованими стейкхолдерами, так і для побудови інституційної бази знань, цінність якої суттєво зростає, коли більше гіпотез перевіряють, уточнюють і або підтверджують, або остаточно відхиляють упродовж послідовних раундів тестування в продукті. З часом цей накопичений реєстр підтверджених і спростованих гіпотез стає одним із найцінніших активів консалтингової компанії, оскільки дає змогу проєктувати нові експерименти з урахуванням усього вже вивченого, а не щоразу починати з чистого аркуша.
