Тестирование на основе гипотез (hypothesis-driven testing) — это структурированный подход к экспериментам, при котором каждый тест начинается с явного, опровергаемого утверждения, предсказывающего, что конкретное изменение даст конкретный измеримый эффект на поведение пользователей; обычно оно формулируется по формату вроде: «поскольку мы наблюдали свидетельство X, мы считаем, что изменение Y приведёт к результату Z, измеряемому метрикой M в течение определённого периода». Это резко отличается от тестирования «на авось» (ad hoc), когда варианты пробуют, исходя из общей интуиции или заимствованной отраслевой лучшей практики, без чётко сформулированной причины, основанной на фактах, относящихся именно к тестируемому в данный момент сайту или продукту. Некоторые команды дополнительно требуют, чтобы каждая гипотеза называла конкретный сегмент пользователей, к которому она относится, поскольку изменение, которое помогает новым мобильным посетителям, может не оказывать эффекта или даже давать негативный эффект на вернувшихся десктопных клиентов, которые уже точно знают, зачем пришли.
Эта дисциплина важна, потому что она заставляет команду обосновывать предлагаемое изменение имеющимися доказательствами до того, как выделять ресурсы разработки и дизайна на создание и запуск теста, что со временем заметно повышает общую долю выигрышей программы экспериментов и делает логику как успехов, так и неудач пригодной для повторного использования в будущей работе в других частях продукта. Тест, который подтверждает или опровергает гипотезу, основанную на предыдущих данных, — например, на тепловой карте, показывающей, что пользователи вообще не замечают ключевой призыв к действию, — даёт вывод, который обобщается на другие страницы с похожими паттернами, тогда как тест, основанный лишь на ничем не подкреплённой креативной идее, даже если он случайно выигрывает, нередко даёт результат, который действительно трудно объяснить или применить где-либо ещё в продукте.
На практике программы тестирования на основе гипотез, как правило, ведут постоянно пополняемый бэклог гипотез, формируемый из нескольких источников одновременно: данных аналитики, тепловых карт и записей сессий, интервью с пользователями, тем из обращений в поддержку и конкурентного анализа схожих компаний той же категории. Этот бэклог приоритизируют по системе оценки, такой как ICE, которая оценивает каждую гипотезу по потенциальному влиянию, уверенности в лежащих в её основе доказательствах и простоте реализации. После приоритизации гипотезу превращают в A/B-тест с чётко определённой основной метрикой, минимально обнаруживаемым эффектом и необходимым размером выборки, рассчитанным заранее, а тест проводят до достижения статистической значимости — обычно на уровне доверия 95 процентов, — а не останавливают досрочно из-за привлекательного, но преждевременного промежуточного результата.
Распространённое заблуждение — считать гипотезой просто описание того, как будет выглядеть вариант, например «сделаем кнопку красной», а не обоснованное предсказание, связывающее имеющиеся доказательства с ожидаемым поведенческим результатом; правильно сформулированная гипотеза всегда указывает исходное убеждение о поведении пользователей, которое изменение дизайна призвано проверить и подтвердить. Другая серьёзная ловушка — считать проигравший тест провалом всего процесса, а не полноценным и по-настоящему ценным результатом обучения: гипотеза, опровергнутая данными реальных пользователей, всё равно устраняет неверное допущение и перенаправляет будущие усилия продуктивнее, чем если бы идею вообще не тестировали, — это важное культурное различие, которое опытные специалисты по CRO много работают над тем, чтобы со временем закрепить в организациях клиентов.
В консалтинговой практике CRO тестирование на основе гипотез — это операционная модель, вокруг которой структурировано почти любая клиентская программа экспериментов, поскольку она обеспечивает защищаемую, поддающуюся аудиту цепочку, связывающую наблюдаемую проблему с предложенным решением и измеренным результатом. Эта цепочка необходима как для обоснования постоянных инвестиций в непрерывную программу тестирования перед скептически настроенными заинтересованными сторонами, так и для построения институциональной базы знаний, ценность которой существенно растёт по мере того, как всё больше гипотез тестируется, уточняется и либо подтверждается, либо окончательно исключается в последовательных раундах тестирования по всему продукту. Со временем это накопленное собрание подтверждённых и опровергнутых гипотез становится одним из самых ценных активов консалтинговой компании, поскольку позволяет проектировать новые эксперименты с учётом всего уже усвоенного, а не каждый раз начинать с чистого листа.
