SwitasСвязаться с нами

Количественное исследование

Количественное исследование — это сбор и статистический анализ числовых данных о поведении пользователей, применяемый для измерения масштаба, частоты и значимости закономерностей среди большой совокупности пользователей, а не для объяснения индивидуальных мотивов. В контексте UX и оптимизации конверсии к распространённым количественным методам относятся отчётность по веб-аналитике, анализ воронки, A/B- и мультивариантное тестирование, отслеживание кликов и прокрутки, агрегированное по множеству сессий, и структурированные опросы с закрытыми вопросами, которые дают данные, пригодные для статистического сравнения, например оценки Net Promoter Score или System Usability Scale. Определяющая особенность количественного исследования в том, что его выводы выражаются в измеримых терминах, таких как коэффициент конверсии, уровень статистической достоверности или величина эффекта, и их можно объективно сравнивать между периодами или вариантами. Эта дисциплина занимает центральное место в оптимизации коэффициента конверсии, потому что даёт доказательства, необходимые для проверки того, действительно ли предлагаемое изменение улучшает результаты, а не просто кажется улучшением команде, которая его внесла. Без количественной проверки дизайнерские и маркетинговые решения опираются на мнения, внутреннюю политику или субъективные предпочтения, которые, как неизменно показывают исследования, слабо коррелируют с реальным поведением пользователей. A/B-тестирование, самый распространённый количественный метод в CRO, требует достижения заранее рассчитанного размера выборки и уровня статистической достоверности, как правило 95 процентов, прежде чем результат будет считаться надёжным, а тесты обычно проводятся не менее одного-двух полных бизнес-циклов, часто от двух до четырёх недель, чтобы учесть различия в поведении по дням недели и в дни выплат, которые иначе исказили бы результаты коротких тестов. Помимо контролируемых экспериментов количественное исследование включает также наблюдательный анализ имеющихся поведенческих данных, например сегментацию коэффициента конверсии по источнику трафика, типу устройства или географии, чтобы выявить, где показатели заметно различаются, и когортный анализ, который отслеживает, как ведёт себя в последующие недели или месяцы определённая группа пользователей, например все зарегистрировавшиеся в конкретном месяце; он часто применяется для измерения трендов удержания и пожизненной ценности клиента. К статистическим понятиям, важным для добросовестного количественного исследования, относятся расчёт размера выборки, который определяет, сколько наблюдений необходимо, чтобы обнаружить значимый эффект при заданном уровне достоверности, и недопущение проблемы множественных сравнений, когда одновременная проверка множества метрик повышает вероятность случайно получить ложно значимый результат. Частое заблуждение — считать количественные данные объективными по своей природе и потому не требующими внимательной интерпретации. На самом деле количественные результаты могут вводить в заблуждение, если сбор данных организован с ошибками, например из-за бот-трафика, завышающего число посетителей, некорректного срабатывания кода отслеживания на отдельных устройствах или загрязнения теста несвязанной маркетинговой кампанией, идущей одновременно. Ещё одна типичная ошибка, которую в этом контексте иногда называют ошибкой базовой частоты, — акцент на относительных процентных изменениях без учёта абсолютного числа конверсий: заявленный прирост в 50 процентов, основанный лишь на горстке конверсий, имеет гораздо меньшую статистическую надёжность, чем прирост в 10 процентов, измеренный на тысячах конверсий. В работе по CRO и консалтингу по росту количественное исследование даёт и диагностическую отправную точку, определяя, на каком этапе воронки находятся самые крупные и статистически надёжные возможности, и завершающий уровень проверки, подтверждающий, даёт ли гипотеза, сформулированная по итогам качественного исследования, измеримый бизнес-результат после внедрения. Зрелые консалтинговые практики, как правило, ведут метрики скорости тестирования (testing velocity) и доли выигрышных тестов (win rate) по всем экспериментам, проведённым для клиента, и используют исторические количественные результаты, чтобы постоянно уточнять, какие типы гипотез стоит приоритизировать в будущих раундах оптимизации. В качестве конкретной иллюстрации предположим, что страница оформления заказа сейчас конвертирует на уровне 3,2 процента, а команда хочет выяснить, улучшит ли переработанная форма этот показатель на 15 процентов в относительном выражении, то есть примерно до 3,7 процента. Стандартный расчёт размера выборки при 95-процентной достоверности и 80-процентной статистической мощности может показать, что каждому варианту нужны десятки тысяч посетителей, прежде чем тест можно будет надёжно завершить. Если страница получает лишь несколько тысяч посетителей в неделю, количественная строгость требует, чтобы команда либо согласилась на многонедельную продолжительность теста, либо ориентировалась на больший ожидаемый размер эффекта, либо перенаправила усилия по тестированию на страницу воронки с более высоким трафиком, где значимые результаты достигаются быстрее, вместо того чтобы досрочно завершать тест с недостаточной мощностью и рисковать ложным выводом.

Другие термины на букву Q

Давайте создадим следующий проект.

Связаться с нами