Кількісне дослідження

Кількісне дослідження – це збір та статистичний аналіз числових даних про поведінку користувачів, що використовуються для вимірювання масштабу, частоти та значущості закономірностей у великій популяції користувачів, а не для пояснення індивідуальних мотивацій. У контексті UX та оптимізації конверсій поширені кількісні методи включають звітність веб-аналітики, аналіз воронки продажів, A/B та багатовимірне тестування, відстеження кліків та прокручування, агреговане протягом багатьох сеансів, та структуровані опитування із закритими питаннями, які створюють дані, придатні для статистичного порівняння, такі як рейтинг Net Promoter Score або рейтинги System Usability Scale. Визначальною характеристикою кількісного дослідження є те, що його висновки виражаються у вимірних термінах, таких як коефіцієнт конверсії, рівень статистичної достовірності або розмір ефекту, які можна об'єктивно порівнювати протягом різних періодів часу або варіантів.

Ця дисципліна є центральною для оптимізації коефіцієнта конверсії, оскільки вона надає докази, необхідні для підтвердження того, чи запропонована зміна дійсно покращує результати, а не просто сприймається як покращення для команди, яка її впроваджує. Без кількісної перевірки рішення щодо дизайну та маркетингу залежать від думки, внутрішньої політики чи суб'єктивних уподобань, що, як постійно показують дослідження, погано корелює з фактичною поведінкою користувачів. A/B-тестування, найпоширеніший кількісний метод у CRO, вимагає досягнення попередньо розрахованого розміру вибірки та рівня статистичної достовірності, зазвичай 95 відсотків, перш ніж результат вважається надійним, і тести зазвичай проводяться протягом щонайменше одного-двох повних бізнес-циклів, часто від двох до чотирьох тижнів, щоб врахувати варіації поведінки, пов'язані з днями тижня та днем ​​виплати зарплати, які в іншому випадку спотворювали б короткострокові результати.

Окрім контрольованих експериментів, кількісні дослідження також включають спостережний аналіз існуючих поведінкових даних, такий як сегментація коефіцієнта конверсії за джерелом трафіку, типом пристрою або географічним розташуванням, щоб визначити, де продуктивність суттєво відрізняється, та когортний аналіз, який відстежує, як певна група користувачів, наприклад, усі, хто зареєструвався в певному місяці, поводиться протягом наступних тижнів або місяців, що зазвичай використовується для вимірювання тенденцій утримання та цінності життя. Статистичні концепції, що є центральними для обґрунтованих кількісних досліджень, включають розрахунок розміру вибірки, який визначає, скільки спостережень потрібно для виявлення значущого ефекту на заданому рівні достовірності, та уникнення проблеми множинних порівнянь, коли одночасне тестування багатьох показників збільшує ймовірність отримання хибно значущого результату чисто випадково.

Частою помилкою є те, що кількісні дані за своєю суттю об'єктивні та тому не потребують ретельної інтерпретації; насправді кількісні результати можуть бути оманливими, якщо базовий збір даних є недосконалим, наприклад, через те, що трафік ботів завищує кількість відвідувачів, код відстеження спрацьовує неправильно на певних пристроях або тест заражений непов'язаною маркетинговою кампанією, що працює одночасно. Ще одна поширена помилка, яку іноді називають помилкою базової ставки в цьому контексті, полягає в зосередженні на відносних відсоткових змінах без урахування абсолютної кількості конверсій, оскільки зареєстроване 50-відсоткове зростання, засноване лише на кількох загальних конверсіях, має набагато меншу статистичну надійність, ніж 10-відсоткове зростання, виміряне на тисячах конверсій.

У консалтинговій роботі з питань CRO та зростання кількісне дослідження забезпечує як діагностичну відправну точку, визначаючи, де у воронці продажів існують найбільші та статистично найнадійніші можливості, так і завершальний рівень валідації, який підтверджує, чи гіпотеза, сформована за допомогою якісного дослідження, дійсно дає вимірюваний бізнес-результат після впровадження. Зрілі консалтингові практики зазвичай підтримують показники швидкості тестування та коефіцієнта виграшів для всіх експериментів, що проводяться для клієнта, використовуючи історичні кількісні результати для постійного уточнення, яким типам гіпотез варто надати пріоритет у майбутніх раундах оптимізації.

Як конкретний приклад, припустимо, що сторінка оформлення замовлення наразі конверсійна на рівні 3.2 відсотка, і команда хоче визначити, чи покращить перероблена форма цей показник на відносні 15 відсотків, приблизно до 3.7 відсотка. Стандартний розрахунок розміру вибірки з 95-відсотковою достовірністю та 80-відсотковою статистичною потужністю може свідчити про те, що кожному варіанту потрібні десятки тисяч відвідувачів, перш ніж тест можна буде надійно завершити. Якщо сторінка щотижня отримує лише кілька тисяч відвідувачів, кількісна ретельність вимагає, щоб команда або погодилася на багатотижневу тривалість тестування, або орієнтувалася на більший очікуваний розмір ефекту, або перенаправила зусилля тестування на сторінку з вищим трафіком у воронці продажів, де можна швидше досягти значущих результатів, а не проводила тестування з недостатньою потужністю на ранній стадії та ризикувала отримати хибний висновок.