Количественото проучване е събирането и статистическият анализ на числови данни за поведението на потребителите, използвани за измерване на мащаба, честотата и значимостта на модели сред голяма съвкупност от потребители, а не за обяснение на индивидуални мотивации. В контекста на UX и оптимизацията на конверсиите често използвани количествени методи са отчетите на уеб анализа, анализът на фунии, A/B и мултивариантното тестване, проследяването на кликове и превъртане, агрегирано през много сесии, и структурирани анкети със затворени въпроси, които дават данни, подходящи за статистическо сравнение, като Net Promoter Score или оценки по System Usability Scale. Определящата характеристика на количественото проучване е, че изводите му се изразяват в измерими термини, като коефициент на конверсия, ниво на статистическа увереност или размер на ефекта, които могат да се сравняват обективно между периоди от време или варианти.
Дисциплината е ключова за оптимизацията на коефициента на конверсия, защото предоставя доказателствата, необходими, за да се провери дали предложената промяна действително подобрява резултатите, а не просто изглежда като подобрение за екипа, който я прави. Без количествена валидация решенията в дизайна и маркетинга се основават на мнение, вътрешна политика или субективно предпочитание, които според проучванията корелират слабо с реалното поведение на потребителите. A/B тестването, най-разпространеният количествен метод в CRO, изисква достигане на предварително изчислен размер на извадката и ниво на статистическа увереност, обикновено 95 процента, преди резултатът да се счита за надежден, а тестовете обикновено се провеждат поне един до два пълни бизнес цикъла, често две до четири седмици, за да се отчетат вариациите в поведението според деня от седмицата и заплатите, които иначе биха изкривили резултатите от краткотрайни тестове.
Освен контролираните експерименти, количественото проучване включва и наблюдателен анализ на съществуващи поведенчески данни, като сегментиране на коефициента на конверсия по източник на трафик, тип устройство или география, за да се установи къде резултатите се различават значително, и кохортен анализ, който проследява как специфична група потребители, например всички регистрирали се през даден месец, се държи през следващите седмици или месеци, често използван за измерване на тенденциите в задържането и жизнената стойност на клиента. Статистическите концепции, централни за стабилното количествено проучване, включват изчисляването на размера на извадката, което определя колко наблюдения са необходими за откриване на значим ефект при дадено ниво на увереност, и избягването на проблема с множественото сравнение, при който едновременното тестване на много показатели повишава вероятността от откриване на фалшиво значим резултат единствено по случайност.
Често срещано заблуждение е, че количествените данни са по същество обективни и затова не изискват внимателна интерпретация; в действителност количествените резултати могат да подвеждат, ако събирането на основните данни е погрешно, например заради бот трафик, който надува броя на посетителите, тракинг код, който се задейства неправилно на определени устройства, или тест, замърсен от несвързана маркетингова кампания, провеждана едновременно. Друг често срещан капан, понякога наричан в този контекст заблуда на базовата честота (base rate fallacy), е фокусирането върху относителните процентни промени, без да се отчита абсолютният брой конверсии, тъй като отчетено подобрение от 50 процента, основано само на шепа общи конверсии, има далеч по-ниска статистическа надеждност от подобрение от 10 процента, измерено върху хиляди конверсии.
В консултантската работа по CRO и растеж количественото проучване осигурява както диагностичната отправна точка, като идентифицира къде във фунията съществуват най-големите и статистически най-надеждни възможности, така и финалния слой на валидация, потвърждавайки дали хипотеза, генерирана чрез качествено проучване, действително дава измерим бизнес резултат след внедряването ѝ. Зрелите консултантски практики обикновено поддържат показател за скорост на тестване и процент на успешни експерименти за всички експерименти, проведени за даден клиент, като използват историческите количествени резултати, за да усъвършенстват непрекъснато кои типове хипотези си заслужава да бъдат приоритизирани в бъдещи цикли на оптимизация.
Като конкретна илюстрация, да предположим, че страница за плащане в момента конвертира при 3,2 процента, а екипът иска да установи дали редизайнирана форма подобрява този коефициент с относителни 15 процента, до приблизително 3,7 процента. Стандартно изчисление на размера на извадката при 95 процента увереност и 80 процента статистическа мощност може да покаже, че на всеки вариант са нужни десетки хиляди посетители, преди тестът да може да бъде надеждно приключен. Ако страницата получава само няколко хиляди посетители седмично, количествената строгост изисква екипът или да приеме многоседмична продължителност на теста, или да насочи вниманието към по-голям очакван размер на ефекта, или да пренасочи усилията за тестване към страница с по-висок трафик във фунията, където смислени резултати могат да се достигнат по-бързо, вместо да прекратява тест с недостатъчна мощност рано и да рискува грешен извод.
