Kvantitativ research är insamling och statistisk analys av numeriska data om användarbeteende, som används för att mäta omfattning, frekvens och signifikans hos mönster i en stor population av användare snarare än för att förklara enskilda motivationer. I ett UX- och konverteringsoptimeringssammanhang inkluderar vanliga kvantitativa metoder webbanalysrapportering, tratt-analys, A/B- och multivariat testning, klick- och scrollspårning aggregerad över många sessioner samt strukturerade enkäter med slutna frågor som ger data lämpliga för statistisk jämförelse, till exempel Net Promoter Score eller betyg enligt System Usability Scale. Det utmärkande för kvantitativ research är att slutsatserna uttrycks i mätbara termer, som konverteringsgrad, statistisk konfidensnivå eller effektstorlek, som objektivt kan jämföras över tidsperioder eller varianter.
Disciplinen är central för konverteringsoptimering eftersom den ger det underlag som behövs för att validera om en föreslagen förändring faktiskt förbättrar resultaten och inte bara känns som en förbättring för teamet som gör den. Utan kvantitativ validering vilar design- och marknadsföringsbeslut på åsikter, internpolitik eller subjektiva preferenser, vilka enligt forskning genomgående korrelerar dåligt med faktiskt användarbeteende. A/B-testning, den vanligaste kvantitativa metoden inom CRO, kräver att ett förberäknat urval och en statistisk konfidensnivå, vanligtvis 95 procent, uppnås innan ett resultat anses tillförlitligt, och tester körs i allmänhet under minst en till två hela affärscykler, ofta två till fyra veckor, för att ta hänsyn till variationer i beteende mellan veckodagar och kring löningsdagar som annars skulle förvränga resultat från korta perioder.
Utöver kontrollerade experiment omfattar kvantitativ research även observationsanalys av befintliga beteendedata, till exempel att segmentera konverteringsgraden efter trafikkälla, enhetstyp eller geografi för att identifiera var prestandan varierar markant, samt kohortanalys, som följer hur en specifik grupp användare, till exempel alla som registrerade sig en viss månad, beter sig under efterföljande veckor eller månader, och som ofta används för att mäta trender i retention och kundlivstidsvärde. Statistiska begrepp som är centrala för sund kvantitativ research inkluderar beräkning av urvalsstorlek, som avgör hur många observationer som behövs för att upptäcka en meningsfull effekt vid en given konfidensnivå, samt att undvika problemet med multipla jämförelser, där testning av många mått samtidigt ökar sannolikheten att hitta ett falskt signifikant resultat enbart av en slump.
Ett vanligt missförstånd är att kvantitativa data till sin natur är objektiva och därför inte kräver noggrann tolkning. I verkligheten kan kvantitativa resultat vara missvisande om den underliggande datainsamlingen är bristfällig, till exempel när bottrafik blåser upp antalet besökare, spårningskod utlöses felaktigt på vissa enheter eller ett test förorenas av en orelaterad marknadsföringskampanj som pågår samtidigt. En annan vanlig fallgrop, i detta sammanhang ibland kallad basfrekvensfelslutet, är att fokusera på relativa procentuella förändringar utan att beakta det absoluta antalet konverteringar, eftersom en rapporterad uppgång på 50 procent baserad på bara en handfull konverteringar totalt har betydligt lägre statistisk tillförlitlighet än en uppgång på 10 procent uppmätt över tusentals konverteringar.
I CRO- och tillväxtkonsultarbete utgör kvantitativ research både den diagnostiska utgångspunkten, som identifierar var i en tratt de största och statistiskt mest tillförlitliga möjligheterna finns, och det slutliga valideringslagret, som bekräftar om en hypotes som tagits fram genom kvalitativ research faktiskt ger ett mätbart affärsresultat när den implementerats. Mogna konsultverksamheter för vanligtvis statistik över testtakt och vinstfrekvens för alla experiment som körts för en kund, och använder historiska kvantitativa resultat för att kontinuerligt förfina vilka typer av hypoteser som är värda att prioritera i kommande optimeringsomgångar.
Som en konkret illustration kan vi anta att en kassasida för närvarande konverterar med 3,2 procent och att ett team vill avgöra om ett omdesignat formulär förbättrar den siffran med relativt 15 procent, ned till ungefär 3,7 procent. En standardberäkning av urvalsstorlek vid 95 procents konfidens och 80 procents statistisk styrka kan visa att varje variant behöver tiotusentals besökare innan testet kan avslutas på ett tillförlitligt sätt. Om sidan bara får några tusen besökare i veckan kräver kvantitativ stringens att teamet antingen accepterar en testperiod på flera veckor, siktar på en större förväntad effektstorlek eller flyttar testinsatserna till en sida med mer trafik i tratten där meningsfulla resultat kan nås snabbare, i stället för att avsluta ett underdimensionerat test i förtid och riskera en felaktig slutsats.
