Kvantitativ research er indsamling og statistisk analyse af numeriske data om brugeradfærd, der bruges til at måle omfanget, hyppigheden og signifikansen af mønstre på tværs af en stor population af brugere frem for at forklare individuelle motiver. I en UX- og konverteringsoptimeringskontekst omfatter almindelige kvantitative metoder rapportering fra webanalyse, tragtanalyse, A/B- og multivariate tests, klik- og scrollsporing aggregeret på tværs af mange sessioner samt strukturerede spørgeskemaer med lukkede spørgsmål, der giver data egnet til statistisk sammenligning, såsom Net Promoter Score eller System Usability Scale-vurderinger. Det karakteristiske ved kvantitativ research er, at dens konklusioner udtrykkes i målbare termer, såsom konverteringsrate, statistisk konfidensniveau eller effektstørrelse, som objektivt kan sammenlignes på tværs af perioder eller varianter.
Disciplinen er central for konverteringsoptimering, fordi den giver det bevis, der skal til for at validere, om en foreslået ændring faktisk forbedrer resultaterne, frem for blot at føles som en forbedring for det team, der foretager den. Uden kvantitativ validering hviler design- og marketingbeslutninger på meninger, intern politik eller subjektive præferencer, som forskning konsekvent viser korrelerer dårligt med den faktiske brugeradfærd. A/B-test, den mest almindelige kvantitative metode i CRO, kræver, at man når en forudberegnet stikprøvestørrelse og et statistisk konfidensniveau, typisk 95 procent, før et resultat anses for pålideligt, og tests køres generelt over mindst én til to hele forretningscyklusser, ofte to til fire uger, for at tage højde for variation i adfærd på ugedage og omkring lønudbetaling, som ellers ville forvride resultater fra korte testperioder.
Ud over kontrollerede eksperimenter omfatter kvantitativ research også observationel analyse af eksisterende adfærdsdata, såsom segmentering af konverteringsraten efter trafikkilde, enhedstype eller geografi for at identificere, hvor performance varierer markant, samt kohorteanalyse, der følger, hvordan en bestemt gruppe brugere, fx alle der tilmeldte sig i en given måned, opfører sig i de efterfølgende uger eller måneder, og som ofte bruges til at måle tendenser i fastholdelse og kundelivstidsværdi. Statistiske begreber, der er centrale for solid kvantitativ research, omfatter beregning af stikprøvestørrelse, som afgør, hvor mange observationer der skal til for at påvise en meningsfuld effekt ved et givent konfidensniveau, og undgåelse af problemet med multiple sammenligninger, hvor test af mange metrikker samtidigt øger sandsynligheden for at finde et falsk signifikant resultat udelukkende ved en tilfældighed.
En hyppig misforståelse er, at kvantitative data i sig selv er objektive og derfor ikke kræver omhyggelig fortolkning. I virkeligheden kan kvantitative resultater være vildledende, hvis den underliggende dataindsamling er mangelfuld, fx fordi bottrafik oppuster antallet af besøgende, sporingskode udløses forkert på bestemte enheder, eller en test forurenes af en urelateret marketingkampagne, der kører samtidigt. En anden almindelig faldgrube, i denne sammenhæng nogle gange kaldet base rate-fejlslutningen, er at fokusere på relative procentvise ændringer uden at tage hensyn til det absolutte antal konverteringer, da et rapporteret løft på 50 procent baseret på blot en håndfuld konverteringer i alt har langt mindre statistisk pålidelighed end et løft på 10 procent målt på tusindvis af konverteringer.
I CRO- og vækstrådgivning giver kvantitativ research både det diagnostiske udgangspunkt, hvor man identificerer, hvor i en tragt de største og mest statistisk pålidelige muligheder findes, og det afsluttende valideringslag, der bekræfter, om en hypotese genereret gennem kvalitativ research faktisk giver et målbart forretningsresultat, når den er implementeret. Modne rådgivningspraksisser fører typisk en måling af testhastighed og vinderrate på tværs af alle eksperimenter, der køres for en kunde, og bruger historiske kvantitative resultater til løbende at forfine, hvilke typer hypoteser der er værd at prioritere i de kommende optimeringsrunder.
Som en konkret illustration kan man forestille sig, at en betalingsside i øjeblikket konverterer med 3,2 procent, og at et team vil undersøge, om en redesignet formular forbedrer raten med relativt 15 procent, ned til cirka 3,7 procent. En standardberegning af stikprøvestørrelse ved 95 procents konfidens og 80 procents statistisk styrke kan vise, at hver variant har brug for titusindvis af besøgende, før testen pålideligt kan afsluttes. Hvis siden kun har et par tusind besøgende om ugen, kræver kvantitativ stringens, at teamet enten accepterer en testperiode på flere uger, sigter mod en større forventet effektstørrelse eller flytter testindsatsen til en side med mere trafik i tragten, hvor meningsfulde resultater kan nås hurtigere, frem for at afslutte en underdimensioneret test for tidligt og risikere en falsk konklusion.
