Kvantitativ forskning

Kvantitativ forskning er indsamling og statistisk analyse af numeriske data om brugeradfærd, der bruges til at måle omfanget, hyppigheden og betydningen af ​​mønstre på tværs af en stor brugerpopulation snarere end at forklare individuelle motivationer. I en UX- og konverteringsoptimeringskontekst omfatter almindelige kvantitative metoder webanalyserapportering, tragtanalyse, A/B- og multivariat testning, klik- og scroll-sporing aggregeret på tværs af mange sessioner og strukturerede undersøgelser med lukkede spørgsmål, der producerer data, der er egnede til statistisk sammenligning, såsom Net Promoter Score eller System Usability Scale-vurderinger. Det definerende kendetegn ved kvantitativ forskning er, at dens konklusioner udtrykkes i målbare termer, såsom konverteringsrate, statistisk konfidensniveau eller effektstørrelse, der kan sammenlignes objektivt på tværs af tidsperioder eller varianter.

Disciplinen er central for konverteringsrateoptimering, fordi den leverer den nødvendige dokumentation til at validere, om en foreslået ændring rent faktisk forbedrer resultaterne i stedet for blot at føles som en forbedring for det team, der foretager den. Uden kvantitativ validering afhænger design- og marketingbeslutninger af meninger, intern politik eller subjektive præferencer, hvilket forskning konsekvent viser, korrelerer dårligt med den faktiske brugeradfærd. A/B-testning, den mest almindelige kvantitative metode inden for CRO, kræver, at man når en forudberegnet stikprøvestørrelse og et statistisk konfidensniveau, typisk 95 procent, før et resultat betragtes som pålideligt, og tests køres generelt i mindst en til to fulde konjunkturcyklusser, ofte to til fire uger, for at tage højde for variationer i adfærd relateret til ugedage og lønningsdage, der ellers ville forvrænge resultater af kort varighed.

Ud over kontrollerede eksperimenter omfatter kvantitativ forskning også observationsanalyse af eksisterende adfærdsdata, såsom segmentering af konverteringsrate efter trafikkilde, enhedstype eller geografi for at identificere, hvor præstationen varierer markant, og kohorteanalyse, som sporer, hvordan en specifik gruppe af brugere, såsom alle, der tilmeldte sig i en given måned, opfører sig i de efterfølgende uger eller måneder, hvilket almindeligvis bruges til at måle tendenser til fastholdelse og livstidsværdi. Statistiske begreber, der er centrale for sund kvantitativ forskning, omfatter beregning af stikprøvestørrelse, som bestemmer, hvor mange observationer der er nødvendige for at detektere en meningsfuld effekt på et givet konfidensniveau, og undgåelse af problemet med multiple sammenligninger, hvor testning af mange metrikker samtidigt øger sandsynligheden for at finde et falsk signifikant resultat udelukkende ved et tilfælde.

En hyppig misforståelse er, at kvantitative data i sagens natur er objektive og derfor ikke kræver omhyggelig fortolkning. I virkeligheden kan kvantitative resultater være misvisende, hvis den underliggende dataindsamling er mangelfuld, for eksempel på grund af bottrafik, der oppuster besøgstal, sporingskode, der aktiveres forkert på bestemte enheder, eller en test, der er kontamineret af en urelateret marketingkampagne, der kører samtidig. En anden almindelig faldgrube, undertiden kaldet basisrate-fejlslutningen i denne sammenhæng, er at fokusere på relative procentvise ændringer uden at tage højde for det absolutte antal involverede konverteringer, da en rapporteret stigning på 50 procent baseret på kun en håndfuld samlede konverteringer har langt mindre statistisk pålidelighed end en stigning på 10 procent målt på tværs af tusindvis af konverteringer.

I CRO og vækstrådgivning giver kvantitativ forskning både det diagnostiske udgangspunkt, der identificerer, hvor i en tragt de største og mest statistisk pålidelige muligheder findes, og det sidste valideringslag, der bekræfter, om en hypotese genereret gennem kvalitativ forskning rent faktisk producerer et målbart forretningsresultat, når den er implementeret. Modne konsulentpraksisser opretholder typisk en testhastighed og win-rate-måling på tværs af alle eksperimenter, der køres for en klient, og bruger historiske kvantitative resultater til løbende at forfine, hvilke typer hypoteser der er værd at prioritere i fremtidige optimeringsrunder.

Som en konkret illustration kan vi antage, at en betalingsside i øjeblikket konverterer med 3.2 procent, og et team ønsker at opdage, om en redesignet formular forbedrer denne rate med relative 15 procent, ned til cirka 3.7 procent. En standard stikprøvestørrelsesberegning med 95 procents konfidens og 80 procents statistisk styrke kan indikere, at hver variant har brug for titusindvis af besøgende, før testen kan afsluttes pålideligt. Hvis siden kun modtager et par tusinde besøgende ugentligt, kræver kvantitativ stringens, at teamet enten accepterer en testvarighed på flere uger, sigter mod en større forventet effektstørrelse eller omdirigerer testindsatsen til en side med højere trafik i tragten, hvor meningsfulde resultater kan nås hurtigere, i stedet for at kalde en underpowered test tidligt og risikere en falsk konklusion.