Kwantitatief onderzoek is het verzamelen en statistisch analyseren van numerieke gegevens over gebruikersgedrag, gebruikt om de omvang, frequentie en significantie van patronen binnen een grote populatie gebruikers te meten, in plaats van individuele motivaties te verklaren. In een UX- en conversie-optimalisatiecontext zijn gangbare kwantitatieve methoden onder meer webanalyserapportage, funnelanalyse, A/B- en multivariate testing, klik- en scrolltracking geaggregeerd over veel sessies, en gestructureerde enquêtes met gesloten vragen die data opleveren die geschikt is voor statistische vergelijking, zoals Net Promoter Score of System Usability Scale-scores. Het kenmerk van kwantitatief onderzoek is dat de conclusies worden uitgedrukt in meetbare termen, zoals conversieratio, statistisch betrouwbaarheidsniveau of effectgrootte, die objectief kunnen worden vergeleken over tijdsperioden of varianten heen.
Het vakgebied is cruciaal voor conversie-optimalisatie omdat het het bewijs levert dat nodig is om te valideren of een voorgestelde wijziging de resultaten daadwerkelijk verbetert, in plaats van alleen aan te voelen als een verbetering voor het team dat haar doorvoert. Zonder kwantitatieve validatie berusten ontwerp- en marketingbeslissingen op meningen, interne politiek of subjectieve voorkeur, die volgens onderzoek consequent slecht correleren met het werkelijke gebruikersgedrag. A/B-testing, de meest gangbare kwantitatieve methode in CRO, vereist het bereiken van een vooraf berekende steekproefgrootte en een statistisch betrouwbaarheidsniveau, doorgaans 95 procent, voordat een resultaat als betrouwbaar wordt beschouwd. Tests lopen doorgaans minimaal een tot twee volledige bedrijfscycli, vaak twee tot vier weken, om rekening te houden met variatie in gedrag per weekdag en rond de salarisdatum, die kortlopende resultaten anders zou vertekenen.
Naast gecontroleerde experimenten omvat kwantitatief onderzoek ook observationele analyse van bestaande gedragsdata, zoals het segmenteren van de conversieratio naar verkeersbron, apparaattype of geografie om te zien waar de prestaties aanzienlijk verschillen, en cohortanalyse, die volgt hoe een specifieke groep gebruikers, zoals iedereen die zich in een bepaalde maand aanmeldde, zich in de volgende weken of maanden gedraagt, vaak gebruikt om trends in retentie en klantwaarde te meten. Statistische concepten die centraal staan in gedegen kwantitatief onderzoek zijn onder meer de berekening van de steekproefgrootte, die bepaalt hoeveel waarnemingen nodig zijn om een betekenisvol effect bij een gegeven betrouwbaarheidsniveau te detecteren, en het vermijden van het meervoudige-vergelijkingsprobleem, waarbij het gelijktijdig testen van veel metrieken de kans vergroot dat louter door toeval een onterecht significant resultaat wordt gevonden.
Een veelvoorkomende misvatting is dat kwantitatieve data van nature objectief zijn en daarom geen zorgvuldige interpretatie vereisen. In werkelijkheid kunnen kwantitatieve resultaten misleidend zijn als de onderliggende datavergaring gebrekkig is, bijvoorbeeld door botverkeer dat het aantal bezoekers opblaast, trackingcode die op bepaalde apparaten verkeerd afgaat, of een test die wordt vervuild door een niet-gerelateerde marketingcampagne die tegelijkertijd loopt. Een andere veelvoorkomende valkuil, in deze context soms de base rate fallacy genoemd, is focussen op relatieve procentuele veranderingen zonder het absolute aantal conversies in ogenschouw te nemen, aangezien een gerapporteerde verbetering van 50 procent op basis van slechts een handvol conversies veel minder statistisch betrouwbaar is dan een verbetering van 10 procent gemeten over duizenden conversies.
In CRO- en groeiadviestrajecten levert kwantitatief onderzoek zowel het diagnostische uitgangspunt, door te identificeren waar in een funnel de grootste en statistisch meest betrouwbare kansen liggen, als de laatste validatielaag, door te bevestigen of een hypothese die via kwalitatief onderzoek is gegenereerd na implementatie daadwerkelijk een meetbaar bedrijfsresultaat oplevert. Volwassen adviespraktijken houden doorgaans een testsnelheids- en win-ratemetriek bij voor alle experimenten die voor een klant zijn uitgevoerd, en gebruiken historische kwantitatieve resultaten om voortdurend te verfijnen welke typen hypotheses het waard zijn om in toekomstige optimalisatierondes te prioriteren.
Ter illustratie: stel dat een afrekenpagina momenteel met 3,2 procent converteert en een team wil vaststellen of een herontworpen formulier dat percentage met relatief 15 procent verbetert, tot ongeveer 3,7 procent. Een standaard steekproefberekening met 95 procent betrouwbaarheid en 80 procent statistische power kan uitwijzen dat elke variant tienduizenden bezoekers nodig heeft voordat de test betrouwbaar kan worden afgerond. Als de pagina slechts enkele duizenden bezoekers per week ontvangt, vraagt kwantitatieve rigoureusheid dat het team ofwel een testduur van meerdere weken accepteert, een groter verwacht effect nastreeft, of de testinspanning verlegt naar een pagina met meer verkeer in de funnel waar sneller betekenisvolle resultaten haalbaar zijn, in plaats van een onderpowerde test vroegtijdig af te ronden en het risico te lopen op een foute conclusie.
