Kwantitatief onderzoek

Kwantitatief onderzoek Kwantitatief onderzoek is het verzamelen en statistisch analyseren van numerieke gegevens over gebruikersgedrag. Het wordt gebruikt om de omvang, frequentie en significantie van patronen te meten binnen een grote groep gebruikers, in plaats van om individuele motivaties te verklaren. In de context van UX en conversieoptimalisatie omvatten veelgebruikte kwantitatieve methoden webanalyserapporten, trechteranalyse, A/B- en multivariate testen, klik- en scrolltracking over meerdere sessies en gestructureerde enquêtes met gesloten vragen die gegevens opleveren die geschikt zijn voor statistische vergelijkingen, zoals de Net Promoter Score of de System Usability Scale. Het kenmerkende van kwantitatief onderzoek is dat de conclusies worden uitgedrukt in meetbare termen, zoals conversieratio, statistisch betrouwbaarheidsniveau of effectgrootte, die objectief kunnen worden vergeleken over verschillende tijdsperioden of varianten.

Deze discipline is essentieel voor conversieoptimalisatie (CRO), omdat het het bewijs levert dat nodig is om te valideren of een voorgestelde verandering daadwerkelijk tot betere resultaten leidt, in plaats van dat het team dat de verandering doorvoert het alleen maar als een verbetering ervaart. Zonder kwantitatieve validatie zijn ontwerp- en marketingbeslissingen gebaseerd op meningen, interne politiek of subjectieve voorkeuren, waarvan onderzoek consistent aantoont dat ze slecht correleren met het daadwerkelijke gebruikersgedrag. A/B-testen, de meest gebruikte kwantitatieve methode in CRO, vereisen een vooraf berekende steekproefomvang en een statistisch betrouwbaarheidsniveau, doorgaans 95 procent, voordat een resultaat als betrouwbaar wordt beschouwd. Tests worden over het algemeen gedurende minimaal één tot twee volledige bedrijfscycli uitgevoerd, vaak twee tot vier weken, om rekening te houden met variaties in gedrag gerelateerd aan de dag van de week en de betaaldatum, die anders de resultaten op korte termijn zouden vertekenen.

Naast gecontroleerde experimenten omvat kwantitatief onderzoek ook observationele analyses van bestaande gedragsgegevens, zoals het segmenteren van conversieratio's op basis van verkeersbron, apparaattype of geografische locatie om te bepalen waar de prestaties significant variëren. Ook cohortanalyses, waarbij wordt bijgehouden hoe een specifieke groep gebruikers, bijvoorbeeld iedereen die zich in een bepaalde maand heeft aangemeld, zich gedraagt ​​in de daaropvolgende weken of maanden, worden vaak gebruikt om retentie en trends in de levenslange klantwaarde te meten. Statistische concepten die essentieel zijn voor gedegen kwantitatief onderzoek, zijn onder andere de berekening van de steekproefomvang, die bepaalt hoeveel observaties nodig zijn om een ​​betekenisvol effect te detecteren bij een bepaald betrouwbaarheidsniveau, en het vermijden van het probleem van meervoudige vergelijkingen, waarbij het gelijktijdig testen van veel statistieken de kans vergroot op het vinden van een vals significant resultaat puur door toeval.

Een veelvoorkomende misvatting is dat kwantitatieve data inherent objectief zijn en daarom geen zorgvuldige interpretatie vereisen; in werkelijkheid kunnen kwantitatieve resultaten misleidend zijn als de onderliggende dataverzameling gebrekkig is, bijvoorbeeld door botverkeer dat het aantal bezoekers kunstmatig opblaast, trackingcode die onjuist wordt geactiveerd op bepaalde apparaten, of een test die wordt beïnvloed door een ongerelateerde marketingcampagne die gelijktijdig loopt. Een andere veelvoorkomende valkuil, in deze context soms de basiskansfout genoemd, is het focussen op relatieve procentuele veranderingen zonder rekening te houden met het absolute aantal conversies. Een gerapporteerde stijging van 50 procent op basis van slechts een handvol conversies is immers statistisch gezien veel minder betrouwbaar dan een stijging van 10 procent gemeten over duizenden conversies.

In CRO- en groeiconsultancy biedt kwantitatief onderzoek zowel het diagnostische startpunt, waarmee wordt vastgesteld waar in een funnel de grootste en meest statistisch betrouwbare kansen liggen, als de uiteindelijke validatielaag, die bevestigt of een hypothese die is gegenereerd door kwalitatief onderzoek daadwerkelijk een meetbaar bedrijfsresultaat oplevert na implementatie. Volwassen consultancybureaus houden doorgaans een testfrequentie en winstpercentage bij voor alle experimenten die voor een klant worden uitgevoerd, waarbij historische kwantitatieve resultaten worden gebruikt om continu te verfijnen welke soorten hypotheses prioriteit verdienen in toekomstige optimalisatierondes.

Als concreet voorbeeld: stel dat een afrekenpagina momenteel een conversieratio van 3.2 procent heeft en een team wil onderzoeken of een herontworpen formulier die ratio met 15 procent verbetert, tot ongeveer 3.7 procent. Een standaard steekproefgrootteberekening met een betrouwbaarheidsinterval van 95 procent en een statistische power van 80 procent zou kunnen aangeven dat elke variant tienduizenden bezoekers nodig heeft voordat de test betrouwbaar kan worden afgerond. Als de pagina slechts een paar duizend bezoekers per week ontvangt, vereist kwantitatieve nauwkeurigheid dat het team ofwel een testduur van meerdere weken accepteert, een grotere verwachte effectgrootte nastreeft, of de testinspanningen verplaatst naar een pagina met meer verkeer in de funnel waar sneller zinvolle resultaten kunnen worden behaald, in plaats van een test met onvoldoende power vroegtijdig te beëindigen en het risico te lopen op een onjuiste conclusie.