La ricerca quantitativa è la raccolta e l'analisi statistica di dati numerici sul comportamento degli utenti, utilizzata per misurare la scala, la frequenza e la significatività di schemi osservati su un'ampia popolazione di utenti, anziché per spiegare le motivazioni individuali. In un contesto di UX e di ottimizzazione delle conversioni, i metodi quantitativi più comuni comprendono il reporting di web analytics, l'analisi del funnel, i test A/B e multivariati, il tracciamento di clic e scroll aggregato su molte sessioni e i sondaggi strutturati con domande chiuse che producono dati adatti al confronto statistico, come i punteggi del Net Promoter Score o della System Usability Scale. La caratteristica distintiva della ricerca quantitativa è che le sue conclusioni sono espresse in termini misurabili, come il tasso di conversione, il livello di confidenza statistica o la dimensione dell'effetto, che possono essere confrontati in modo oggettivo tra periodi di tempo o varianti.
La disciplina è centrale per l'ottimizzazione del tasso di conversione perché fornisce le prove necessarie per verificare se una modifica proposta migliori davvero i risultati, anziché dare semplicemente l'impressione di un miglioramento al team che l'ha ideata. Senza una validazione quantitativa, le decisioni di design e di marketing si basano su opinioni, dinamiche interne o preferenze soggettive, che secondo le ricerche si correlano scarsamente con il comportamento effettivo degli utenti. Il test A/B, il metodo quantitativo più comune nella CRO, richiede di raggiungere una dimensione del campione calcolata in anticipo e un livello di confidenza statistica, in genere del 95 percento, prima che un risultato sia ritenuto affidabile, e i test vengono generalmente eseguiti per un minimo di uno o due cicli di business completi, spesso da due a quattro settimane, per tenere conto della variazione del comportamento legata al giorno della settimana e alla data dello stipendio, che altrimenti distorcerebbe i risultati di breve durata.
Oltre agli esperimenti controllati, la ricerca quantitativa comprende anche l'analisi osservazionale dei dati comportamentali esistenti, come la segmentazione del tasso di conversione per fonte di traffico, tipo di dispositivo o area geografica, per individuare dove le prestazioni variano in modo significativo, e l'analisi per coorti, che segue il comportamento di uno specifico gruppo di utenti, ad esempio tutti coloro che si sono iscritti in un dato mese, nelle settimane o nei mesi successivi, comunemente usata per misurare le tendenze di fidelizzazione e di valore nel tempo. I concetti statistici centrali per una solida ricerca quantitativa comprendono il calcolo della dimensione del campione, che determina quante osservazioni servano per rilevare un effetto significativo a un dato livello di confidenza, e l'attenzione a evitare il problema dei confronti multipli, in cui il test simultaneo di molte metriche aumenta la probabilità di trovare un risultato falsamente significativo per puro caso.
Un equivoco frequente è che i dati quantitativi siano intrinsecamente oggettivi e quindi non richiedano un'interpretazione attenta; in realtà i risultati quantitativi possono essere fuorvianti se la raccolta dei dati sottostante è difettosa, ad esempio per traffico di bot che gonfia il conteggio dei visitatori, per codice di tracciamento che si attiva in modo errato su determinati dispositivi o per un test contaminato da una campagna di marketing non correlata in corso nello stesso periodo. Un'altra insidia comune, talvolta chiamata in questo contesto errore del tasso di base (base rate fallacy), consiste nel concentrarsi sulle variazioni percentuali relative senza considerare il numero assoluto di conversioni coinvolte, poiché un incremento dichiarato del 50 percento basato su una manciata di conversioni totali ha un'affidabilità statistica molto inferiore rispetto a un incremento del 10 percento misurato su migliaia di conversioni.
Nel lavoro di consulenza CRO e di crescita, la ricerca quantitativa fornisce sia il punto di partenza diagnostico, individuando in quale punto di un funnel esistano le opportunità maggiori e statisticamente più affidabili, sia lo strato finale di validazione, confermando se un'ipotesi generata dalla ricerca qualitativa produca effettivamente un risultato di business misurabile una volta implementata. Le pratiche di consulenza mature mantengono in genere una metrica di velocità di test e di tasso di vittoria su tutti gli esperimenti eseguiti per un cliente, utilizzando i risultati quantitativi storici per affinare continuamente quali tipi di ipotesi valga la pena privilegiare nei successivi cicli di ottimizzazione.
Come illustrazione concreta, si supponga che una pagina di checkout converta attualmente al 3,2 percento e che un team voglia verificare se un modulo riprogettato migliori tale tasso del 15 percento in termini relativi, portandolo a circa il 3,7 percento. Un calcolo standard della dimensione del campione con confidenza del 95 percento e potenza statistica dell'80 percento potrebbe indicare che ogni variante necessita di decine di migliaia di visitatori prima che il test possa essere concluso in modo affidabile. Se la pagina riceve solo poche migliaia di visitatori a settimana, il rigore quantitativo impone al team di accettare una durata del test di più settimane, di puntare a una dimensione dell'effetto attesa più ampia o di indirizzare l'attività di test su una pagina del funnel con più traffico, dove si possono ottenere risultati significativi più rapidamente, anziché chiudere in anticipo un test con potenza insufficiente rischiando una conclusione errata.
