Η ποσοτική έρευνα είναι η συλλογή και στατιστική ανάλυση αριθμητικών δεδομένων για τη συμπεριφορά των χρηστών, που χρησιμοποιείται για τη μέτρηση της κλίμακας, της συχνότητας και της σημαντικότητας μοτίβων σε έναν μεγάλο πληθυσμό χρηστών και όχι για την εξήγηση των ατομικών κινήτρων. Στο πλαίσιο του UX και της βελτιστοποίησης μετατροπών, οι συνήθεις ποσοτικές μέθοδοι περιλαμβάνουν αναφορές web analytics, ανάλυση χωνιού, δοκιμές A/B και πολυμεταβλητές δοκιμές, παρακολούθηση κλικ και κύλισης συγκεντρωμένη από πολλές συνεδρίες, και δομημένα ερωτηματολόγια με κλειστές ερωτήσεις που παράγουν δεδομένα κατάλληλα για στατιστική σύγκριση, όπως οι βαθμολογίες Net Promoter Score ή System Usability Scale. Το καθοριστικό χαρακτηριστικό της ποσοτικής έρευνας είναι ότι τα συμπεράσματά της εκφράζονται με μετρήσιμους όρους, όπως το ποσοστό μετατροπής, το επίπεδο στατιστικής βεβαιότητας ή το μέγεθος επίδρασης, που μπορούν να συγκριθούν αντικειμενικά ανάμεσα σε χρονικές περιόδους ή παραλλαγές.
Η πειθαρχία αυτή είναι κεντρική στη βελτιστοποίηση ποσοστού μετατροπών, επειδή παρέχει τα αποδεικτικά στοιχεία που χρειάζονται για να επικυρωθεί αν μια προτεινόμενη αλλαγή πράγματι βελτιώνει τα αποτελέσματα και όχι απλώς φαίνεται βελτίωση στην ομάδα που την πραγματοποιεί. Χωρίς ποσοτική επικύρωση, οι αποφάσεις σχεδιασμού και μάρκετινγκ βασίζονται σε γνώμες, εσωτερικές πολιτικές ή υποκειμενικές προτιμήσεις, που σύμφωνα με την έρευνα συσχετίζονται ασθενώς με την πραγματική συμπεριφορά των χρηστών. Η δοκιμή A/B, η πιο συνηθισμένη ποσοτική μέθοδος στο CRO, απαιτεί την επίτευξη ενός προϋπολογισμένου μεγέθους δείγματος και ενός επιπέδου στατιστικής βεβαιότητας, συνήθως 95 τοις εκατό, πριν ένα αποτέλεσμα θεωρηθεί αξιόπιστο, και οι δοκιμές εκτελούνται γενικά για τουλάχιστον έναν έως δύο πλήρεις επιχειρηματικούς κύκλους, συχνά δύο έως τέσσερις εβδομάδες, ώστε να ληφθούν υπόψη οι διακυμάνσεις συμπεριφοράς ανά ημέρα της εβδομάδας και γύρω από την ημέρα μισθοδοσίας, που διαφορετικά θα στρέβλωναν τα αποτελέσματα μικρής διάρκειας.
Πέρα από τα ελεγχόμενα πειράματα, η ποσοτική έρευνα περιλαμβάνει επίσης παρατηρησιακή ανάλυση υπαρχόντων δεδομένων συμπεριφοράς, όπως η κατάτμηση του ποσοστού μετατροπής ανά πηγή επισκεψιμότητας, τύπο συσκευής ή γεωγραφία για τον εντοπισμό σημείων όπου η απόδοση διαφέρει σημαντικά, και ανάλυση κοορτών, που παρακολουθεί πώς συμπεριφέρεται μια συγκεκριμένη ομάδα χρηστών, όπως όλοι όσοι εγγράφηκαν σε έναν δεδομένο μήνα, τις επόμενες εβδομάδες ή μήνες, και χρησιμοποιείται συχνά για τη μέτρηση των τάσεων διατήρησης και διαρκούς αξίας πελάτη. Οι στατιστικές έννοιες που είναι κεντρικές σε μια υγιή ποσοτική έρευνα περιλαμβάνουν τον υπολογισμό μεγέθους δείγματος, που καθορίζει πόσες παρατηρήσεις χρειάζονται για να ανιχνευθεί μια ουσιαστική επίδραση σε δεδομένο επίπεδο βεβαιότητας, και την αποφυγή του προβλήματος των πολλαπλών συγκρίσεων, όπου η ταυτόχρονη δοκιμή πολλών δεικτών αυξάνει την πιθανότητα εύρεσης ενός ψευδώς σημαντικού αποτελέσματος καθαρά τυχαία.
Μια συχνή παρανόηση είναι ότι τα ποσοτικά δεδομένα είναι εγγενώς αντικειμενικά και επομένως δεν απαιτούν προσεκτική ερμηνεία· στην πραγματικότητα, τα ποσοτικά αποτελέσματα μπορεί να είναι παραπλανητικά αν η υποκείμενη συλλογή δεδομένων είναι ελαττωματική, για παράδειγμα λόγω επισκεψιμότητας bots που φουσκώνει τον αριθμό επισκεπτών, κώδικα παρακολούθησης που ενεργοποιείται λανθασμένα σε ορισμένες συσκευές ή μιας δοκιμής που μολύνεται από μια άσχετη καμπάνια μάρκετινγκ που εκτελείται ταυτόχρονα. Μια άλλη συχνή παγίδα, που ονομάζεται μερικές φορές πλάνη του βασικού ποσοστού (base rate fallacy) σε αυτό το πλαίσιο, είναι η εστίαση στις σχετικές ποσοστιαίες μεταβολές χωρίς να λαμβάνεται υπόψη ο απόλυτος αριθμός των μετατροπών, καθώς μια αναφερόμενη αύξηση 50 τοις εκατό που βασίζεται σε ελάχιστες συνολικές μετατροπές έχει πολύ μικρότερη στατιστική αξιοπιστία από μια αύξηση 10 τοις εκατό που μετρήθηκε σε χιλιάδες μετατροπές.
Στη συμβουλευτική CRO και growth, η ποσοτική έρευνα παρέχει τόσο το διαγνωστικό σημείο εκκίνησης, εντοπίζοντας πού στο χωνί υπάρχουν οι μεγαλύτερες και στατιστικά πιο αξιόπιστες ευκαιρίες, όσο και το τελικό επίπεδο επικύρωσης, επιβεβαιώνοντας αν μια υπόθεση που προέκυψε μέσω ποιοτικής έρευνας παράγει πράγματι μετρήσιμο επιχειρηματικό αποτέλεσμα όταν υλοποιηθεί. Οι ώριμες συμβουλευτικές πρακτικές διατηρούν συνήθως έναν δείκτη ταχύτητας δοκιμών και ποσοστού επιτυχίας (win rate) για όλα τα πειράματα που εκτελούνται για έναν πελάτη, χρησιμοποιώντας ιστορικά ποσοτικά αποτελέσματα για να βελτιώνουν διαρκώς το ποιοι τύποι υποθέσεων αξίζει να ιεραρχούνται στους επόμενους γύρους βελτιστοποίησης.
Ως συγκεκριμένη απεικόνιση, ας υποθέσουμε ότι μια σελίδα ολοκλήρωσης αγοράς μετατρέπει σήμερα με ποσοστό 3,2 τοις εκατό και μια ομάδα θέλει να διαπιστώσει αν μια επανασχεδιασμένη φόρμα βελτιώνει το ποσοστό αυτό κατά σχετικό 15 τοις εκατό, δηλαδή σε περίπου 3,7 τοις εκατό. Ένας τυπικός υπολογισμός μεγέθους δείγματος σε βεβαιότητα 95 τοις εκατό και στατιστική ισχύ 80 τοις εκατό μπορεί να υποδείξει ότι κάθε παραλλαγή χρειάζεται δεκάδες χιλιάδες επισκέπτες πριν η δοκιμή μπορεί να ολοκληρωθεί αξιόπιστα. Αν η σελίδα δέχεται μόνο λίγες χιλιάδες επισκέπτες εβδομαδιαίως, η ποσοτική αυστηρότητα απαιτεί από την ομάδα είτε να αποδεχθεί διάρκεια δοκιμής πολλών εβδομάδων, είτε να στοχεύσει μεγαλύτερο αναμενόμενο μέγεθος επίδρασης, είτε να ανακατευθύνει την προσπάθεια δοκιμών σε μια σελίδα υψηλότερης επισκεψιμότητας στο χωνί, όπου ουσιαστικά αποτελέσματα μπορούν να επιτευχθούν ταχύτερα, αντί να ολοκληρώσει πρόωρα μια δοκιμή με ανεπαρκή ισχύ και να διακινδυνεύσει ένα εσφαλμένο συμπέρασμα.
