מחקר כמותי הוא איסוף וניתוח סטטיסטי של נתונים מספריים על התנהגות משתמשים, המשמש למדידת היקף, תדירות ומובהקות של דפוסים בקרב אוכלוסיית משתמשים גדולה, ולא להסבר מניעים אישיים. בהקשר של UX ואופטימיזציית המרות, שיטות כמותיות נפוצות כוללות דוחות אנליטיקס, ניתוח משפכים, בדיקות A/B ובדיקות רב-משתנות, מעקב אחר קליקים וגלילה המצטבר על פני סשנים רבים, וסקרים מובנים עם שאלות סגורות שמניבים נתונים מתאימים להשוואה סטטיסטית, כגון דירוגי Net Promoter Score או System Usability Scale. המאפיין המגדיר של מחקר כמותי הוא שמסקנותיו מבוטאות במונחים מדידים, כמו שיעור המרה, רמת ביטחון סטטיסטי או גודל אפקט, שניתן להשוות באופן אובייקטיבי בין תקופות זמן או וריאנטים.
התחום מרכזי לאופטימיזציית שיעור ההמרה משום שהוא מספק את הראיות הדרושות לאימות האם שינוי מוצע אכן משפר תוצאות ולא רק נראה כשיפור לצוות שמבצע אותו. בלי אימות כמותי, החלטות עיצוב ושיווק נשענות על דעה, פוליטיקה פנימית או העדפה סובייקטיבית, שמחקרים מראים בעקביות שמתואמות בצורה חלשה עם התנהגות משתמשים בפועל. בדיקת A/B, השיטה הכמותית הנפוצה ביותר ב-CRO, מחייבת להגיע לגודל מדגם שחושב מראש ולרמת ביטחון סטטיסטי, בדרך כלל 95 אחוזים, לפני שתוצאה נחשבת אמינה, ובדיקות מורצות בדרך כלל לפחות מחזור עסקי מלא אחד עד שניים, לעיתים קרובות שבועיים עד ארבעה שבועות, כדי להתחשב בשונות התנהגותית הקשורה ליום בשבוע ולמועד קבלת המשכורת, שהייתה מעוותת אחרת תוצאות קצרות טווח.
מעבר לניסויים מבוקרים, מחקר כמותי כולל גם ניתוח תצפיתי של נתוני התנהגות קיימים, כמו פילוח שיעור ההמרה לפי מקור תנועה, סוג מכשיר או גיאוגרפיה כדי לזהות היכן הביצועים משתנים באופן משמעותי, וניתוח עוקבות (cohort), העוקב אחר התנהגותה של קבוצת משתמשים מסוימת, כגון כל מי שנרשם בחודש נתון, במהלך השבועות או החודשים הבאים, ומשמש לרוב למדידת מגמות שימור וערך חיים. מושגים סטטיסטיים מרכזיים במחקר כמותי תקין כוללים חישוב גודל מדגם, הקובע כמה תצפיות נדרשות כדי לזהות אפקט משמעותי ברמת ביטחון נתונה, והימנעות מבעיית ההשוואות המרובות, שבה בדיקת מדדים רבים בו-זמנית מגדילה את הסבירות למצוא תוצאה מובהקת לכאורה אך ורק במקרה.
תפיסה שגויה נפוצה היא שנתונים כמותיים הם מטבעם אובייקטיביים ולכן אינם דורשים פרשנות זהירה; בפועל, תוצאות כמותיות עלולות להטעות אם איסוף הנתונים הבסיסי פגום, למשל בגלל תנועת בוטים המנפחת את ספירת המבקרים, קוד מעקב שנורה באופן שגוי במכשירים מסוימים או בדיקה שזוהמה על ידי קמפיין שיווקי לא קשור שרץ במקביל. מלכודת נפוצה נוספת, המכונה לעיתים בהקשר זה כשל שיעור הבסיס (base rate fallacy), היא התמקדות בשינויים באחוזים יחסיים בלי התחשבות במספר המוחלט של ההמרות המעורבות, שכן שיפור מדווח של 50 אחוזים המבוסס על קומץ המרות בלבד נושא אמינות סטטיסטית נמוכה בהרבה משיפור של 10 אחוזים שנמדד על פני אלפי המרות.
בעבודת ייעוץ CRO וצמיחה, מחקר כמותי מספק גם את נקודת ההתחלה האבחונית, בזיהוי היכן במשפך קיימות ההזדמנויות הגדולות והאמינות ביותר מבחינה סטטיסטית, וגם את שכבת האימות הסופית, באישור שהשערה שנוצרה באמצעות מחקר איכותני אכן מניבה תוצאה עסקית מדידה לאחר יישומה. פרקטיקות ייעוץ בשלות שומרות בדרך כלל מדדי קצב בדיקות ושיעור ניצחון על פני כל הניסויים שהורצו עבור לקוח, ומשתמשות בתוצאות כמותיות היסטוריות כדי לחדד באופן מתמיד אילו סוגי השערות כדאי לתעדף בסבבי אופטימיזציה עתידיים.
כהמחשה קונקרטית, נניח שדף תשלום ממיר כיום בשיעור של 3.2 אחוזים וצוות רוצה לבדוק אם טופס מעוצב מחדש משפר את השיעור הזה ב-15 אחוזים יחסית, לכ-3.7 אחוזים. חישוב גודל מדגם סטנדרטי ברמת ביטחון של 95 אחוזים ועוצמה סטטיסטית של 80 אחוזים עשוי להצביע על כך שכל וריאנט זקוק לעשרות אלפי מבקרים לפני שאפשר להסיק מסקנות אמינות מהבדיקה. אם הדף מקבל רק כמה אלפי מבקרים בשבוע, הקפדה כמותית מחייבת את הצוות לקבל משך בדיקה של כמה שבועות, לכוון לגודל אפקט צפוי גדול יותר או להפנות את מאמץ הבדיקות לדף עם תנועה גבוהה יותר במשפך שבו אפשר להגיע לתוצאות משמעותיות מהר יותר, ולא לסיים בדיקה חסרת עוצמה מוקדם ולהסתכן במסקנה שגויה.
