การวิจัยเชิงปริมาณ คือการเก็บรวบรวมและวิเคราะห์ข้อมูลตัวเลขเกี่ยวกับพฤติกรรมผู้ใช้ด้วยวิธีทางสถิติ เพื่อวัดขนาด ความถี่ และนัยสำคัญของรูปแบบในกลุ่มผู้ใช้จำนวนมาก ไม่ใช่เพื่ออธิบายแรงจูงใจของแต่ละบุคคล ในบริบทของ UX และการเพิ่มประสิทธิภาพอัตราการแปลง วิธีเชิงปริมาณที่พบบ่อย ได้แก่ การรายงานเว็บอนาลิติกส์ การวิเคราะห์ฟันเนล การทดสอบ A/B และการทดสอบแบบหลายตัวแปร การติดตามการคลิกและการเลื่อนหน้าที่รวมข้ามหลายเซสชัน และแบบสำรวจที่มีโครงสร้างพร้อมคำถามปลายปิดที่ให้ข้อมูลเหมาะสำหรับการเปรียบเทียบทางสถิติ เช่น คะแนน Net Promoter Score หรือ System Usability Scale ลักษณะเด่นของการวิจัยเชิงปริมาณคือข้อสรุปแสดงในรูปแบบที่วัดได้ เช่น อัตราการแปลง ระดับความเชื่อมั่นทางสถิติ หรือขนาดของผล (effect size) ซึ่งเปรียบเทียบข้ามช่วงเวลาหรือตัวแปรได้อย่างเป็นกลาง
วินัยนี้เป็นหัวใจของการเพิ่มประสิทธิภาพอัตราการแปลง เพราะให้หลักฐานที่จำเป็นในการตรวจสอบว่าการเปลี่ยนแปลงที่เสนอปรับปรุงผลลัพธ์จริง ไม่ใช่เพียงรู้สึกว่าดีขึ้นสำหรับทีมที่ทำการเปลี่ยนแปลง หากไม่มีการตรวจสอบเชิงปริมาณ การตัดสินใจด้านการออกแบบและการตลาดจะพึ่งพาความเห็น การเมืองภายใน หรือความชอบส่วนตัว ซึ่งงานวิจัยแสดงอย่างสม่ำเสมอว่าสัมพันธ์กับพฤติกรรมผู้ใช้จริงต่ำ การทดสอบ A/B ซึ่งเป็นวิธีเชิงปริมาณที่พบบ่อยที่สุดใน CRO ต้องถึงขนาดตัวอย่างที่คำนวณไว้ล่วงหน้าและระดับความเชื่อมั่นทางสถิติ โดยทั่วไป 95 เปอร์เซ็นต์ ก่อนผลจะถือว่าเชื่อถือได้ และการทดสอบมักรันอย่างน้อยหนึ่งถึงสองรอบธุรกิจเต็ม ซึ่งมักเป็นสองถึงสี่สัปดาห์ เพื่อรองรับความผันแปรของพฤติกรรมตามวันในสัปดาห์และช่วงวันเงินเดือนออก ซึ่งมิฉะนั้นจะบิดเบือนผลของการทดสอบระยะสั้น
นอกเหนือจากการทดลองแบบควบคุม การวิจัยเชิงปริมาณยังรวมถึงการวิเคราะห์เชิงสังเกตของข้อมูลพฤติกรรมที่มีอยู่ เช่น การแบ่งอัตราการแปลงตามแหล่งทราฟฟิก ประเภทอุปกรณ์ หรือภูมิศาสตร์เพื่อระบุว่าประสิทธิภาพแตกต่างกันอย่างมีนัยสำคัญที่ใด และการวิเคราะห์โคฮอร์ต (cohort analysis) ซึ่งติดตามว่ากลุ่มผู้ใช้เฉพาะ เช่น ทุกคนที่สมัครในเดือนใดเดือนหนึ่ง มีพฤติกรรมอย่างไรในสัปดาห์หรือเดือนต่อ ๆ มา ซึ่งมักใช้วัดแนวโน้มการรักษาลูกค้าและมูลค่าตลอดอายุลูกค้า แนวคิดทางสถิติที่สำคัญต่อการวิจัยเชิงปริมาณที่ดี ได้แก่ การคำนวณขนาดตัวอย่าง ซึ่งกำหนดว่าต้องมีการสังเกตกี่รายการเพื่อตรวจจับผลที่มีความหมายที่ระดับความเชื่อมั่นหนึ่ง และการหลีกเลี่ยงปัญหาการเปรียบเทียบหลายครั้ง (multiple comparisons problem) ซึ่งการทดสอบหลายตัวชี้วัดพร้อมกันเพิ่มโอกาสที่จะพบผลที่มีนัยสำคัญเท็จเพียงโดยบังเอิญ
ความเข้าใจผิดที่พบบ่อยคือการเชื่อว่าข้อมูลเชิงปริมาณเป็นกลางโดยธรรมชาติจึงไม่ต้องตีความอย่างระมัดระวัง ในความเป็นจริง ผลเชิงปริมาณอาจทำให้เข้าใจผิดได้หากการเก็บข้อมูลพื้นฐานมีข้อบกพร่อง เช่น ทราฟฟิกบอตที่ทำให้จำนวนผู้เข้าชมพอง โค้ดติดตามที่ทำงานผิดพลาดบนอุปกรณ์บางประเภท หรือการทดสอบที่ปนเปื้อนจากแคมเปญการตลาดที่ไม่เกี่ยวข้องซึ่งรันพร้อมกัน ข้อผิดพลาดทั่วไปอีกประการ ซึ่งบางครั้งเรียกว่าความเข้าใจผิดเรื่องอัตราฐาน (base rate fallacy) ในบริบทนี้ คือการมุ่งเน้นการเปลี่ยนแปลงเปอร์เซ็นต์สัมพัทธ์โดยไม่พิจารณาจำนวนคอนเวอร์ชันสัมบูรณ์ที่เกี่ยวข้อง เพราะการยกระดับ 50 เปอร์เซ็นต์ที่อิงคอนเวอร์ชันรวมเพียงหยิบมือมีความน่าเชื่อถือทางสถิติต่ำกว่าการยกระดับ 10 เปอร์เซ็นต์ที่วัดจากคอนเวอร์ชันหลายพันรายการมาก
ในงานที่ปรึกษาด้าน CRO และการเติบโต การวิจัยเชิงปริมาณทำหน้าที่ทั้งเป็นจุดเริ่มต้นเชิงวินิจฉัย ซึ่งระบุว่าโอกาสที่ใหญ่ที่สุดและเชื่อถือได้ทางสถิติที่สุดอยู่ที่ใดในฟันเนล และเป็นชั้นการตรวจสอบสุดท้าย ซึ่งยืนยันว่าสมมติฐานที่เกิดจากการวิจัยเชิงคุณภาพให้ผลลัพธ์ทางธุรกิจที่วัดได้จริงหรือไม่เมื่อนำไปใช้ แนวปฏิบัติของที่ปรึกษาที่เติบโตเต็มที่มักรักษาตัวชี้วัดความเร็วในการทดสอบ (testing velocity) และอัตราการชนะ (win rate) ทั่วทุกการทดลองที่ทำให้ลูกค้า โดยใช้ผลเชิงปริมาณในอดีตเพื่อปรับปรุงอย่างต่อเนื่องว่าสมมติฐานประเภทใดควรได้รับความสำคัญในรอบการเพิ่มประสิทธิภาพครั้งต่อไป
เพื่อเป็นภาพประกอบเชิงรูปธรรม สมมติว่าหน้าชำระเงินมีอัตราการแปลงปัจจุบัน 3.2 เปอร์เซ็นต์ และทีมต้องการตรวจสอบว่าฟอร์มที่ออกแบบใหม่ปรับปรุงอัตรานั้นได้ 15 เปอร์เซ็นต์สัมพัทธ์ หรือเป็นประมาณ 3.7 เปอร์เซ็นต์หรือไม่ การคำนวณขนาดตัวอย่างมาตรฐานที่ความเชื่อมั่น 95 เปอร์เซ็นต์และกำลังทางสถิติ 80 เปอร์เซ็นต์ อาจชี้ว่าแต่ละตัวแปรต้องมีผู้เข้าชมหลายหมื่นรายก่อนจึงจะสรุปการทดสอบได้อย่างเชื่อถือได้ หากหน้าเพจมีผู้เข้าชมเพียงไม่กี่พันรายต่อสัปดาห์ ความเข้มงวดเชิงปริมาณกำหนดให้ทีมต้องยอมรับระยะเวลาทดสอบหลายสัปดาห์ ตั้งเป้าขนาดผลที่คาดหวังให้ใหญ่ขึ้น หรือย้ายความพยายามทดสอบไปยังหน้าที่มีทราฟฟิกสูงกว่าในฟันเนลซึ่งได้ผลที่มีความหมายเร็วกว่า แทนที่จะประกาศผลการทดสอบที่มีกำลังไม่พอเร็วเกินไปและเสี่ยงต่อข้อสรุปที่ผิดพลาด
