การวิจัยเชิงปริมาณ การวิจัยเชิงปริมาณ คือการรวบรวมและวิเคราะห์ข้อมูลเชิงตัวเลขเกี่ยวกับพฤติกรรมของผู้ใช้ โดยใช้เพื่อวัดขนาด ความถี่ และความสำคัญของรูปแบบต่างๆ ในกลุ่มผู้ใช้จำนวนมาก แทนที่จะใช้เพื่ออธิบายแรงจูงใจของแต่ละบุคคล ในบริบทของ UX และการเพิ่มประสิทธิภาพการแปลง (Conversion Optimization) วิธีการเชิงปริมาณที่ใช้กันทั่วไป ได้แก่ การรายงานการวิเคราะห์เว็บ การวิเคราะห์ช่องทาง (Funnel Analysis) การทดสอบ A/B และการทดสอบแบบหลายตัวแปร การติดตามการคลิกและการเลื่อนที่รวบรวมจากหลายๆ เซสชัน และแบบสำรวจที่มีโครงสร้างพร้อมคำถามแบบปิดที่สร้างข้อมูลที่เหมาะสมสำหรับการเปรียบเทียบทางสถิติ เช่น คะแนน Net Promoter Score หรือคะแนน System Usability Scale ลักษณะเด่นของการวิจัยเชิงปริมาณคือข้อสรุปจะแสดงออกมาในรูปของค่าที่วัดได้ เช่น อัตราการแปลง ระดับความเชื่อมั่นทางสถิติ หรือขนาดของผลกระทบ ซึ่งสามารถเปรียบเทียบได้อย่างเป็นกลางในช่วงเวลาหรือรูปแบบต่างๆ
ระเบียบวิธีเชิงปริมาณมีความสำคัญอย่างยิ่งต่อการเพิ่มประสิทธิภาพอัตราการแปลง (Conversion Rate Optimization หรือ CRO) เพราะให้หลักฐานที่จำเป็นในการตรวจสอบว่าการเปลี่ยนแปลงที่เสนอช่วยปรับปรุงผลลัพธ์ได้จริงหรือไม่ แทนที่จะเป็นเพียงความรู้สึกว่าดีขึ้นสำหรับทีมที่ทำการเปลี่ยนแปลงนั้น หากปราศจากการตรวจสอบเชิงปริมาณ การตัดสินใจด้านการออกแบบและการตลาดจะขึ้นอยู่กับความคิดเห็น การเมืองภายใน หรือความชอบส่วนตัว ซึ่งงานวิจัยแสดงให้เห็นอย่างสม่ำเสมอว่ามีความสัมพันธ์ที่ไม่ดีกับพฤติกรรมของผู้ใช้จริง การทดสอบ A/B ซึ่งเป็นวิธีการเชิงปริมาณที่พบได้บ่อยที่สุดใน CRO จำเป็นต้องมีขนาดตัวอย่างที่คำนวณไว้ล่วงหน้าและระดับความเชื่อมั่นทางสถิติ โดยทั่วไปคือ 95 เปอร์เซ็นต์ ก่อนที่จะถือว่าผลลัพธ์นั้นเชื่อถือได้ และโดยทั่วไปการทดสอบจะดำเนินการอย่างน้อยหนึ่งถึงสองรอบธุรกิจเต็ม ซึ่งมักจะสองถึงสี่สัปดาห์ เพื่อพิจารณาความผันแปรของพฤติกรรมที่เกี่ยวข้องกับวันในสัปดาห์และวันจ่ายเงินเดือน ซึ่งอาจทำให้ผลลัพธ์ในระยะสั้นผิดเพี้ยนไปได้
นอกเหนือจากการทดลองแบบควบคุมแล้ว การวิจัยเชิงปริมาณยังรวมถึงการวิเคราะห์เชิงสังเกตข้อมูลพฤติกรรมที่มีอยู่ เช่น การแบ่งอัตราการแปลงตามแหล่งที่มาของการเข้าชม ประเภทอุปกรณ์ หรือภูมิศาสตร์ เพื่อระบุว่าประสิทธิภาพแตกต่างกันอย่างมีนัยสำคัญที่ใด และการวิเคราะห์กลุ่มผู้ใช้ ซึ่งติดตามพฤติกรรมของกลุ่มผู้ใช้เฉพาะกลุ่ม เช่น ทุกคนที่ลงทะเบียนในเดือนใดเดือนหนึ่ง ในช่วงสัปดาห์หรือเดือนต่อๆ ไป ซึ่งมักใช้ในการวัดแนวโน้มการรักษาลูกค้าและมูลค่าตลอดอายุการใช้งาน แนวคิดทางสถิติที่สำคัญต่อการวิจัยเชิงปริมาณที่ดี ได้แก่ การคำนวณขนาดตัวอย่าง ซึ่งกำหนดจำนวนการสังเกตที่จำเป็นในการตรวจจับผลกระทบที่มีความหมายที่ระดับความเชื่อมั่นที่กำหนด และการหลีกเลี่ยงปัญหาการเปรียบเทียบหลายรายการ ซึ่งการทดสอบตัวชี้วัดหลายตัวพร้อมกันจะเพิ่มโอกาสในการพบผลลัพธ์ที่มีนัยสำคัญอย่างผิดพลาดโดยบังเอิญ
ความเข้าใจผิดที่พบบ่อยคือ ข้อมูลเชิงปริมาณนั้นมีความเป็นกลางโดยเนื้อแท้ และดังนั้นจึงไม่จำเป็นต้องตีความอย่างระมัดระวัง ในความเป็นจริง ผลลัพธ์เชิงปริมาณอาจทำให้เข้าใจผิดได้หากการเก็บรวบรวมข้อมูลพื้นฐานมีข้อบกพร่อง เช่น การเข้าชมจากบอททำให้จำนวนผู้เข้าชมสูงเกินจริง รหัสติดตามทำงานผิดพลาดบนอุปกรณ์บางอย่าง หรือการทดสอบปนเปื้อนด้วยแคมเปญการตลาดที่ไม่เกี่ยวข้องซึ่งดำเนินการพร้อมกัน อีกข้อผิดพลาดที่พบบ่อย ซึ่งบางครั้งเรียกว่าความผิดพลาดของอัตราพื้นฐานในบริบทนี้ คือการมุ่งเน้นไปที่การเปลี่ยนแปลงเป็นเปอร์เซ็นต์สัมพัทธ์โดยไม่พิจารณาจำนวนการแปลงที่เกี่ยวข้องทั้งหมด เนื่องจากตัวเลขการเพิ่มขึ้น 50 เปอร์เซ็นต์ที่รายงานโดยอิงจากการแปลงเพียงไม่กี่ครั้งนั้นมีความน่าเชื่อถือทางสถิติน้อยกว่าการเพิ่มขึ้น 10 เปอร์เซ็นต์ที่วัดจากการแปลงหลายพันครั้ง
ในการทำงานด้าน CRO และการให้คำปรึกษาด้านการเติบโต การวิจัยเชิงปริมาณเป็นทั้งจุดเริ่มต้นในการวินิจฉัย โดยระบุว่าโอกาสที่ใหญ่ที่สุดและน่าเชื่อถือที่สุดทางสถิติอยู่ที่ใดในกระบวนการทำงาน และเป็นขั้นตอนการตรวจสอบขั้นสุดท้าย เพื่อยืนยันว่าสมมติฐานที่สร้างขึ้นจากการวิจัยเชิงคุณภาพนั้นก่อให้เกิดผลลัพธ์ทางธุรกิจที่วัดได้จริงหรือไม่เมื่อนำไปใช้ โดยทั่วไปแล้ว บริษัทให้คำปรึกษาที่มีประสบการณ์จะรักษาตัวชี้วัดความเร็วในการทดสอบและอัตราความสำเร็จในการทดลองทั้งหมดที่ดำเนินการให้กับลูกค้า โดยใช้ผลลัพธ์เชิงปริมาณในอดีตเพื่อปรับปรุงอย่างต่อเนื่องว่าสมมติฐานประเภทใดควรให้ความสำคัญในรอบการเพิ่มประสิทธิภาพในอนาคต
เพื่อเป็นตัวอย่างที่เป็นรูปธรรม สมมติว่าหน้าชำระเงินปัจจุบันมีอัตราการแปลงอยู่ที่ 3.2 เปอร์เซ็นต์ และทีมงานต้องการตรวจสอบว่าแบบฟอร์มที่ออกแบบใหม่จะช่วยเพิ่มอัตรานั้นได้ 15 เปอร์เซ็นต์ หรือประมาณ 3.7 เปอร์เซ็นต์หรือไม่ การคำนวณขนาดตัวอย่างมาตรฐานที่ระดับความเชื่อมั่น 95 เปอร์เซ็นต์ และกำลังทางสถิติ 80 เปอร์เซ็นต์ อาจบ่งชี้ว่าแต่ละแบบต้องมีผู้เข้าชมหลายหมื่นคนก่อนจึงจะสามารถสรุปผลการทดสอบได้อย่างน่าเชื่อถือ หากหน้าเว็บมีผู้เข้าชมเพียงไม่กี่พันคนต่อสัปดาห์ ความเข้มงวดเชิงปริมาณเรียกร้องให้ทีมงานยอมรับระยะเวลาการทดสอบหลายสัปดาห์ กำหนดเป้าหมายขนาดผลกระทบที่คาดหวังให้ใหญ่ขึ้น หรือเปลี่ยนทิศทางการทดสอบไปยังหน้าเว็บที่มีปริมาณการเข้าชมสูงกว่าในขั้นตอนการขาย ซึ่งสามารถบรรลุผลลัพธ์ที่มีความหมายได้เร็วกว่า แทนที่จะยุติการทดสอบที่มีกำลังไม่เพียงพอตั้งแต่เนิ่นๆ และเสี่ยงต่อการได้ข้อสรุปที่ผิดพลาด