การทดสอบ A/B คือวิธีการทดลองแบบมีกลุ่มควบคุมที่ใช้เปรียบเทียบเว็บเพจ หน้าจอแอป อีเมล หรือสื่อดิจิทัลตั้งแต่สองเวอร์ชันขึ้นไป เพื่อดูว่าเวอร์ชันใดให้ผลลัพธ์ดีกว่าตามเป้าหมายที่กำหนด เช่น อัตราการคลิก อัตราการลงทะเบียน หรือรายได้ต่อผู้เข้าชม ในรูปแบบที่เรียบง่ายที่สุด ทราฟฟิกจะถูกแบ่งแบบสุ่มระหว่างเวอร์ชันควบคุม (A) และเวอร์ชันทดลอง (B) จากนั้นนำข้อมูลที่ได้ไปวิเคราะห์ทางสถิติเพื่อตัดสินว่าความแตกต่างของผลลัพธ์เป็นผลจริงหรือเป็นเพียงความผันผวนแบบสุ่ม เทคนิคนี้ยืมแนวคิดโดยตรงจากระเบียบวิธีการทดลองแบบสุ่มที่มีกลุ่มควบคุมซึ่งใช้ในงานวิจัยทางคลินิกและวิทยาศาสตร์การเกษตร จึงเป็นเหตุให้ผู้ปฏิบัติงานมักพูดถึงนัยสำคัญทางสถิติ ช่วงความเชื่อมั่น และการคำนวณขนาดตัวอย่างเมื่อออกแบบการทดสอบ
การทดสอบ A/B มีความสำคัญเพราะเข้ามาแทนที่ความเห็นส่วนตัวและการถกเถียงภายในองค์กรด้วยหลักฐานเชิงประจักษ์ว่าผู้เข้าชมจริงมีพฤติกรรมอย่างไร ทีมออกแบบและทีมการตลาดมักเห็นต่างกันว่าพาดหัว สีปุ่ม เลย์เอาต์ หรือโครงสร้างราคาแบบใดจะแปลงผู้เข้าชมเป็นลูกค้าได้ดีกว่า และสัญชาตญาณก็เป็นเครื่องนำทางที่ไม่น่าเชื่อถือ งานศึกษาจากเว็บไซต์อีคอมเมิร์ซและ SaaS พบซ้ำแล้วซ้ำเล่าว่า การเปลี่ยนแปลงที่คาดว่าจะช่วยเพิ่มอัตราการแปลงนั้นไม่ได้ผล หรือแม้แต่ทำให้อัตราลดลง ในราว 80 ถึง 90 เปอร์เซ็นต์ของการทดสอบที่ดำเนินการ การนำสมมติฐานไปทดสอบกับผู้ชมจริงและวัดผลโดยตรง ช่วยให้องค์กรยืนยันหรือปฏิเสธไอเดียได้ก่อนจะลงทุนเวลาของทีมวิศวกรรม งบการตลาด หรือเสี่ยงต่อแบรนด์ในการเปิดตัวเต็มรูปแบบ
การทดสอบ A/B ที่ถูกต้องต้องทำมากกว่าการแบ่งทราฟฟิกแล้วเปรียบเทียบจำนวนการแปลง นักวิเคราะห์จะคำนวณขนาดตัวอย่างขั้นต่ำล่วงหน้า โดยอิงจากอัตราการแปลงพื้นฐาน ผลกระทบขั้นต่ำที่ตรวจจับได้ (minimum detectable effect) ซึ่งธุรกิจให้ความสำคัญ รวมถึงอำนาจการทดสอบทางสถิติที่ต้องการ (โดยทั่วไป 80 เปอร์เซ็นต์) และระดับนัยสำคัญ (โดยทั่วไป 95 เปอร์เซ็นต์ หรือค่า p ต่ำกว่า 0.05) การทดสอบมักดำเนินการอย่างน้อยหนึ่งถึงสองรอบธุรกิจเต็ม ซึ่งมักอยู่ที่ 14 ถึง 30 วัน เพื่อรองรับผลของวันในสัปดาห์และเลี่ยงการหยุดทดสอบเร็วเกินไปเพราะความผันผวนแบบสุ่ม ซึ่งเป็นความผิดพลาดที่เรียกว่า peeking เครื่องมืออย่าง VWO, Optimizely และ AB Tasty ช่วยจัดการการสุ่ม การติดตาม และการคำนวณทางสถิติ แต่การตีความผลลัพธ์ยังต้องอาศัยความเข้าใจแนวคิดอย่าง sample ratio mismatch และ novelty effect
ความเข้าใจผิดที่พบบ่อยคือการเชื่อว่าผลที่มีนัยสำคัญทางสถิติจากการทดสอบครั้งเดียวเป็นความจริงถาวรที่ใช้ได้ทุกกรณี ในความเป็นจริง ผลลัพธ์ขึ้นอยู่กับกลุ่มทราฟฟิก ช่วงเวลา และบริบทที่ทำการทดสอบ และอาจเสื่อมลงหรือกลับด้านได้เมื่อกลุ่มผู้ชม ฤดูกาล หรือสภาพการแข่งขันเปลี่ยนไป อีกข้อผิดพลาดที่พบบ่อยคือการทดสอบตัวแปรจำนวนมากพร้อมกันโดยมีทราฟฟิกไม่เพียงพอ ซึ่งทำให้การทดสอบมีอำนาจไม่พอ รายงานผลบวกลวง หรือไม่สามารถถึงระดับนัยสำคัญได้เลย การทดสอบแบบพหุตัวแปร (multivariate testing) ที่พิจารณาชุดค่าผสมของหลายองค์ประกอบพร้อมกัน ต้องใช้ทราฟฟิกมากกว่าการทดสอบ A/B แบบสองเวอร์ชันอย่างมาก และไม่ใช่ทางลัดที่จะหลีกเลี่ยงข้อกำหนดด้านขนาดตัวอย่างได้
ในงานที่ปรึกษาด้าน CRO หรือ UX การทดสอบ A/B คือกลไกที่เปลี่ยนผลการวิจัยเชิงคุณภาพ เช่น การสัมภาษณ์ผู้ใช้ ฮีตแมป และการบันทึกเซสชัน ให้กลายเป็นการตัดสินใจที่ผ่านการพิสูจน์และสร้างผลต่อรายได้ได้จริง โปรแกรมการทดสอบที่ดำเนินการอย่างเป็นระบบมักมีขั้นตอนดังนี้ ระบุจุดที่เป็นอุปสรรคจากข้อมูลและงานวิจัย ตั้งสมมติฐานที่เฉพาะเจาะจงว่าเหตุใดจึงเกิดปัญหาและจะแก้ไขอย่างไร จัดลำดับความสำคัญเทียบกับไอเดียอื่นด้วยกรอบการให้คะแนน รันการทดลองจนได้ความน่าเชื่อถือทางสถิติ และบันทึกบทเรียนที่ได้ไม่ว่าเวอร์ชันทดลองจะชนะหรือแพ้ เมื่อเวลาผ่านไป สิ่งนี้จะสร้างแผนงานที่อิงหลักฐาน ซึ่งลดความเสี่ยงจากการออกแบบใหม่ที่สิ้นเปลือง และสั่งสมความรู้ขององค์กรว่าอะไรผลักดันพฤติกรรมของลูกค้าบนเว็บไซต์นั้นจริง ๆ
คำศัพท์เพิ่มเติมที่ขึ้นต้นด้วย A
AARRR Pirate Metricsครึ่งบนของหน้าจอ (Above the Fold)เกณฑ์การยอมรับ (Acceptance Criteria)การเข้าถึงได้ (การปฏิบัติตามมาตรฐาน WCAG)การตรวจสอบการเข้าถึง (Accessibility Audit)การตลาดแบบแอฟฟิลิเอต (Affiliate Marketing)แอฟฟอร์แดนซ์ (Affordance)การพัฒนาแบบ Agile (Agile Development)Atomic Designการระบุที่มาของการแปลง (Attribution Modeling)หน้าต่างการระบุที่มา (Attribution Window)มูลค่าการสั่งซื้อเฉลี่ย (AOV)
