การทดสอบแบบหลายตัวแปร (Multivariate Testing หรือ MVT) คือวิธีการทดลองที่ใช้ตรวจสอบว่าองค์ประกอบหลายส่วนบนหน้าเพจมีปฏิสัมพันธ์ต่อกันอย่างไร โดยทดสอบรูปแบบต่าง ๆ ของส่วนประกอบตั้งแต่สองส่วนขึ้นไปบนหน้าเดียวกันพร้อมกัน และวัดผลรวมที่เกิดกับตัวชี้วัดเป้าหมาย เช่น อัตราการแปลง ขณะที่การทดสอบ A/B มาตรฐานเปรียบเทียบหน้าเพจฉบับเต็มหนึ่งกับอีกฉบับหนึ่ง การทดสอบแบบหลายตัวแปรอาจปรับพาดหัวสองแบบและภาพหลักสามแบบพร้อมกัน ทำให้เกิดชุดผสมที่แตกต่างกันหกแบบ ซึ่งแสดงให้ผู้เข้าชมกลุ่มต่าง ๆ ผลลัพธ์ที่ได้ไม่เพียงระบุว่าชุดผสมใดให้ผลดีที่สุดโดยรวม แต่ยังเผยให้เห็นว่าแต่ละองค์ประกอบมีส่วนช่วยเท่าใด และองค์ประกอบเหล่านั้นมีปฏิสัมพันธ์กันหรือไม่ ซึ่งหมายถึงผลของส่วนประกอบหนึ่งขึ้นอยู่กับว่าถูกจับคู่กับส่วนประกอบอื่นในเวอร์ชันใด
แนวทางนี้มีประโยชน์เมื่อทีมต้องการเข้าใจว่าองค์ประกอบใดของหน้าเพจที่ขับเคลื่อนประสิทธิภาพ แทนที่จะเพียงยืนยันว่าการออกแบบใหม่ทั้งหน้าชนะการออกแบบเดิม ตัวอย่างเช่น แลนดิงเพจที่ออกแบบใหม่และทดสอบเป็นตัวแปร A/B เดียวอาจชนะ แต่หากไม่มีการทดสอบแบบหลายตัวแปรก็ไม่อาจทราบได้ว่าผลที่ดีขึ้นมาจากพาดหัวใหม่ ตำแหน่งแบบฟอร์มที่ย้าย หรือภาพที่ปรับปรุง ซึ่งเป็นข้อมูลสำคัญเมื่อนำบทเรียนไปใช้กับหน้าอื่น การทดสอบแบบหลายตัวแปรเหมาะที่สุดกับหน้าเพจที่มีทราฟฟิกสูง เพราะข้อกำหนดทางสถิติในการตรวจจับความแตกต่างที่มีความหมายในหลายชุดผสม ซึ่งมักเรียกว่าเซลล์ (cell) เพิ่มขึ้นอย่างมากเมื่อมีตัวแปรเพิ่ม การออกแบบแบบแฟกทอเรียลเต็มรูปแบบ (full factorial) ที่มีสองตัวแปรและตัวแปรละสามรูปแบบต้องใช้เก้าเซลล์ และแต่ละเซลล์ต้องมีขนาดตัวอย่างเพียงพอ ซึ่งมักเป็นหลักร้อยหรือหลักพันคอนเวอร์ชันต่อเซลล์ จึงจะได้นัยสำคัญทางสถิติที่เชื่อถือได้
เนื่องจากข้อกำหนดด้านทราฟฟิกนี้ MVT จึงมักสงวนไว้สำหรับหน้าเพจที่มีปริมาณผู้เข้าชมมากอยู่แล้ว เช่น หน้าแรกของอีคอมเมิร์ซหรือหน้าสินค้าที่ผู้ใช้มีความตั้งใจซื้อสูง และใช้ได้ยากกว่ากับหน้าที่มีทราฟฟิกต่ำ เช่น แลนดิงเพจ B2B เฉพาะกลุ่ม ซึ่งการทำการทดสอบ A/B แบบง่ายต่อเนื่องกันมักได้ข้อสรุปที่นำไปปฏิบัติได้เร็วกว่า แพลตฟอร์มการทดสอบโดยทั่วไปมีแนวทางทางสถิติสำหรับการทดสอบแบบหลายตัวแปรสองแบบ ได้แก่ แฟกทอเรียลเต็มรูปแบบ ซึ่งทดสอบทุกชุดผสมที่เป็นไปได้เพื่อให้ได้ข้อมูลเชิงลึกสูงสุด และแฟกทอเรียลแบบเศษส่วนหรือวิธีทากูจิ (Taguchi) ซึ่งทดสอบเพียงชุดย่อยของชุดผสมเพื่อให้ได้ข้อสรุปเร็วขึ้น โดยแลกกับข้อมูลปฏิสัมพันธ์บางส่วน
ความเข้าใจผิดที่พบบ่อยคือการมองว่าการทดสอบแบบหลายตัวแปรเป็นเพียงวิธีที่เร็วกว่าในการรันการทดสอบ A/B หลายรายการพร้อมกัน ในความเป็นจริงต้องใช้ทราฟฟิกมากกว่าอย่างมีนัยสำคัญและใช้ระยะเวลาทดสอบนานกว่า จึงจะได้ความเชื่อมั่นทางสถิติเท่ากับการทดสอบ A/B เพียงครั้งเดียว เพราะทราฟฟิกถูกแบ่งไปยังตัวแปรจำนวนมากกว่า การรันการทดสอบแบบหลายตัวแปรที่มีกำลังไม่เพียงพอ (underpowered) ซึ่งหมายถึงยังไม่ถึงขนาดตัวอย่างที่ต้องการต่อเซลล์ก็นำผลมาตีความแล้ว เป็นหนึ่งในสาเหตุที่พบบ่อยที่สุดของข้อสรุปที่ผิดพลาดในงานเพิ่มประสิทธิภาพอัตราการแปลง เช่นเดียวกับการหยุดการทดสอบก่อนเวลาโดยอาศัยผลนำในสัปดาห์แรก แทนที่จะรันตามระยะเวลาที่วางแผนไว้ทั้งหมด ซึ่งมักกำหนดไว้ที่สองถึงสี่สัปดาห์เพื่อรองรับความผันแปรตามฤดูกาลรายสัปดาห์
ในแนวปฏิบัติของที่ปรึกษาด้าน CRO การทดสอบแบบหลายตัวแปรมักถูกวางตำแหน่งเป็นเครื่องมือขั้นสูงที่ใช้หลังจากการทดสอบ A/B ที่ง่ายกว่ายืนยันทิศทางทั่วไปของสมมติฐานแล้ว และสงวนไว้สำหรับกรณีที่ลูกค้ามีทราฟฟิกเพียงพอและต้องการข้อมูลเชิงลึกระดับละเอียดว่าควรจัดลำดับความสำคัญกับองค์ประกอบใดของหน้าเพจในงานออกแบบครั้งถัดไป ที่ปรึกษามักนำผลจาก MVT มาจับคู่กับการวิจัยเชิงคุณภาพ เช่น ฮีตแมปหรือการสัมภาษณ์ผู้ใช้ เพื่ออธิบายไม่เพียงว่าชุดผสมใดชนะในเชิงตัวเลข แต่ยังอธิบายว่าเหตุใดผู้ใช้จึงตอบสนองต่อชุดนั้น เปลี่ยนการทดลองครั้งเดียวให้เป็นหลักการออกแบบที่นำกลับมาใช้ซ้ำได้ และเป็นแนวทางให้กับหน้าอื่น ๆ นอกเหนือจากหน้าที่ทดสอบในตอนแรก
ลองพิจารณาตัวอย่างที่เป็นรูปธรรม ทีมงานหน้าสินค้าของอีคอมเมิร์ซต้องการทดสอบพาดหัวสองแบบและสไตล์ภาพสินค้าสองแบบพร้อมกัน การทดสอบแบบหลายตัวแปรแบบแฟกทอเรียลเต็มรูปแบบจะได้สี่ชุดผสม และหากหน้านี้มีอัตราการแปลงพื้นฐาน 5 เปอร์เซ็นต์ และทีมต้องการตรวจจับการปรับปรุงสัมพัทธ์ 10 เปอร์เซ็นต์ในเซลล์ใดเซลล์หนึ่งอย่างเชื่อถือได้ ขนาดตัวอย่างที่ต้องการต่อเซลล์อาจสูงถึงหลายพันผู้เข้าชมได้โดยง่าย หมายความว่าหน้าเพจต้องมีผู้เข้าชมรวมหลายหมื่นรายก่อนการทดสอบจะสิ้นสุด หากหน้านี้มีผู้เข้าชมเพียงไม่กี่พันรายต่อเดือน การทดสอบเดียวกันจะใช้เวลาหลายเดือนกว่าจะถึงนัยสำคัญ และในกรณีนั้นการรันการทดสอบ A/B สองครั้งต่อเนื่องกัน โดยแยกทดสอบพาดหัวก่อนแล้วจึงทดสอบภาพ มักให้คำตอบที่มั่นใจและนำไปปฏิบัติได้เร็วกว่ามาก
คำศัพท์เพิ่มเติมที่ขึ้นต้นด้วย M
การประเมินขนาดตลาด (Market Sizing)ระบบอัตโนมัติทางการตลาด (Marketing Automation)การสร้างแบบจำลองส่วนผสมทางการตลาด (Marketing Mix Modeling: MMM)ลีดที่ผ่านการคัดกรองโดยฝ่ายการตลาด (Marketing Qualified Lead: MQL)แบบจำลองความพร้อม (Maturity Model)ชุดสื่อสำหรับสื่อมวลชน (Media Kit)การวางแผนสื่อ (Media Planning)แบบจำลองความคิด (Mental Model)การจัดสินค้า (Merchandising)ไมโครคอนเวอร์ชัน (Micro-Conversions)ไมโครคอปปี้ (Microcopy)ผลที่ตรวจจับได้ขั้นต่ำ (Minimum Detectable Effect: MDE)
