กลุ่มต่อต้าน

กลุ่มควบคุม (Holdout group) คือกลุ่มตัวอย่างที่ถูกเลือกแบบสุ่มจากกลุ่มเป้าหมาย โดยจงใจไม่ให้กลุ่มนี้ได้รับผลกระทบจากการเปลี่ยนแปลง แคมเปญ หรือโครงการเปลี่ยนแปลงทั้งหมด เพื่อให้สามารถเปรียบเทียบผลกระทบโดยรวมของกลุ่มนี้กับกลุ่มอื่นๆ ได้ ในขณะที่การทดลองแบบมาตรฐานจะเปรียบเทียบสองเวอร์ชันของสิ่งหนึ่งสิ่งใดเป็นเวลาสองสามสัปดาห์ แต่การทดสอบแบบกลุ่มควบคุมจะวัดผลกระทบโดยรวมของการตัดสินใจหลายอย่างในช่วงหลายเดือน ซึ่งจะตอบคำถามที่การทดสอบแต่ละครั้งไม่สามารถตอบได้ นั่นคือ การดำเนินการทั้งหมดนี้ได้ช่วยขับเคลื่อนธุรกิจไปข้างหน้าจริงหรือไม่

ความจำเป็นนี้เกิดขึ้นจากปัญหาทางบัญชีที่รู้จักกันดีในโครงการเพิ่มประสิทธิภาพและการตลาด การทดลองแต่ละครั้งจะรายงานผลลัพธ์ที่เพิ่มขึ้นเป็นรายบุคคล และผลลัพธ์เหล่านั้นจะถูกรวมเข้าด้วยกันเป็นตัวเลขผลกระทบประจำปีที่นำเสนอต่อผู้บริหาร แต่ผลรวมมักจะมากกว่าความเป็นจริงเสมอ เพราะผลลัพธ์ที่ดีนั้นซ้อนทับกัน ลดลง มีปฏิสัมพันธ์กัน และมักถูกประเมินสูงเกินไปจากการหยุดการทดลองก่อนกำหนดหรือจากปรากฏการณ์ "คำสาปของผู้ชนะ" การทดสอบแบบต่อเนื่องระยะยาวจะให้การวัดผลโดยตรงเพียงครั้งเดียวของการมีส่วนร่วมของโครงการทั้งหมด ซึ่งจะช่วยยืนยันตัวเลขที่รายงานหรือเปิดเผยช่องว่างที่จำเป็นต้องอธิบาย

การระงับการทดลองมีหลายรูปแบบ การระงับการทดลองหลังการเปิดตัวจะคงผู้ใช้จำนวนเล็กน้อยไว้ในกลุ่มควบคุมหลังจากที่ได้เปิดตัวเวอร์ชันที่ประสบความสำเร็จแล้ว เพื่อให้สามารถติดตามผลกระทบได้เป็นเวลาหลายเดือนและตรวจสอบการลดลงของประสิทธิภาพ การระงับการทดลองในระดับโปรแกรมจะยกเว้นผู้ใช้บางส่วนจากทุกการเปลี่ยนแปลงการปรับปรุงประสิทธิภาพเป็นเวลาหนึ่งไตรมาสหรือนานกว่านั้น การระงับการทดลองทางการตลาดจะระงับการติดต่อแคมเปญสำหรับกลุ่มย่อยแบบสุ่มเพื่อวัดผลตอบรับที่เพิ่มขึ้นแทนที่จะเป็นผลตอบรับที่ระบุ ซึ่งมักแสดงให้เห็นว่าการแปลงที่ได้รับเครดิตจำนวนมากจะเกิดขึ้นอยู่แล้วไม่ว่าอย่างไรก็ตาม แต่ละวิธีตอบคำถามที่แตกต่างกัน และแต่ละวิธีจำเป็นต้องเลือกกลุ่มที่ถูกยกเว้นแบบสุ่มและรักษาให้คงที่ตลอดช่วงเวลาการวัด

ข้อกำหนดในการออกแบบนั้นค่อนข้างเข้มงวด กลุ่มตัวอย่างต้องมีขนาดใหญ่พอที่จะตรวจจับผลกระทบสะสมที่คาดหวังได้ ซึ่งโดยปกติแล้วจะง่ายกว่าการทดสอบเพียงครั้งเดียว เนื่องจากผลกระทบที่วัดได้มีขนาดใหญ่กว่า การกำหนดกลุ่มตัวอย่างต้องคงอยู่ตลอดการทดสอบ ในทุกอุปกรณ์ (ถ้าเป็นไปได้) และในทุกช่องทาง มิฉะนั้น การปนเปื้อนจะทำให้การเปรียบเทียบไม่น่าเชื่อถือ การยกเว้นต้องได้รับการบังคับใช้อย่างแท้จริง ซึ่งยากกว่าที่คิดเมื่อมีหลายทีมกำลังส่งการเปลี่ยนแปลงผ่านกลไกที่แตกต่างกัน และองค์กรต้องยอมรับต้นทุนโดยเจตนาของการระงับการปรับปรุงจากลูกค้าจริงเป็นระยะเวลานาน ซึ่งเป็นการตัดสินใจด้านการกำกับดูแลมากกว่าการวิเคราะห์

ต้นทุนนั้นเป็นข้อโต้แย้งหลัก และสมควรได้รับคำตอบที่ตรงไปตรงมา การกันปริมาณการเข้าชม 5 เปอร์เซ็นต์จากโปรแกรมที่ช่วยเพิ่มอัตราการแปลงอย่างแท้จริงนั้น ย่อมทำให้สูญเสียรายได้ไปบ้าง ข้อโต้แย้งอีกด้านหนึ่งคือ หากไม่มีการทดลองกับกลุ่มตัวอย่าง ก็จะไม่มีใครรู้ว่าโปรแกรมนั้นช่วยเพิ่มอัตราการแปลงได้จริงหรือไม่ และโดยทั่วไปแล้วจำนวนเงินที่ใช้ไปกับการทดลองนั้นมักจะมากกว่ารายได้ที่สูญเสียไปจากกลุ่มที่ถูกตัดออกไป องค์กรที่ทำการทดลองกับกลุ่มตัวอย่างในระดับโปรแกรมเป็นครั้งแรก มักพบว่าผลที่วัดได้นั้นน้อยกว่าผลรวมของการทดสอบที่คาดการณ์ไว้ ซึ่งเป็นเรื่องที่น่าไม่สบายใจ แต่ก็เป็นข้อมูลที่จำเป็นอย่างยิ่งในการจัดสรรงบประมาณอย่างเหมาะสม

การพูดคุยภายในเกี่ยวกับการไม่ยอมเข้าร่วมโครงการมักจะราบรื่นกว่าเมื่อมีการระบุต้นทุนอย่างเป็นรูปธรรม แทนที่จะปล่อยให้เป็นเพียงนามธรรม หากผลกระทบที่คาดการณ์ไว้ของโครงการคือการปรับปรุงในเปอร์เซ็นต์ที่กำหนด การระงับการใช้งานห้าเปอร์เซ็นต์ก็เท่ากับการสูญเสียการปรับปรุงห้าเปอร์เซ็นต์นั้น ซึ่งโดยทั่วไปแล้วเป็นตัวเลขเล็กน้อยเมื่อเทียบกับต้นทุนของโครงการเอง และเล็กน้อยอย่างไม่มีนัยสำคัญเมื่อเทียบกับความเสี่ยงของการลงทุนอย่างต่อเนื่องในสิ่งที่ไม่ทราบผลลัพธ์ นอกจากนี้ การมองกลุ่มดังกล่าวเป็นเครื่องมือวัดผลอย่างต่อเนื่อง แทนที่จะเป็นการถูกตัดทอน ก็ช่วยให้เข้าใจได้ง่ายขึ้น เนื่องจากกลไกเดียวกันนี้สนับสนุนการติดตามการเสื่อมถอยหลังการเปิดตัว และเป็นพื้นฐานสำหรับการกล่าวอ้างใดๆ เกี่ยวกับคุณค่าของโครงการในภายหลัง ในกรณีที่การระงับการปรับปรุงทำให้เกิดข้อกังวลเรื่องความยุติธรรม เช่น ในบริการที่มีข้อผูกพันตามกฎหมายหรือสัญญา การตอบสนองที่เหมาะสมคือการใช้กลุ่มที่เล็กลง ระยะเวลาที่สั้นลง หรือการออกแบบตามภูมิศาสตร์ แทนที่จะละทิ้งการวัดผลโดยสิ้นเชิง

การสร้างพื้นที่ต่อต้านมักเป็นหนึ่งในคำแนะนำที่มีผลกระทบมากที่สุด การจัดการการเจริญเติบโต การมีส่วนร่วม เนื่องจากเป็นการเปลี่ยนแปลงเกณฑ์การประเมินโครงการทั้งหมด จากรายงานรายบุคคลจำนวนมากไปเป็นผลลัพธ์ที่วัดได้เพียงอย่างเดียว การดำเนินการโดยปกติแล้วต้องอาศัยความสามารถในการแบ่งกลุ่มเป้าหมายและการระบุตัวตนที่ระบบดูแลรักษาอยู่ การวิเคราะห์ข้อมูล ฟังก์ชันนี้ใช้ไม่ได้ผล เพราะการรั่วไหลผ่านช่องทางหรืออุปกรณ์ต่างๆ จะวัดค่าอะไรที่ไม่น่าเชื่อถือเลย