ตัวชี้วัดควบคุม (Guardrail metric) คือมาตรวัดที่ใช้ติดตามระหว่างการทดลอง ไม่ใช่เพื่อตัดสินว่าตัวแปรนั้นชนะหรือไม่ แต่เพื่อตรวจจับว่ามันก่อให้เกิดความเสียหายที่ไม่สามารถยอมรับได้ในที่อื่นหรือไม่ ตัวชี้วัดหลักตอบคำถามที่การทดสอบถูกออกแบบมาเพื่อถาม ในขณะที่ตัวชี้วัดควบคุมตอบคำถามที่ไม่มีใครถาม แต่ทุกคนควรถาม การทดลองระบบชำระเงินที่มุ่งเน้นการเพิ่มจำนวนคำสั่งซื้อที่สำเร็จ อาจมีตัวชี้วัดควบคุมในด้านมูลค่าเฉลี่ยของคำสั่งซื้อ อัตราการคืนสินค้า การติดต่อฝ่ายบริการลูกค้า เวลาในการโหลดหน้าเว็บ และอัตราข้อผิดพลาด ซึ่งตัวชี้วัดใดๆ ก็ตามอาจแย่ลงจนทำให้ผลลัพธ์ที่ดีในเชิงพาณิชย์กลายเป็นผลเสียได้
กลไกควบคุมมีอยู่เพราะการเพิ่มประสิทธิภาพสร้างแรงจูงใจอย่างมากในการเปลี่ยนแปลงตัวเลขใดตัวเลขหนึ่ง และแทบทุกตัวเลขสามารถเปลี่ยนแปลงได้โดยแลกกับตัวเลขอื่น การลบข้อมูลค่าจัดส่งออกจากหน้าสินค้าอาจเพิ่มอัตราการเพิ่มสินค้าลงในตะกร้า แต่ในขณะเดียวกันก็เพิ่มอัตราการละทิ้งตะกร้าสินค้า การใช้ข้อความเร่งด่วนที่รุนแรงอาจเพิ่มอัตราการแปลงในทันที แต่ทำลายความไว้วางใจและเพิ่มการขอคืนเงิน การทำให้แบบฟอร์มง่ายขึ้นโดยการลบคำถามคัดกรองอาจเพิ่มปริมาณลูกค้าเป้าหมาย แต่ลดคุณภาพของลูกค้าเป้าหมายลงจนทำให้ยอดขายลดลง ในแต่ละกรณี ตัวชี้วัดหลักดีขึ้น แต่ธุรกิจกลับแย่ลง และมีเพียงกลไกควบคุมเท่านั้นที่จะช่วยแก้ไขได้
มาตรการป้องกันที่มีประสิทธิภาพจะถูกเลือกอย่างรอบคอบสำหรับแต่ละการทดลอง แทนที่จะนำมาใช้เป็นรายการทั่วไป แม้ว่าชุดมาตรการป้องกันมาตรฐานจะเป็นประโยชน์ในฐานะพื้นฐานก็ตาม ชุดมาตรการป้องกันมาตรฐานมักครอบคลุมถึงสุขภาพทางเทคนิค รวมถึงอัตราข้อผิดพลาดและประสิทธิภาพของหน้าเว็บ และสุขภาพทางธุรกิจ รวมถึงรายได้ต่อผู้เข้าชมและมูลค่าการสั่งซื้อ มาตรการป้องกันเฉพาะการทดสอบจะครอบคลุมถึงวิธีการที่เป็นไปได้ที่การเปลี่ยนแปลงนี้อาจก่อให้เกิดอันตราย ซึ่งเป็นคำถามที่ผู้ที่เข้าใจผลกระทบที่ตามมาควรตอบได้ดีที่สุด ได้แก่ ฝ่ายบริการลูกค้า ฝ่ายจัดส่ง ฝ่ายขาย และฝ่ายการเงิน ซึ่งโดยทั่วไปแล้วจะไม่มีการปรึกษาหารือกับบุคคลเหล่านี้ในระหว่างการออกแบบการทดสอบ
การวิเคราะห์ตัวชี้วัดควบคุมนั้นแตกต่างจากตัวชี้วัดหลัก ตัวชี้วัดหลักจะถูกทดสอบเพื่อหาการปรับปรุงที่สำคัญ ในขณะที่ตัวชี้วัดควบคุมจะถูกทดสอบเพื่อตรวจสอบว่าไม่มีผลเสียที่สำคัญ ซึ่งเป็นคำถามเกี่ยวกับการไม่ด้อยกว่ามากกว่าการเหนือกว่า ในทางปฏิบัติ ทีมงานจะกำหนดค่าความคลาดเคลื่อนไว้ล่วงหน้า เช่น การลดลงของมูลค่าการสั่งซื้อเฉลี่ยไม่เกินหนึ่งเปอร์เซ็นต์ และถือว่าการละเมิดค่าความคลาดเคลื่อนเป็นเหตุผลในการปฏิเสธตัวเลือกนั้นโดยไม่คำนึงถึงผลลัพธ์หลัก เนื่องจากมีการตรวจสอบตัวชี้วัดควบคุมหลายรายการพร้อมกัน การเผื่อไว้สำหรับการเปรียบเทียบหลายรายการจึงเป็นเรื่องที่สมเหตุสมผล มิเช่นนั้น ชุดตัวชี้วัดควบคุมขนาดใหญ่จะอาจทำให้เกิดผลเสียโดยไม่คาดคิดได้
ตัวชี้วัดบางอย่างไม่สามารถวัดได้ภายในช่วงเวลาทดสอบเลย เช่น อัตราการคืนสินค้า การยกเลิกการสมัครสมาชิก การซื้อซ้ำ และมูลค่าตลอดอายุการใช้งาน ซึ่งทั้งหมดนี้ต้องใช้เวลาหลายสัปดาห์หรือหลายเดือนหลังจากสิ้นสุดการทดลอง จึงจำเป็นต้องมีการวิเคราะห์เพิ่มเติมหลังการเปิดตัวหรือการวิเคราะห์ติดตามผลในภายหลัง และข้อเท็จจริงที่ว่าไม่สามารถประเมินได้ทันทีนั้นเป็นเหตุผลที่ควรระมัดระวังมากขึ้นเกี่ยวกับประเภทของการเปลี่ยนแปลงที่อาจส่งผลกระทบต่อตัวชี้วัดเหล่านั้น ไม่ใช่เหตุผลที่จะเพิกเฉยต่อตัวชี้วัดเหล่านั้น
การกำหนดค่าความคลาดเคลื่อนที่ยอมรับได้นั้น จำเป็นต้องมีการพูดคุยอย่างชัดเจนเกี่ยวกับขนาดของความเสียหายที่ไม่สามารถยอมรับได้ และการพูดคุยนั้นจะง่ายขึ้นหากใช้กรอบความคิดเชิงพาณิชย์มากกว่าเชิงสถิติ การลดลงของมูลค่าการสั่งซื้อเฉลี่ย 1 เปอร์เซ็นต์ในฐานรายได้ขนาดใหญ่ อาจมีต้นทุนมากกว่าผลกำไรจากการปรับปรุงอัตราการแปลง และการระบุทั้งสองอย่างเป็นตัวเลขจะทำให้ทุกคนในห้องเห็นถึงความสมดุลได้อย่างชัดเจน ระบบอัตโนมัติเป็นสิ่งที่ทำให้มาตรการป้องกันมีประสิทธิภาพในทางปฏิบัติ การตรวจสอบด้วยตนเองเมื่อสิ้นสุดการทดสอบนั้นสายเกินไปสำหรับตัวแปรที่สร้างความเสียหายต่อรายได้มาแล้วสามสัปดาห์ ดังนั้นการจัดการที่เหมาะสมคือการตรวจสอบอย่างต่อเนื่องในชุดมาตรการที่สำคัญจำนวนเล็กน้อย โดยกำหนดเกณฑ์การแจ้งเตือนอย่างหลวมๆ เพื่อหลีกเลี่ยงการแจ้งเตือนที่ผิดพลาดอย่างต่อเนื่อง และมีเส้นทางการยกระดับที่ตกลงกันไว้เมื่อมีการแจ้งเตือนเกิดขึ้น การแจ้งเตือนควรไปถึงบุคคลที่มีอำนาจในการหยุดการทดสอบทันที
การกำหนดขอบเขตที่ชัดเจนเป็นหนึ่งในประเด็นสำคัญที่แสดงให้เห็นว่างานเพิ่มประสิทธิภาพต้องเชื่อมโยงกับส่วนอื่นๆ ของธุรกิจมากกว่าที่จะดำเนินการเป็นส่วนเฉพาะทางที่แยกต่างหาก บริการ CRO โดยทั่วไป การมีส่วนร่วมจะกำหนดแนวทางปฏิบัติพื้นฐานที่ตั้งไว้ระหว่างการตั้งค่า และทบทวนแนวทางปฏิบัติเฉพาะสำหรับการทดสอบในแต่ละรอบการจัดลำดับความสำคัญ โดยรับฟังความคิดเห็นจากผู้มีส่วนได้ส่วนเสียในการดำเนินงาน E-commerce ในสภาพแวดล้อมต่างๆ การเชื่อมโยงกับการส่งมอบสินค้าและการคืนสินค้ามีความสำคัญเป็นพิเศษ เพราะโอกาสในการเปลี่ยนลูกค้าเป้าหมายให้เป็นลูกค้าจริงที่น่าดึงดูดที่สุด มักจะเป็นสิ่งที่ผลักภาระต้นทุนไปสู่ระบบโลจิสติกส์ ซึ่งทีมเพิ่มประสิทธิภาพจะไม่เห็นต้นทุนเหล่านั้นเลย