ผลกระทบที่ตรวจจับได้ขั้นต่ำ (Minimum detectable effect หรือ MDE) คือการเปลี่ยนแปลงที่น้อยที่สุดในตัวชี้วัดที่การทดลองได้รับการออกแบบมาเพื่อตรวจจับได้อย่างน่าเชื่อถือ ค่า MDE จะถูกกำหนดก่อนเริ่มการทดสอบและเป็นปัจจัยนำเข้าโดยตรงในการคำนวณขนาดตัวอย่าง การทดลองที่มีค่า MDE 10 เปอร์เซ็นต์ถูกสร้างขึ้นเพื่อตรวจจับการปรับปรุงที่ 10 เปอร์เซ็นต์ขึ้นไป ด้วยระดับความเชื่อมั่นและกำลังการทดสอบที่ระบุไว้ การปรับปรุงที่แท้จริงที่เล็กกว่านั้นมักจะไม่ถูกตรวจพบโดยการทดสอบนั้น ทำให้ได้ผลลัพธ์ที่ไม่แน่ชัดแทนที่จะเป็นผลลัพธ์ที่ประสบความสำเร็จ
MDE มักถูกเข้าใจผิดว่าเป็นตัวทำนายว่าตัวแปรนั้นจะช่วยเพิ่มอัตราการแปลงได้มากน้อยแค่ไหน มันไม่ใช่การพยากรณ์ มันคือการตั้งค่าความไว ในทำนองเดียวกับที่มาตรวัดมีหน่วยวัดที่เล็กที่สุดที่สามารถวัดได้ การตั้งค่า MDE ไม่ได้ทำให้ผลกระทบเกิดขึ้นได้ง่ายขึ้นหรือน้อยลง แต่เป็นการกำหนดว่าการทดลองมีความละเอียดเพียงพอที่จะเห็นผลกระทบหรือไม่หากมีอยู่จริง การสับสนระหว่างสองสิ่งนี้ทำให้เกิดการโต้เถียงที่ไม่ดีหลังจากการทดสอบสิ้นสุดลง โดยที่ทีมงานโต้แย้งว่าตัวแปรนั้น "ควรจะชนะ" เพราะตั้งค่า MDE ไว้ที่ 15 เปอร์เซ็นต์ ในความเป็นจริงแล้ว MDE เป็นเพียงการอธิบายสิ่งที่การทดสอบสามารถมองเห็นได้เท่านั้น
วิธีที่ถูกต้องในการกำหนด MDE (Marketing Demand Optimization) คือการพิจารณาจากมุมมองเชิงพาณิชย์ ไม่ใช่สถิติ คำถามคือ การปรับปรุงขนาดไหนที่จะคุ้มค่ากับต้นทุนในการสร้าง จัดส่ง และบำรุงรักษาการเปลี่ยนแปลง รวมถึงต้นทุนค่าเสียโอกาสจากปริมาณการเข้าชมที่ใช้ในการวัดผล ในระบบชำระเงินที่มีปริมาณการใช้งานสูง การเพิ่มขึ้น 2 เปอร์เซ็นต์อาจมีมูลค่ามหาศาลในแต่ละปี และคุ้มค่าที่จะทำการทดสอบในระยะยาว ในขณะที่แบบฟอร์มติดต่อที่มีปริมาณการใช้งานต่ำ การปรับปรุงที่ต่ำกว่า 20 เปอร์เซ็นต์อาจไม่คุ้มค่าที่จะตรวจจับเลย เพราะจำนวนลูกค้าเป้าหมายที่เพิ่มขึ้นนั้นน้อยมาก การพิจารณาจากมูลค่าทางธุรกิจจะช่วยให้แผนงานการทดสอบยึดโยงกับผลลัพธ์มากกว่าความสะดวกทางสถิติ
มีความขัดแย้งที่หลีกเลี่ยงไม่ได้ระหว่างเป้าหมาย MDE ที่ทะเยอทะยานกับปริมาณการเข้าชมเว็บไซต์จริง ทีมงานที่อยู่ภายใต้แรงกดดันในการแสดงผลลัพธ์มักแก้ไขปัญหาในทิศทางที่ผิด โดยค่อยๆ เพิ่มเป้าหมาย MDE จนกว่าการคำนวณขนาดตัวอย่างจะให้จำนวนวันที่พอใจ ซึ่งจะทำให้การทดลองนั้นถูกต้องตามหลักการทางเทคนิค แต่ไร้ประโยชน์ในทางปฏิบัติ เพราะสามารถตรวจจับผลกระทบได้เฉพาะขนาดที่ใหญ่มากจนเห็นได้ชัดอยู่แล้วโดยไม่ต้องทดสอบ ทางเลือกที่ซื่อสัตย์กว่าคือการยอมรับว่าบางคำถามไม่สามารถตอบได้ด้วยการทดลองในระดับการเข้าชมปัจจุบัน และควรส่งต่อคำถามเหล่านั้นไปยังวิธีการอื่น เช่น การทดสอบการใช้งาน การวิเคราะห์ข้อมูล หรือการตรวจสอบโดยผู้เชี่ยวชาญ
MDE ยังมีส่วนในการกำหนดรูปแบบการออกแบบของเวอร์ชันนั้นๆ ด้วย หากการทดสอบจำเป็นต้องตรวจจับการปรับปรุง 15 เปอร์เซ็นต์จึงจะคุ้มค่า การเปลี่ยนแปลงเล็กน้อยในข้อความบนปุ่มอาจไม่ผ่านเกณฑ์นั้น และทีมงานจะได้รับประโยชน์มากกว่าจากการทดสอบวิธีการที่แตกต่างไปจากเดิมอย่างสิ้นเชิงสำหรับหน้าเว็บ เช่น การปรับโครงสร้างข้อเสนอคุณค่า ความยาวของแบบฟอร์มที่แตกต่างกัน หรือการนำเสนอราคาที่เปลี่ยนแปลงไป นี่คือเหตุผลที่โปรแกรมที่มีปริมาณการใช้งานจำกัดมักสร้างผลงานที่น่าสนใจมากกว่าโปรแกรมที่มีปริมาณการใช้งานไม่จำกัด ซึ่งสามารถทดสอบสิ่งที่ไม่สำคัญได้
แหล่งที่มาของความสับสนที่เกิดขึ้นซ้ำๆ คือ ผลกระทบนั้นแสดงในเชิงสัมพัทธ์หรือเชิงสัมบูรณ์ และความแตกต่างนั้นไม่ใช่เรื่องเล็กน้อย ตัวอย่างเช่น หากอัตราการแปลงพื้นฐานอยู่ที่สองเปอร์เซ็นต์ การปรับปรุงเชิงสัมพัทธ์สิบเปอร์เซ็นต์หมายถึงการเพิ่มขึ้นเป็น 2.2 เปอร์เซ็นต์ ซึ่งเป็นการเปลี่ยนแปลงเชิงสัมบูรณ์ 0.2 จุดเปอร์เซ็นต์ ส่วนการปรับปรุงเชิงสัมบูรณ์สิบเปอร์เซ็นต์จะหมายถึงการเพิ่มขึ้นเป็นสิบสองเปอร์เซ็นต์ ซึ่งไม่มีการเปลี่ยนแปลงใดที่เกิดขึ้นได้จริง เครื่องคำนวณขนาดตัวอย่าง แพลตฟอร์มการทดสอบ และผู้มีส่วนได้ส่วนเสียมักสลับไปมาระหว่างสองแบบโดยไม่ได้ระบุไว้ และแผนงานที่สร้างขึ้นจากการตีความที่ผิดพลาดจะระบุการทดลองที่ไม่สามารถสรุปผลได้ หรือการทดลองที่มีกำลังมากเกินไป การระบุแบบแผนอย่างชัดเจนในแผนการทดสอบทุกแผน พร้อมกับค่าพื้นฐานและตัวเลขเชิงสัมบูรณ์ที่ได้ จะช่วยขจัดความคลุมเครือที่เกิดขึ้นซ้ำๆ ทุกครั้งที่มีการพูดคุยเกี่ยวกับผลลัพธ์กับบุคคลภายนอกฝ่ายวิเคราะห์
ในทางปฏิบัติ การตัดสินใจของ MDE มักเกิดขึ้นร่วมกันในระหว่างการวางแผนงาน มากกว่าที่จะเป็นการตัดสินใจของนักวิเคราะห์เพียงคนเดียว บริการ CRO โดยทั่วไปแล้ว เอกสารการมีส่วนร่วมจะบันทึกอัตราพื้นฐาน MDE ขนาดตัวอย่างที่ได้ และระยะเวลาดำเนินการโดยประมาณ สำหรับการทดลองแต่ละครั้งที่วางแผนไว้ เพื่อให้ผู้มีส่วนได้ส่วนเสียสามารถเห็นต้นทุนของแต่ละคำถามก่อนที่จะตัดสินใจเข้าร่วม สำหรับองค์กรที่ทำการทดลองในหลายเว็บไซต์หรือหลายตลาด เอกสารนี้ยังช่วยป้องกันข้อผิดพลาดทั่วไปในการใช้ MDE แบบเดียวกันกับเว็บไซต์ที่มีรูปแบบการเข้าชมที่แตกต่างกันอย่างสิ้นเชิง ซึ่งเป็นรูปแบบที่มักพบเห็นได้บ่อย บริษัท โปรแกรมที่กำหนดมาตรฐานส่วนกลางและส่งต่อให้กับทีมที่มีปริมาณงานไม่เพียงพอที่จะรองรับมาตรฐานนั้น