ขนาดตัวอย่างก่อนเริ่มต้น: การคำนวณที่การทดสอบ A/B ส่วนใหญ่ละเลย

การทดสอบ A/B ส่วนใหญ่ล้มเหลวก่อนที่จะมีผู้เข้าชมแม้แต่คนเดียว ไม่ใช่เพราะสมมติฐานอ่อนแอหรือการออกแบบไม่ดี แต่เป็นเพราะไม่มีใครตรวจสอบว่าการทดสอบนั้นจะให้คำตอบได้หรือไม่

รูปแบบนี้คุ้นเคยกันดี ทีมงานปล่อยเวอร์ชันใหม่ ตรวจสอบข้อมูลบนแดชบอร์ด และหลังจากสิบวันก็พบว่าเวอร์ชันใหม่เพิ่มขึ้น 6% โดยมีค่า p-value เท่ากับ 0.14 ใครบางคนบอกว่า "แนวโน้มเป็นไปในทางที่ดี ลองให้เวลาอีกสัปดาห์" อีกหนึ่งสัปดาห์ผ่านไป ตอนนี้เพิ่มขึ้น 4% ค่า p = 0.09 การทดสอบถูกเรียกว่า "ประสบความสำเร็จในทิศทางที่ดี" และถูกปล่อยใช้งาน หรือถูกยกเลิกเพราะไม่สามารถสรุปผลได้ ไม่ว่าจะด้วยวิธีใด ข้อมูลการใช้งานสามสัปดาห์ไม่ได้ให้ความรู้ใดๆ และผลลัพธ์นั้นถูกกำหนดไว้แล้วก่อนการเปิดตัวโดยตัวเลขสี่ตัวที่ไม่มีใครตรวจสอบ

บทความนี้เกี่ยวกับตัวเลขทั้งสี่ตัวนั้น

อินพุตทั้งสี่

ขนาดของกลุ่มตัวอย่างไม่ใช่การตัดสินใจตามอำเภอใจ มันขึ้นอยู่กับปัจจัยสี่ประการ และทุกโครงการทดลองที่จริงจังจะกำหนดปัจจัยเหล่านี้ก่อนเริ่มดำเนินการ ไม่ใช่กำหนดหลังจากดำเนินการเสร็จแล้ว

ใส่ตัวเลขสี่ตัวนั้นลงในเครื่องคิดเลข แล้วมันจะคำนวณจำนวนผู้เข้าชมที่ต้องการออกมา ต่อตัวแปร. ของเรา เครื่องคำนวณการทดสอบ A/B ฟรี มันทำอย่างนั้นจริงๆ และใช้เวลาประมาณสามสิบวินาที ซึ่งนั่นแหละคือประเด็นสำคัญ เหตุผลที่ทีมต่างๆ ข้ามขั้นตอนนี้ไปไม่ใช่เพราะมันยาก แต่เป็นเพราะคำตอบที่ได้มักไม่เป็นที่ต้องการ

MDE คือข้อมูลที่ทุกคนป้อนผิด

ผลกระทบที่ตรวจจับได้น้อยที่สุด คือพารามิเตอร์ที่ก่อให้เกิดความเสียหายมากที่สุด เพราะชื่อของมันชวนให้นึกถึงสิ่งที่ไม่เป็นความจริง

MDE คือ ไม่ ค่า MDE (Minimum Decision Decision) คือค่าที่คุณคาดหวัง ไม่ใช่การทำนาย เป้าหมาย หรือการพยากรณ์ แต่เป็นค่าต่ำสุดที่สามารถตรวจจับได้: ผลกระทบที่แท้จริงน้อยที่สุดที่การทดสอบของคุณมีโอกาส 80% ที่จะตรวจจับได้ ตั้งค่า MDE เป็น 5% หมายความว่า "ถ้าการปรับปรุงที่แท้จริงน้อยกว่า 5% ฉันยอมรับว่าการทดสอบนี้อาจพลาดไป"

ผลที่ตามมามีสองประการ และทั้งสองประการมีความสำคัญ

การทดสอบสามารถตอบคำถามที่คุณกำหนดไว้สำหรับการทดสอบนั้นได้เท่านั้น ถ้าคุณกำหนดขนาดการทดสอบสำหรับ MDE 20% และผลกระทบที่แท้จริงคือ 7% การทดสอบก็มักจะแสดงผลว่า "ไม่มีความแตกต่างอย่างมีนัยสำคัญ" นั่นไม่ได้หมายความว่าตัวแปรนั้นไม่มีผลอะไรเลย แต่มันหมายความว่าการทดสอบของคุณไม่สามารถตรวจพบผลกระทบในขนาดนั้นได้ ซึ่งเป็นข้อความที่แตกต่างกันอย่างสิ้นเชิง และเป็นสิ่งที่ทีมงานมักตีความผิดเป็น "เราทดสอบแล้ว มันไม่ได้ผล"

ค่า MDE สัมพัทธ์และค่า MDE สัมบูรณ์ไม่สามารถใช้แทนกันได้ ฐานที่ 2.5% โดยมี 10% ญาติ MDE หมายถึง การตรวจจับการเปลี่ยนแปลงไปสู่ระดับ 2.75% — แน่นอน ความแตกต่าง 0.25 จุดเปอร์เซ็นต์ หากคุณป้อน 10 ลงในช่องคำนวณโดยคาดหวังค่าเปอร์เซ็นต์สัมบูรณ์ นั่นหมายความว่าคุณกำลังขอให้ตรวจจับการเปลี่ยนแปลงจาก 2.5% เป็น 12.5% ​​และเครื่องมือจะบอกคุณอย่างร่าเริงว่าผู้เข้าชม 400 คนก็เพียงพอแล้ว ตรวจสอบว่าเครื่องคิดเลขของคุณใช้รูปแบบใด ความสับสนเพียงเล็กน้อยนี้ทำให้แผนการทดสอบหลายแผนใช้ไม่ได้ผลมากกว่าข้อผิดพลาดอื่นๆ ที่เราพบเห็น

ตัวอย่างการใช้งาน

ลูกค้าอีคอมเมิร์ซต้องการทดสอบรูปแบบหน้าแสดงรายละเอียดสินค้าใหม่ อัตราการแปลง (Conversion Rate) พื้นฐานของหน้านั้นอยู่ที่ 2.5% พวกเขาต้องการตรวจจับการปรับปรุงประสิทธิภาพ 10% หรือเพิ่มขึ้นเป็น 2.75%

ที่ α = 0.05 และกำลัง 80% ความต้องการโดยประมาณคือ ผู้เข้าชม 64,000 คนต่อรุ่นหรือประมาณ 128,000 คนโดยรวม

หน้าเว็บนั้นมีผู้เข้าชม 40,000 คนต่อเดือน ดังนั้นการทดสอบจึงต้องใช้เวลาประมาณสามเดือนกว่าๆ เพื่อให้ได้ขนาดกลุ่มตัวอย่างตามที่ออกแบบไว้

นี่คือตัวเลขที่จะเปลี่ยนมุมมองการสนทนา ไม่ใช่เพราะสามเดือนเป็นไปไม่ได้ แต่เพราะตอนนี้เป็นการตัดสินใจที่ทำอย่างเปิดเผย — ก่อนการเปิดตัว โดยมีการแลกเปลี่ยนผลประโยชน์ให้เห็นอย่างชัดเจน — แทนที่จะเป็นความผิดหวังที่ค่อยๆ ค้นพบในวันที่ 21

ทีนี้ลองเปลี่ยนค่าอินพุตหนึ่งค่า คงค่าพื้นฐานไว้เท่าเดิม แต่ปรับขนาดเพื่อให้ได้ผลลัพธ์ที่เพิ่มขึ้น 20% แทนที่จะเป็น 10%:

การลดค่า MDE ลงครึ่งหนึ่งจะทำให้ขนาดตัวอย่างเพิ่มขึ้นเป็นประมาณสี่เท่า ความสัมพันธ์นี้ไม่ใช่ความบังเอิญของตัวเลขเหล่านี้ — ขนาดตัวอย่างแปรผันตรงกับกำลังสองผกผันของขนาดผลกระทบ นี่เป็นสิ่งที่สำคัญที่สุดที่ควรเข้าใจเกี่ยวกับการออกแบบการทดลอง เพราะมันบอกคุณว่าจุดสำคัญอยู่ที่ไหน: การขยายขอบเขตการเปลี่ยนแปลงให้ใหญ่ขึ้นนั้นประหยัดกว่าการเพิ่มปริมาณการเข้าชมเว็บไซต์มาก

การทดสอบแบบง่ายๆ ที่แค่ขยับปุ่มสองพิกเซลนั้นต้องการขนาดตัวอย่างที่เว็บไซต์ขนาดกลางไม่สามารถจัดหาได้ ส่วนการทดสอบที่ปรับโครงสร้างหน้าเว็บใหม่นั้นมีโอกาสที่จะประสบความสำเร็จมากกว่า นี่คือเหตุผลที่โปรแกรมการทดสอบที่ระมัดระวังจึงหยุดชะงัก ไม่ใช่เพราะแนวคิดนั้นผิด แต่เพราะขนาดตัวอย่างเล็กเกินไปที่จะวัดผลได้

การจราจรอยู่ที่ไหนกันแน่

อีกตัวแปรสำคัญที่ซ่อนอยู่ในการคำนวณคืออัตราพื้นฐาน ขนาดของกลุ่มตัวอย่างที่ต้องการจะลดลงอย่างมากเมื่ออัตราพื้นฐานสูงขึ้น

ใช้ค่า MDE สัมพัทธ์ 10% เท่าเดิม แต่ใช้กับขั้นตอนการจัดส่งสินค้าในขั้นตอนการชำระเงิน ซึ่ง 40% ของคำสั่งซื้อจะดำเนินการต่อจนถึงขั้นตอนการชำระเงิน:

• ค่าเริ่มต้น 2.5% → ประมาณ 64,000 ต่อแบบ
• ค่าเริ่มต้น 40% → ประมาณ 2,400 ต่อแบบ

MDE เท่าเดิม ความมั่นใจเท่าเดิม พลังเท่าเดิม แต่ปริมาณการรับส่งข้อมูลลดลงถึง 26 เท่า

แน่นอนว่าหน้าเว็บนั้นมีผู้เข้าชมจำนวนน้อยกว่าหน้าแสดงรายละเอียดสินค้า (PDP) แต่ความต้องการนั้นลดลงเร็วกว่าปริมาณการเข้าชม ซึ่งเป็นเหตุผลว่าทำไมการทดสอบในขั้นตอนสุดท้ายของกระบวนการขายจึงมักเป็นการทดสอบเพียงอย่างเดียวที่เว็บไซต์ที่มีปริมาณการเข้าชมปานกลางสามารถทำได้ หากอัตราการแปลงทั่วทั้งเว็บไซต์ของคุณอยู่ที่ 2% การทดสอบหน้าแรกเป็นการลงทุนระยะยาวหนึ่งปี และการทดสอบหน้าชำระเงินใช้เวลาเพียงสองสัปดาห์

คำแนะนำเชิงปฏิบัติ: เมื่อเครื่องคำนวณแสดงผลลัพธ์ที่เป็นไปไม่ได้ ก่อนที่จะขยายขอบเขตของ MDE ให้ตรวจสอบว่ามีขั้นตอนใดต่อไปในกระบวนการที่สามารถทดสอบสมมติฐานเดียวกันกับค่าพื้นฐานที่สูงกว่าได้หรือไม่

อะไรผิดพลาดจริงๆ เมื่อคุณข้ามขั้นตอนนี้ไป

มีรูปแบบความล้มเหลวสองแบบในกรณีนี้ และแบบที่สองนั้นเป็นที่รู้จักน้อยกว่าแบบแรกมาก

คุณพลาดโอกาสในการพัฒนาที่แท้จริง การทดสอบที่มีกำลังการทดสอบต่ำเกินไปให้ผลลัพธ์ว่า "ไม่มีความแตกต่างอย่างมีนัยสำคัญ" สำหรับการเปลี่ยนแปลงที่ได้ผลจริง ทีมงานสรุปว่าแนวคิดนั้นแย่และละทิ้งทิศทางที่อาจให้ผลตอบแทนที่ดีกว่า นี่คือความล้มเหลวที่ทุกคนรู้ และเป็นความล้มเหลวที่เสียค่าใช้จ่ายน้อยกว่าในสองกรณี

จำนวนผู้ชนะของคุณสูงเกินจริง นี่คือสิ่งที่ค่อยๆ บิดเบือนตัวเลขของโปรแกรม ในการทดสอบที่มีกำลังการทดสอบต่ำ วิธีเดียวที่ผลลัพธ์จะผ่านเกณฑ์ความสำคัญได้ก็ต่อเมื่อมีสัญญาณรบกวนแบบสุ่มผลักดันมันไปไกลพอ ซึ่งหมายความว่าผลกระทบที่คุณพบนั้น... do การประกาศว่าสิ่งใดสำคัญนั้น มักจะเกินจริงอย่างเป็นระบบ ยิ่งอำนาจต่ำเท่าไร การกล่าวเกินจริงก็ยิ่งแย่ลงเท่านั้น

ดังนั้นโปรแกรมที่มีประสิทธิภาพต่ำจึงไม่เพียงแต่พลาดสิ่งต่างๆ เท่านั้น แต่ยังสร้างบันทึกการทดสอบที่เต็มไปด้วยผู้ชนะที่มีตัวเลขการเติบโตสูงเกินจริง ซึ่งจะถูกคูณด้วยปริมาณการเข้าชมเพื่อคาดการณ์รายได้ที่ไม่มีวันเกิดขึ้นจริง หกเดือนต่อมาจะมีคนถามว่าทำไมผลรวมของผู้ชนะจึงไม่ปรากฏในตัวเลขรายได้รวม นี่คือคำตอบที่มักจะได้รับ

คุณไม่สามารถแก้ไขปัญหานี้ได้ในขั้นตอนการวิเคราะห์ ต้องป้องกันตั้งแต่ขั้นตอนการออกแบบ

ต่อตัวเลือก ไม่ใช่ราคารวม

ผลลัพธ์จากเครื่องคิดเลขคือสิ่งที่ต้องการ สำหรับแต่ละแขน ของการทดสอบ ตัวแปรสองแบบหมายถึงจำนวนเป็นสองเท่า ฟังดูชัดเจนแต่กลับถูกเข้าใจผิดอยู่เสมอ โดยส่วนใหญ่มักเข้าใจผิดไปในทางมองโลกในแง่ดี

ตัวแปรหลายตัวยิ่งทำให้ปัญหาทวีคูณเป็นสองเท่า การทดสอบแบบ A/B/C/D ต้องการกลุ่มตัวอย่างมากกว่ารูปที่มีแขนเดียวถึงสี่เท่า และ การเปรียบเทียบกับกลุ่มควบคุมพร้อมกันสามครั้งจะเพิ่มโอกาสที่จะเกิดผลบวกเท็จอย่างน้อยหนึ่งครั้ง ซึ่งเกินกว่าค่าที่กำหนดไว้ที่ 5% การแก้ไขค่าดังกล่าวจะทำให้ข้อกำหนดสูงขึ้นไปอีก

สำหรับเว็บไซต์ส่วนใหญ่ กฎที่ใช้ได้จริงคือ: หากคุณไม่มีปริมาณการเข้าชมเหลือเฟือ ให้ทำการทดสอบแบบสองทาง การทดสอบแบบสี่ทางบนหน้าเว็บที่แทบจะไม่สามารถรองรับการทดสอบแบบสองทางได้นั้น ไม่ได้หมายความว่าจะได้ผลลัพธ์เพิ่มขึ้นสี่เท่า แต่กลับได้ผลลัพธ์เป็นศูนย์ และใช้เวลานานกว่าด้วยซ้ำ

ระยะเวลาถือเป็นข้อจำกัดแยกต่างหาก

การได้จำนวนกลุ่มตัวอย่างตามที่ต้องการนั้นเป็นสิ่งจำเป็น แต่ไม่เพียงพอ

การทดสอบที่บรรลุเป้าหมายภายในสี่วันหมายถึงการเก็บตัวอย่างพฤติกรรมจากสี่วัน การเข้าชมเว็บไซต์ในวันธรรมดาและวันหยุดสุดสัปดาห์มีอัตราการแปลงที่แตกต่างกัน วงจรการจ่ายเงินเดือนมีความสำคัญในอีคอมเมิร์ซ การเปิดตัวแคมเปญโฆษณาในช่วงกลางของการทดสอบจะเปลี่ยนแปลงส่วนผสมของกลุ่มเป้าหมายโดยที่คุณไม่รู้ตัว การออกแบบใหม่ยังสร้างเอฟเฟกต์ความแปลกใหม่ที่ค่อยๆ จางหายไป การมีส่วนร่วมในช่วงแรกกับรูปแบบที่ไม่คุ้นเคยไม่ใช่การประมาณการที่มั่นคงของประสิทธิภาพในระยะยาว

ควรทำการทดลองอย่างน้อยหนึ่งสัปดาห์เต็ม และควรเป็นสองสัปดาห์จะดีกว่า ไม่ว่าการคำนวณขนาดตัวอย่างจะอนุญาตเท่าใดก็ตาม ข้อจำกัดใดที่ยาวกว่ากัน — ขนาดตัวอย่างหรือวัฏจักรธุรกิจ — จะเป็นตัวกำหนดผลลัพธ์ และควรกำหนดวันสิ้นสุดล่วงหน้า แทนที่จะตรวจสอบทุกเช้าแล้วหยุดเมื่อตัวเลขดูดี ซึ่งเป็นอีกวิธีหนึ่งที่ได้ผลอย่างมากในการสร้างผู้ชนะปลอม

เมื่อตัวเลขนั้นเป็นไปไม่ได้

บางครั้งคำตอบที่ตรงไปตรงมาก็คือ ไม่สามารถทำการทดสอบได้ นั่นเป็นข้อมูลที่เป็นประโยชน์ และมีคำตอบที่สมเหตุสมผลอยู่ห้าข้อ

ทดสอบการเปลี่ยนแปลงครั้งใหญ่กว่าเดิม ความสัมพันธ์แบบกำลังสองทำให้ตัวเลือกนี้มีประสิทธิภาพสูงสุดอย่างเห็นได้ชัด ควรออกแบบขั้นตอนการทำงานใหม่แทนที่จะออกแบบปุ่มใหม่

เปลี่ยนไปใช้ตัวชี้วัดพื้นฐานที่สูงขึ้น ทดสอบกับขั้นตอนการเพิ่มสินค้าลงตะกร้าหรือการชำระเงิน แทนที่จะเป็นการซื้อจริง การวัดผลกระทบจะทำกับฐานข้อมูลที่ใหญ่กว่า และความต้องการกลุ่มตัวอย่างจะลดลง ยอมรับว่าคุณกำลังวัดตัวแปรแทน และตรวจสอบความเชื่อมโยงกับรายได้แยกต่างหาก

ทดสอบเพิ่มเติมในขั้นตอนต่อไปของกระบวนการดังที่กล่าวมาข้างต้น

จัดกลุ่มหน้าเว็บที่คล้ายกัน การทดสอบเพียงครั้งเดียวกับทุกหน้าหมวดหมู่ แทนที่จะทดสอบกับหมวดหมู่เดียว จะช่วยเพิ่มปริมาณการเข้าชมได้หลายเท่าตัว โดยมีเงื่อนไขว่าหน้าเหล่านั้นต้องมีพฤติกรรมที่คล้ายคลึงกันมากพอที่จะทำให้การรวมข้อมูลทำได้อย่างคุ้มค่า

หยุดการทดสอบ แล้วเริ่มการวิจัย หากเว็บไซต์ไม่สามารถรองรับการทดลองได้ การทดสอบ A/B ก็ไม่ใช่เครื่องมือที่เหมาะสม การทดสอบการใช้งาน การบันทึกเซสชัน และการตรวจสอบเชิงฮิวริสติก จะช่วยค้นหาสิ่งที่ผิดพลาดได้เร็วกว่าและถูกกว่า การตรวจสอบเชิงปริมาณจะทำในภายหลัง เมื่อการเปลี่ยนแปลงมีขนาดใหญ่พอที่จะวัดผลได้ การทำเช่นนี้ไม่ใช่เรื่องน่าอาย การทำการทดสอบที่ไม่เพียงพอเพื่อให้รู้สึกว่าได้มาตรฐานนั้นแย่กว่าการไม่ทำการทดสอบเสียอีก

รายการตรวจสอบก่อนบิน

ก่อนเริ่มการทดสอบใดๆ:

• [ ] ค่าพื้นฐานที่วัดจากหน้าเว็บและกลุ่มเป้าหมายจริงที่จะทำการทดสอบ ไม่ใช่ทั้งเว็บไซต์
• [ ] MDE ระบุไว้อย่างชัดเจนเป็นลายลักษณ์อักษร โดยระบุแบบสัมพัทธ์หรือแบบสัมบูรณ์
• [ ] ขนาดตัวอย่างที่คำนวณแล้ว ต่อตัวแปร และคูณด้วยจำนวนแขน
• [ ] ระยะเวลาที่ต้องการเมื่อเทียบกับปริมาณการใช้งานที่มีอยู่ — และคำตอบที่ยอมรับก่อนเริ่มใช้งาน
• [ ] กำหนดวันสิ้นสุดล่วงหน้า
• [ ] อย่างน้อยหนึ่งรอบธุรกิจเต็ม ไม่ว่าการคำนวณตัวอย่างจะระบุอย่างไรก็ตาม
• [ ] หน่วยการสุ่มตรงกับหน่วยการวิเคราะห์ (การกำหนดระดับผู้เยี่ยมชม ตัวชี้วัดระดับผู้เยี่ยมชม)
• [ ] การแบ่งปริมาณการรับส่งข้อมูลได้รับการยืนยันในชั่วโมงแรก — การทดสอบ 50/50 ที่ให้ผลลัพธ์ 53/47 หมายถึงปัญหาด้านการวัด และผลลัพธ์นั้นใช้ไม่ได้จนกว่าจะพบปัญหา

คำนวณตัวเลขก่อนที่จะสร้างเวอร์ชันนั้น

การคำนวณทั้งหมดใช้เวลาครึ่งนาที และมันจะเปลี่ยนสิ่งที่คุณสร้าง ทีมที่ประเมินขนาดของการทดสอบก่อนออกแบบเวอร์ชันที่กล้าหาญกว่า เพราะพวกเขาสามารถเห็นได้ว่าเวอร์ชันที่ไม่กล้าทดสอบจะมีค่าใช้จ่ายเท่าไหร่

ป้อนอัตราการแปลงพื้นฐานของคุณ ผลลัพธ์ที่คุณต้องการตรวจจับ และการตั้งค่าความมั่นใจและพลังของคุณ หากตัวเลขที่ได้กลับมานั้นมากกว่าปริมาณการเข้าชมของคุณ นั่นไม่ใช่เหตุผลที่จะต้องเริ่มใช้งาน — นั่นเป็นเพียงการทดสอบที่บอกคุณให้เปลี่ยนแผน

คำถามที่พบบ่อย

ต้องมีผู้เข้าชมเว็บไซต์กี่คนจึงจะสามารถทำการทดสอบ A/B ได้? ไม่มีตัวเลขตายตัว ขึ้นอยู่กับอัตราการแปลงพื้นฐานของคุณ ผลกระทบที่เล็กที่สุดที่คุณต้องการตรวจจับ และระดับความสำคัญและพลังที่คุณเลือก หน้าเว็บที่มีอัตราการแปลง 2.5% ต้องการผู้เข้าชมประมาณ 64,000 คนต่อเวอร์ชันเพื่อตรวจจับการปรับปรุงสัมพัทธ์ 10% ขั้นตอนการชำระเงินที่มีอัตราการแปลง 40% ต้องการผู้เข้าชมประมาณ 2,400 คนเพื่อให้ได้ผลกระทบสัมพัทธ์เดียวกัน

ผลกระทบขั้นต่ำที่ตรวจจับได้ที่ดีควรเป็นอย่างไร? เลือกค่า MDE ที่ต่ำที่สุดเท่าที่ปริมาณการใช้งานของคุณจะรองรับได้ภายในกรอบเวลาที่เหมาะสม เริ่มจากปริมาณการใช้งานที่มีอยู่และระยะเวลาเป้าหมายสองถึงสี่สัปดาห์ จากนั้นคำนวณย้อนกลับเพื่อหาค่า MDE ที่เหมาะสม หากค่า MDE นั้นสูงกว่าการเปลี่ยนแปลงที่คุณกำลังทดสอบว่าจะเกิดขึ้นได้จริง ให้ปรับปรุงการออกแบบการทดสอบใหม่

ฉันสามารถหยุดการทดสอบก่อนกำหนดได้หรือไม่ หากเห็นได้ชัดว่าการทดสอบกำลังได้เปรียบ? ไม่ใช่กับการทดสอบแบบกำหนดช่วงเวลาตายตัวมาตรฐาน การตรวจสอบซ้ำๆ และหยุดเมื่อพบผลลัพธ์ที่มีนัยสำคัญครั้งแรก จะทำให้โอกาสเกิดผลลัพธ์ผิดพลาดสูงกว่า 5% มาก หากคุณต้องการความสามารถในการหยุดก่อนกำหนด ให้ใช้วิธีการที่สร้างขึ้นมาเพื่อสิ่งนั้นโดยเฉพาะ เช่น การทดสอบแบบลำดับ หรือกรอบงานแบบเบย์เซียน และตัดสินใจเรื่องนี้ก่อนเริ่มการทดสอบ ไม่ใช่ระหว่างการทดสอบ

จะเกิดอะไรขึ้นหากผลการทดสอบพบความสำคัญทางสถิติก่อนที่จำนวนกลุ่มตัวอย่างจะครบตามที่กำหนด? จงตั้งข้อสงสัยและเดินหน้าต่อไปจนถึงจุดหมายที่วางแผนไว้ ความสำคัญในช่วงแรกในกรอบเวลาที่จำกัดนั้นเป็นรูปแบบที่ก่อให้เกิดผู้ชนะที่เกินจริงและไม่สามารถทำซ้ำได้

กำลังไฟ 80% เพียงพอไหม? นี่คือค่าเริ่มต้นที่นิยมใช้กันทั่วไปและเป็นจุดเริ่มต้นที่สมเหตุสมผล แต่หมายความว่าคุณต้องยอมรับโอกาส 20% ที่จะพลาดผลลัพธ์ที่แท้จริง สำหรับการตัดสินใจที่มีความเสี่ยงสูง เช่น การออกแบบระบบชำระเงินใหม่ หรือการเปลี่ยนแปลงราคา การใช้กำลังการทดสอบ 90% นั้นคุ้มค่ากับตัวอย่างที่เพิ่มขึ้น สำหรับการเปลี่ยนแปลงที่มีต้นทุนต่ำและสามารถย้อนกลับได้ การใช้กำลังการทดสอบ 80% ก็เพียงพอแล้ว

ไม่แน่ใจว่าโปรแกรมการทดสอบของคุณให้คำตอบที่แท้จริงหรือไม่?

หากบันทึกการทดสอบของคุณเต็มไปด้วยผลลัพธ์ที่ดีเล็กๆ น้อยๆ ที่ไม่เคยปรากฏในตัวเลขสรุปโดยรวม ปัญหามักจะอยู่ที่ต้นทางก่อนการวิเคราะห์ เราจะตรวจสอบโปรแกรมการทดลองและบอกคุณอย่างตรงไปตรงมาว่าการออกแบบล้มเหลวตรงจุดไหน

ต้องการทราบข้อมูลเพิ่มเติมเกี่ยวกับบริการ CRO หรือไม่?