โปรแกรมของคุณรายงานผู้ชนะประมาณเดือนละครั้ง เมื่อรวมจำนวนผู้ชนะ 12 ครั้งเข้าด้วยกัน รายงานประจำปีระบุว่าอัตราการแปลงควรสูงกว่าปีที่แล้ว 18% แต่ฝ่ายการเงินตรวจสอบงบกำไรขาดทุนแล้วพบว่าไม่เป็นเช่นนั้น โดยปกติแล้วรายงานประจำปีมักจะผิดพลาด
บนแพลตฟอร์มการทดลองของ Microsoft มีเพียงประมาณหนึ่งในสามของแนวคิดที่ทดสอบแล้วเท่านั้นที่ช่วยปรับปรุงตัวชี้วัดที่ออกแบบมาเพื่อปรับปรุง และแนวคิดที่ได้รับการเปิดตัวนั้นถูกเลือกมาอย่างพิถีพิถันเพียงเพราะดูดี ซึ่งเป็นจุดที่การคำนวณเริ่มผิดเพี้ยนไป (โคฮาวีและลองโบแธม, 2015กลุ่มที่ไม่เข้าร่วมการทดลองเป็นเครื่องมือที่ถูกที่สุดที่ใช้วัด... โครงการ แทนที่จะเป็นการทดสอบรายบุคคล
คู่มือนี้เหมาะสำหรับหัวหน้าทีม CRO และเจ้าของระบบวิเคราะห์ข้อมูลที่ทำการทดลองอย่างน้อยเดือนละหนึ่งครั้ง เมื่ออ่านจบแล้ว คุณจะสามารถกำหนดขนาดกลุ่มตัวอย่างทดสอบ (holdout) ที่สามารถตรวจจับผลกระทบของโปรแกรมได้อย่างแท้จริง เลือกช่วงเวลาและระยะเวลาการวิเคราะห์ และระบุโหมดความล้มเหลวที่ทำให้ผลลัพธ์ไม่ถูกต้องก่อนที่จะนำเสนอ
สิ่งที่กลุ่มที่ไม่เห็นด้วยวัดได้ ซึ่งผลรวมของจำนวนครั้งที่ชนะวัดไม่ได้
กลุ่มผู้ใช้ที่ยังคงใช้เวอร์ชันก่อนการเปลี่ยนแปลงจะถูกสุ่มเลือก ในขณะที่ผู้ใช้กลุ่มอื่น ๆ จะได้รับเวอร์ชันที่เปิดตัวและใช้งานได้ดีทั้งหมด หลังจากผ่านไปหลายเดือน คุณจะเปรียบเทียบทั้งสองกลุ่ม ความแตกต่างที่ได้คือผลกระทบสะสมที่ยังคงอยู่ของทุกสิ่งที่คุณได้ส่งมอบไป ไม่ใช่ผลประมาณการระยะสั้น 12 ครั้งที่นำมาต่อกัน
Netflix ใช้เครื่องมือเดียวกัน โดยอธิบายว่า "การทดสอบ AB แบบจำกัด" เป็นวิธี "เพื่อทำความเข้าใจผลกระทบในระยะยาว ทดสอบสมมติฐานเดิมกับสมาชิกใหม่ และวัดมูลค่าสะสม" (บล็อกเทคโนโลยีของ Netflix).
เหตุใดผลรวมของการทดสอบจึงดูเกินจริงกว่าความเป็นจริง
กลไกสี่อย่างดึงผลรวมให้สูงกว่าความจริง และกลไกเหล่านั้นจะทวีคูณกัน:
- คำสาปของผู้ชนะ คุณจะเปิดตัวเฉพาะตัวแปรที่ผ่านเกณฑ์ความสำคัญเท่านั้น ดังนั้นชุดข้อมูลที่เปิดตัวจึงอุดมไปด้วยสัญญาณรบกวนขาขึ้น ลีและเชนจาก Airbnb ได้กำหนดอคติในการเลือกนี้อย่างเป็นทางการและเผยแพร่การแก้ไข (เคดีดี 2018).
- ความแปลกใหม่และความสำคัญในลำดับแรกเริ่มนั้นเสื่อมถอยลง ช่วงเวลาสั้นๆ จะบันทึกปฏิกิริยาต่อสิ่งใหม่ๆ ตัวอย่างเช่น ใน Microsoft News การคลิกปุ่มใหม่ที่เพิ่มขึ้น 28% ในช่วงเริ่มต้น กลับลดลงทุกวันภายในช่วงเวลาการทดลอง (Sadeghi และคณะ, 2022).
- ปฏิสัมพันธ์และผลตอบแทนที่ลดลง การทดสอบความสำเร็จสองครั้งที่เป็นอิสระต่อกันในขั้นตอนเดียวกันของกระบวนการขาย มักไม่ได้เพิ่มมูลค่าให้กันและกัน เพราะเป็นการแข่งขันกันเพื่อแย่งชิงผู้ใช้กลุ่มเดียวกัน
- การวิเคราะห์ล่าช้า การแอบดู การสลับตัวชี้วัด และการรายงานแบบเลือกสรรในแต่ละกะ จะทำให้ชุดที่เปิดตัวนั้นสูงขึ้นไปอีก (สนพ).
นี่ไม่ได้หมายความว่าการทดสอบของคุณเป็นของปลอม แต่หมายความว่าผลรวมนั้นเป็นค่าสูงสุด ไม่ใช่ค่าประมาณ
วัดขนาดพื้นที่ก่อนที่จะลงมือสร้าง
นี่คือขั้นตอนที่เกือบทุกคนข้ามไป และเป็นจุดที่การทดสอบแบบ Holdout ล้มเหลวมากที่สุด การทดสอบแบบ Holdout คือการทดสอบแบบสองกลุ่มที่มีการแบ่งกลุ่มที่ไม่สมดุลกันโดยเจตนา และความแม่นยำจะถูกกำหนดโดยกลุ่มที่มีขนาดเล็กกว่า จำนวนตัวอย่างทั้งหมดที่ต้องการจะแปรผันตาม 1 / (p × (1 − p))ที่นี่มี p คือส่วนแบ่งที่ไม่เข้าร่วม (holdout share) ดังนั้น การทดสอบแบบ holdout 1% จึงต้องการปริมาณการเข้าชมมากกว่าการทดสอบแบบสมดุลประมาณ 25 เท่า จึงจะเห็นผลลัพธ์ที่เหมือนกัน
จำนวนผู้ใช้ทั้งหมดที่ต้องการตลอดช่วงระยะเวลาทดสอบ โดยมีอัตราการแปลงพื้นฐาน 2% กำลังการทดสอบ 80% และระดับนัยสำคัญสองด้าน 5%:
| หุ้นที่ยังคงค้างอยู่ | ผู้ใช้จำเป็นต้องตรวจจับค่าสัมพัทธ์ +5% | ผู้ใช้จำเป็นต้องตรวจจับค่าสัมพัทธ์ +10% |
|---|---|---|
| 1% | 15,500,000 | 3,900,000 |
| 5% | 3,250,000 | 814,000 |
| 10% | 1,720,000 | 432,000 |
| 20% | 971,000 | 245,000 |
| 50% | 630,000 | 161,000 |
ตอนนี้ลองอ่านเทียบกับค่าเริ่มต้นของผู้ขายดู Statsig แนะนำว่า "เปอร์เซ็นต์การไม่ยอมรับที่ต่ำกว่า 1% เช่น 1%–2%" (สถิติ); Optimizely จะแจ้งเตือนเมื่อเกิน 5% (Optimizely); รายงานจาก GrowthBook ระบุว่าทีมงานของ Facebook และ X มีสัดส่วนการใช้งาน 5% หรือน้อยกว่า (โกรว์ทบุ๊ค).
ตัวเลขเหล่านั้นถูกต้องสำหรับผู้เขียน แต่ไม่ถูกต้องสำหรับเว็บไซต์ขนาดกลางส่วนใหญ่ เว็บไซต์อีคอมเมิร์ซระดับภูมิภาคที่มีผู้ใช้งานรายเดือน 400,000 คน จะมีผู้เข้าชมเพิ่มขึ้น 1.2 ล้านคนในหนึ่งไตรมาส หากอัตราการเปลี่ยนแปลงอยู่ที่ 1% จะต้องใช้เวลาประมาณหนึ่งทศวรรษ หากอัตราการเปลี่ยนแปลงอยู่ที่ 10% ก็ยังไม่ถึงเกณฑ์เพิ่มขึ้น 5% แต่หากอัตราการเปลี่ยนแปลงอยู่ที่ 20% จะสามารถตรวจพบการเข้าชมเพิ่มขึ้น 5% ในหนึ่งไตรมาส และ 10% ในเวลาประมาณหนึ่งเดือน เลือกส่วนแบ่งการตลาดจากปริมาณการเข้าชมเว็บไซต์ของคุณ ไม่ใช่จากค่าเริ่มต้นของผู้ให้บริการ ถ้าคำตอบที่ตรงไปตรงมาคือ 20% ก็จงอธิบายข้อแลกเปลี่ยนนี้ให้ธุรกิจฟังอย่างตรงไปตรงมา: ผู้ใช้หนึ่งในห้าคนรอฟีเจอร์ใหม่เป็นเวลาหนึ่งไตรมาส เพื่อแลกกับการได้รู้ว่าไตรมาสนั้นคุ้มค่าหรือไม่
เลือกช่วงเวลาและระยะเวลาการวิเคราะห์
Statsig แนะนำให้รอสามถึงหกเดือนก่อนที่จะเปิดเผยข้อมูลที่ยังไม่ได้ใช้ ในขณะที่ GrowthBook แนะนำให้ใช้งานจริงประมาณครึ่งเดือนถึงหนึ่งในสี่เดือน จากนั้นจึงทำการวิเคราะห์เป็นเวลาสองถึงสี่สัปดาห์เพื่อให้ผลกระทบต่างๆ คงที่และช่วงเวลาในการดูข้อมูลย้อนหลังครบถ้วน
หลักการทำงานของเราคือ: ช่วงเวลาใช้งานจริงคือช่วงเวลาที่ยาวกว่าระหว่างระยะเวลาที่ตารางขนาดของคุณกำหนดและรอบธุรกิจเต็มหนึ่งรอบ ในภูมิภาคนี้หมายความว่าต้องครอบคลุมอย่างน้อยหนึ่งช่วงพีคของแคมเปญและหนึ่งเดือนที่ทรงตัว เพื่อให้ผลลัพธ์ไม่ได้ถูกตัดสินจากวันที่ 11.11 เพียงอย่างเดียว จากนั้นให้ตรึงสถานะไว้และรอให้ช่วงเวลาวิเคราะห์สิ้นสุดลงก่อนที่ใครจะเปิดแดชบอร์ด
สร้างมันขึ้นมา: เจ็ดสิ่งที่ต้องทำให้ถูกต้อง
- สุ่มเลือกบน ตัวระบุผู้ใช้หรือบัญชีแบบถาวรฝั่งเซิร์ฟเวอร์คุกกี้ที่แบนเนอร์ขอความยินยอมปิดกั้น หรือคุกกี้ที่ผู้ใช้ลบออก จะทำให้ความสัมพันธ์ระหว่างผู้คนรั่วไหลได้
- มอบหมายการระงับ ครั้งหนึ่ง ข้างหน้าก่อนการเปิดตัวที่คุณต้องการวัดผล การคัดค้านที่เกิดขึ้นหลังจากนั้นไม่ใช่การคัดค้านที่แท้จริง
- กำหนดเส้นทางผู้ชนะที่เปิดตัวทั้งหมดผ่านระบบธงเดียวกัน ดังนั้น "holdout = off" จึงหมายถึงประสบการณ์แบบเดิมอย่างแท้จริง ผู้ใช้ที่ถูกกันไว้จะได้รับค่าเกตและเลเยอร์เริ่มต้น เช่นเดียวกับการใช้งานของ Statsig
- เก็บรักษาไว้อย่างชัดเจน รายการยกเว้น: การแก้ไขช่องโหว่ด้านความปลอดภัย การปฏิบัติตามกฎหมายและข้อกำหนดด้านการเข้าถึง และการเปลี่ยนแปลงราคา จะถูกส่งให้กับทุกคน บันทึกข้อยกเว้นแต่ละรายการพร้อมวันที่กำกับไว้ด้วย
- เลือกสองถึงสี่ คงทน ตัวชี้วัด (รายได้ต่อผู้ใช้ การรักษาฐานลูกค้า ความถี่ในการสั่งซื้อ) บวกกับอัตราการแปลงหลักของคุณ อย่าเพิ่มตัวชี้วัดที่ห้าเข้าไป
- จดบันทึกวันที่และวันที่ของการเปลี่ยนแปลงทุกครั้งที่มีการส่งมอบภายในช่วงเวลาดังกล่าว พร้อมทั้งวัดผลการเปลี่ยนแปลงที่เกิดขึ้น เพื่อใช้เปรียบเทียบกับกรณีที่ยังคงมีการเปลี่ยนแปลงอยู่
- แจ้งฝ่ายวิศวกรรมให้คงแฟล็กไว้ในโค้ดเบสจนกว่าช่วงเวลาการวิเคราะห์จะสิ้นสุดลง ปัญหาที่เกิดขึ้นมักจะเกิดจากการล้างแฟล็กก่อนกำหนดมากกว่าจากสาเหตุทางสถิติใดๆ
อ่านผลลัพธ์อย่างตรงไปตรงมา
คำนวณอัตราส่วนของแรงยกที่วัดได้จากการทดสอบเทียบกับแรงยกทั้งหมดในเครื่องบันทึกการปล่อยจรวดของคุณ เกณฑ์การทำงานของเรา — การตัดสินใจโดยดุลพินิจ ไม่ใช่เกณฑ์มาตรฐานที่เผยแพร่:
| แรงยกที่คงค้าง ÷ แรงยกรวม | การอ่าน | การกระทำ |
|---|---|---|
| ≥ 0.6 ช่วงไม่รวมศูนย์ | โปรแกรมนี้ค่อนข้างซื่อตรง | รายงานจำนวนกลุ่มตัวอย่างที่ไม่ปฏิบัติตามข้อกำหนดให้ทราบภายนอก และอัปเดตข้อมูลการพยากรณ์อย่างสม่ำเสมอ |
| 0.3 - 0.6 | การหดตัวตามปกติจากการคัดเลือกและการปฏิสัมพันธ์ | นำอัตราส่วนที่สังเกตได้มาใช้เป็นเกณฑ์ในการปรับลดมูลค่าทางธุรกิจในอนาคต |
| < 0.3 หรือช่วงดังกล่าวรวมศูนย์ด้วย | ผลรวมนั้นไม่ใช่หลักฐาน | หยุดอ้างอิงผลรวมของแรงยก ตรวจสอบเกณฑ์การชนะและกฎการหยุดใหม่อีกครั้ง |
| ค่าประมาณจุดติดลบ | สินค้าที่จัดส่งมีค่าใช้จ่าย | ทดสอบการเปิดตัวผลิตภัณฑ์ขนาดใหญ่ที่สุดทีละรายการด้วยวิธีการทดสอบย้อนกลับ |
ข้อควรระวังระดับภูมิภาคประการหนึ่งเกี่ยวกับทางเลือกที่ทีมต่างๆ เลือกใช้ก่อน หากคุณวางแผนที่จะข้ามช่วงการเจรจาต่อรองและเปรียบเทียบไตรมาสนี้กับปีที่แล้ว โปรดทราบว่าอัตราเงินเฟ้อราคาผู้บริโภคประจำปีของตุรกีอยู่ที่ 31.51% ในเดือนสิงหาคม 2026 (ตัวเลขจาก TÜİK เผยแพร่เมื่อวันที่ 3 กันยายน 2026รายได้ต่อผู้ใช้ในสกุลเงินลีรานั้นไม่สามารถเปรียบเทียบกันได้ระหว่างช่วงเวลาต่างๆ ด้วยอัตราดังกล่าว และการปรับลดค่าเงินเฟ้อก็เป็นการเพิ่มสมมติฐานของตัวเองเข้าไปด้วย การสุ่มแบบพร้อมกันจะหลีกเลี่ยงปัญหานี้ได้ เพราะทั้งสองกลุ่มอยู่ในระบบเศรษฐกิจเดียวกันในวันเดียวกัน
[ต้องการข้อมูลภายใน: ตัวอย่างลูกค้าของ Switas — ระยะเวลาของโปรแกรม ขนาดปริมาณการใช้งาน ผลรวมของการเปลี่ยนแปลงประสิทธิภาพจากการทดสอบเทียบกับการเปลี่ยนแปลงประสิทธิภาพที่วัดได้จากกลุ่มทดสอบ และสัดส่วนของกลุ่มทดสอบที่ใช้]
หกวิธีที่ผู้ที่ไม่ยอมอ่อนข้อจะยอมอ่อนข้ออย่างเงียบๆ
- การปนเปื้อน. อุปกรณ์ที่ใช้ร่วมกัน เซสชันที่ออกจากระบบ และการรีเซ็ตตัวระบุ จะทำให้ผู้ใช้เปลี่ยนไปใช้กลุ่มทดลองอื่น ควรวัดอัตราการเปลี่ยนกลุ่มทดลอง หากเกินประมาณ 2% การประมาณการจะไม่น่าเชื่อถือ
- การรั่วไหลแบบเงียบๆ การเปลี่ยนแปลงที่ส่งออกไปนอกระบบแฟล็ก (เช่น กฎ CDN, การแก้ไข CMS, เทมเพลตใหม่) จะส่งผลกระทบต่อส่วนที่ยังไม่ได้รับการแก้ไข และทำให้ช่องว่างลดลงจนเข้าใกล้ศูนย์
- การกีดกันที่ค่อยๆ ขยายวงกว้างออกไป ทุกครั้งที่มีการตัดสินใจว่า "อันนี้ต้องแจกทุกคน" จะทำให้การเปิดตัวสินค้าหายไปจากสิ่งที่คุณกำลังวัดผลอยู่ ถ้าเกิดมีสิบครั้ง คุณก็จะไม่สามารถวัดผลอะไรได้เลย
- อัตราส่วนตัวอย่างไม่ตรงกัน การแบ่งส่วนเบี่ยงเบนไปจากส่วนแบ่งที่ตั้งใจไว้ ตรวจสอบทุกสัปดาห์ การไม่ปฏิบัติตาม SRM นั้นไร้ประโยชน์เช่นเดียวกับการทดสอบอื่น ๆ ที่ใช้ SRM
- การปล่อยตัวก่อนกำหนด ฟังก์ชันการหยุดการทำงานชั่วคราวทั่วโลกของ Optimizely ไม่สามารถหยุดได้ แต่สามารถยุติได้เท่านั้น จำไว้เป็นกฎ: การยุติก่อนกำหนดจะทำให้เสียสิทธิ์ในช่วงเวลาดังกล่าว
- กำลังเครื่องยนต์ไม่เพียงพอตั้งแต่แรกเริ่ม ความล้มเหลวที่พบบ่อยที่สุด ผลลัพธ์ที่เป็นศูนย์จากการทดสอบแบบ holdout 2% ไม่ได้บอกอะไรเกี่ยวกับโปรแกรมของคุณเลย แต่บอกทุกอย่างเกี่ยวกับขนาดของโปรแกรมที่คุณกำหนดไว้
จุดที่วิธีการนี้ล้มเหลว
การทดสอบแบบ Holdout แสดงให้เห็นถึงขนาดของผลกระทบโดยรวม ไม่ใช่ว่าการเปิดตัวครั้งไหนก่อให้เกิดผลกระทบนั้น การระบุแหล่งที่มายังคงต้องอาศัยการทดสอบรายบุคคล ไม่สามารถวัดผลใดๆ ที่ต้องส่งให้ทุกคนได้ ดังนั้นงานด้านการปฏิบัติตามกฎระเบียบจึงอยู่นอกเหนือขอบเขตนี้ มันไม่เหมาะสมหากผู้ใช้กลุ่มเดิมไม่กลับมาภายในระยะเวลาที่กำหนด และมันไม่ได้บอกอะไรเกี่ยวกับแบรนด์หรือการแพร่กระจายแบบออฟไลน์ระหว่างกลุ่มทดลอง สำหรับผู้ใช้รายเดือนต่ำกว่าประมาณ 100,000 คน จะไม่มีส่วนแบ่งการตลาดใดที่ทั้งตรวจจับได้และพิสูจน์ได้ ในระดับนั้น การอ่านผลก่อนและหลังที่ควบคุมอย่างระมัดระวัง บวกกับการตรวจสอบเชิงคุณภาพ คือทางเลือกที่ซื่อสัตย์ที่สุด โดยต้องระบุจุดอ่อนของวิธีการเหล่านั้นอย่างชัดเจน
คำถามที่พบบ่อย
กลุ่มที่ไม่เห็นด้วยควรมีขนาดใหญ่แค่ไหน?
ใหญ่พอที่จะตรวจจับผลกระทบสะสมที่คุณคาดหวัง ซึ่งเป็นการคำนวณมากกว่าจะเป็นข้อตกลง ที่ระดับพื้นฐาน 2% และเป้าหมายสัมพัทธ์ +5% การทดสอบแบบ Holdout ที่ 5% ต้องการผู้ใช้ประมาณ 3.25 ล้านคน ในขณะที่การทดสอบแบบ Holdout ที่ 20% ต้องการผู้ใช้ประมาณ 971,000 คน
การประท้วงควรดำเนินไปนานแค่ไหน?
ผู้ให้บริการแนะนำระยะเวลาดำเนินการ 3-6 เดือน บวกกับช่วงเวลาวิเคราะห์ 2-4 สัปดาห์ โดยมีข้อจำกัดเพิ่มเติมคือ ช่วงเวลาวิเคราะห์ต้องครอบคลุมอย่างน้อยหนึ่งช่วงพีคของแคมเปญและหนึ่งเดือนปกติ เพื่อไม่ให้เหตุการณ์การขายเพียงครั้งเดียวเป็นตัวตัดสินผลลัพธ์
เหตุใดน้ำหนักที่ผมยกได้ในช่วงทดสอบจึงน้อยกว่าผลรวมของน้ำหนักที่ผมยกได้ในการทดสอบจริง?
นั่นเป็นผลลัพธ์ที่คาดการณ์ไว้ ไม่ใช่ข้อผิดพลาด ปรากฏการณ์ "คำสาปของผู้ชนะ" ความเสื่อมถอยของสิ่งใหม่ ปฏิสัมพันธ์ระหว่างการเปลี่ยนแปลง และความหย่อนยานในการวิเคราะห์ ล้วนทำให้ผลรวมสูงขึ้น ตัวเลขที่คงอยู่คือตัวเลขที่ใกล้เคียงกับความเป็นจริงมากที่สุด
ฉันสามารถสร้างพื้นที่ทดสอบหลังจากที่เปิดตัวผลิตภัณฑ์ไปแล้วได้หรือไม่?
ไม่ใช่สำหรับผลิตภัณฑ์เหล่านั้น — ทุกคนได้รับไปแล้ว การทดสอบแบบรอการดำเนินการจะวัดเฉพาะการเปลี่ยนแปลงที่เกิดขึ้นนับจากวันที่เริ่มต้นเท่านั้น คุณยังสามารถเริ่มการทดสอบได้ในวันนี้สำหรับสองไตรมาสถัดไป
การจำกัดการใช้งานของผู้ใช้ส่งผลเสียต่อรายได้หรือไม่?
เพียงเล็กน้อย หากการเปิดตัวผลิตภัณฑ์ของคุณได้ผลจริง ต้นทุนนั้นจะจำกัดอยู่ที่ส่วนแบ่งการตลาดที่รอการตอบรับคูณด้วยผลลัพธ์ที่แท้จริง แต่ถ้าหากไม่ได้ผล ต้นทุนในการรอการตอบรับก็จะไม่เกิดขึ้น และช่วยให้คุณไม่ต้องทำซ้ำอีก
ถ้าผลการทดสอบแบบ holdout ออกมาคงที่ล่ะ?
ตรวจสอบกำลังไฟเทียบกับตารางขนาดของคุณก่อน จากนั้นตรวจสอบจุดตัดและการรั่วไหล ผลลัพธ์ที่ราบเรียบและมีกำลังไฟเพียงพออย่างแท้จริงหมายความว่าการขนส่งสองในสี่ส่วนไม่ได้ทำให้ค่าเมตริกเปลี่ยนแปลงไป: การเรียนรู้เรื่องนี้มีค่าใช้จ่ายสูง การไม่เรียนรู้ยิ่งมีค่าใช้จ่ายสูงกว่า
ขั้นตอนต่อไป
หากคุณทำการทดลองแล้วไม่สามารถบอกได้ว่าชัยชนะตลอดทั้งปีมีมูลค่าเท่าใด ให้ลองวัดขนาดกลุ่มตัวอย่างที่ไม่ก่อให้เกิดประโยชน์เทียบกับปริมาณการเข้าชมเว็บไซต์ของคุณเองในสัปดาห์นี้ หรือให้เราช่วยวัดขนาด สร้าง และวิเคราะห์กลุ่มตัวอย่างนั้นเป็นส่วนหนึ่งของการวิเคราะห์ของคุณ การมีส่วนร่วมของ CRO.
แหล่งที่มา
- Kohavi & Longbotham, "การทดลองควบคุมออนไลน์และการทดสอบ A/B" (2015)
- ลี แอนด์ เชน (Airbnb), "คำสาปของผู้ชนะ", KDD 2018
- Sadeghi และคณะ (Microsoft), "ความแปลกใหม่และความสำคัญลำดับแรก", Technometrics, 2022
- Netflix TechBlog, "การประยุกต์ใช้การอนุมานเชิงสาเหตุที่ Netflix"
- เอกสาร Statsig เรื่อง "ผู้ที่ไม่ยอมปฏิบัติตามกฎ"
- GrowthBook, "กลุ่มที่ไม่ยอมรับการเปลี่ยนแปลงใน GrowthBook"
- ฝ่ายสนับสนุนของ Optimizely, "กลุ่มผู้คัดค้านทั่วโลก"
- เอปโป้, "ส่วนรวมนั้นน้อยกว่าผลรวมของส่วนประกอบต่างๆ"
- สำนักงานยุทธศาสตร์และงบประมาณ — TÜİK CPI, สิงหาคม 2026







