หากคุณตรวจสอบการทดสอบ A/B ทุกเช้าและหยุดการทดสอบเมื่อแดชบอร์ดเปลี่ยนเป็นสีเขียวครั้งแรก อัตราการเกิดผลบวกเท็จที่แท้จริงของคุณจะไม่ใช่ 5% ในการจำลองการทดสอบความสำคัญหลังจากการสังเกตแต่ละครั้ง อีแวน มิลเลอร์วัดค่าได้ดังนี้ 26.1% มากกว่าระดับที่ทีมส่วนใหญ่คิดว่าตนเองกำลังทำอยู่ถึงห้าเท่า (วิธีที่ไม่ควรทำในการทดสอบ A/B(หนึ่งในสี่ของ "ชัยชนะ" ที่ไม่สามารถทำซ้ำได้นั้น ไม่ใช่ปัญหาทางสถิติ แต่เป็นปัญหาของแผนงาน)
คู่มือนี้เหมาะสำหรับทีมพัฒนาการเติบโตและ CRO ที่ทำการทดสอบกับกลุ่มลูกค้าอีคอมเมิร์ซหรือกลุ่มลูกค้าท่องเที่ยวที่มีฤดูกาลเปลี่ยนแปลงบ่อยจนไม่สามารถรอได้นานถึงสี่สัปดาห์ เมื่ออ่านจบแล้ว คุณจะสามารถวางแผนตารางการแสดงผลก่อนเปิดตัว อ่านค่าเกณฑ์สำหรับแต่ละการแสดงผลจากตาราง กำหนดขนาดการทดสอบสำหรับกลุ่มตัวอย่างขนาดเล็กที่ต้องใช้ในการวางแผน และระบุได้ว่าวิธีการนั้นเริ่มใช้ไม่ได้ผลเมื่อใด
เหตุใดการแอบมองจึงทำให้การทดสอบขอบฟ้าคงที่ล้มเหลว
การทดสอบแบบกำหนดขอบเขตเวลาตายตัวจะใช้ค่าความคลาดเคลื่อน 5% ทั้งหมดเพียงครั้งเดียว ที่ขนาดตัวอย่างที่กำหนดไว้ล่วงหน้า การตรวจสอบเพิ่มเติมแต่ละครั้งคือโอกาสที่จะเกิดความคลาดเคลื่อนเพิ่มขึ้น ปัญหาไม่ได้อยู่ที่การดูข้อมูล แต่เป็นการดูโดยใช้เกณฑ์ที่กำหนดไว้สำหรับการตรวจสอบเพียงครั้งเดียว ตารางของมิลเลอร์แสดงระดับนัยสำคัญที่รายงานซึ่งจำเป็นต่อการรักษาอัตราความคลาดเคลื่อน 5% ที่แท้จริง หากคุณยืนยันที่จะตรวจสอบตามจำนวนครั้งที่กำหนด:
| จำนวนการมอง | ความสำคัญที่รายงานจำเป็นสำหรับ 5% ที่แท้จริง |
|---|---|
| 1 | 2.9% |
| 2 | 2.2% |
| 3 | 1.8% |
| 5 | 1.4% |
| 10 | 1.0% |
พูดอีกอย่างก็คือ ถ้าคุณดูสิบครั้ง สิ่งที่คุณอ่านว่ามีความสำคัญ 1% จริงๆ แล้วอาจเป็น 5% ก็ได้ ฟังดูหยาบๆ แต่ก็ตรงไปตรงมา วิธีการด้านล่างนี้ทำได้มีประสิทธิภาพมากกว่า
สามวิธีในการหยุดรถก่อนกำหนด และค่าใช้จ่ายของแต่ละวิธี
| เข้าใกล้ | แก้ไขก่อนเปิดใช้งาน | ต้นทุนเทียบกับการทดสอบแบบคงที่ | ใช้เมื่อ |
|---|---|---|---|
| ขอบฟ้าคงที่ | ขนาดตัวอย่าง, วันที่วิเคราะห์หนึ่งวัน | ไม่มี แต่ไม่อนุญาตให้หยุดก่อนเวลา | ปริมาณการจราจรคงที่ ช่วงเวลาสั้น |
| กลุ่มลำดับ (การใช้จ่ายอัลฟ่า) | ตัวอย่างสูงสุด จำนวน และช่วงเวลาของการดู | ค่าตัวอย่างสูงสุดเพิ่มขึ้นประมาณ 3% (O'Brien-Fleming) เป็นประมาณ 20% (Pocock) 4 ลักษณะ | ขนาดของกลุ่มตัวอย่างสามารถประมาณได้ |
| ถูกต้องเสมอ (เอ็มเอสพีอาร์ที) | โดยหลักการแล้ว ไม่มีอะไรเลย | การสูญเสียพลังงานมากที่สุดในสามค่าที่ได้จากตัวอย่างเดียวกัน | ไม่สามารถประมาณขนาดของกลุ่มตัวอย่างได้ |
แถวที่สามมีความสำคัญเพราะเป็นสิ่งที่แพลตฟอร์มเชิงพาณิชย์ส่วนใหญ่ใช้ ในการจำลองของ Georgi Georgiev ที่ขนาดตัวอย่างสูงสุดคงที่ 7,045 ต่อกลุ่ม การทดสอบแบบกำหนดขอบเขตคงที่ (fixed-horizon test) มีกำลังการทดสอบ 83.3% การทดสอบ AGILE แบบเรียงลำดับกลุ่ม (group-sequential AGILE) บรรลุเป้าหมาย 80% การทดสอบ SPRT ประมาณ 73% และการอนุมานแบบถูกต้องเสมอ (always-valid inference) 62.4% เพื่อให้ได้กำลังการทดสอบ 80% การอนุมานแบบถูกต้องเสมอจำเป็นต้องมีขนาดตัวอย่างประมาณ... ตัวอย่างเพิ่มขึ้น 85% มากกว่าการออกแบบตามลำดับกลุ่ม (ชุดเครื่องมือวิเคราะห์ข้อมูล, 2022วิศวกรของ Spotify สรุปผลเช่นเดียวกันโดยอิสระ: การทดสอบแบบกลุ่มตามลำดับนั้น "ดีกว่าหรือเทียบเท่ากับวิธีการที่ถูกต้องเสมออย่างเป็นระบบ" เมื่อสามารถประมาณขนาดของกลุ่มตัวอย่างได้ชูลท์ซเบิร์กและอันคาร์เกรน, 2023).
เรื่องนี้ควรแก้ไข เพราะมุมมองของผู้ขายนั้นตรงกันข้าม เอกสารของ Optimizely บอกให้คุณ "ข้ามขั้นตอนการเตรียมงานก่อนการทดลอง เช่น การคำนวณขนาดตัวอย่างก่อนเริ่มการทดลอง" (การสนับสนุน Optimizelyการควบคุมข้อผิดพลาดเป็นเรื่องจริง และงานวิจัยพื้นฐานก็ถูกต้อง (โจฮารีและคณะ การอนุมานที่ถูกต้องเสมอสิ่งที่กรอบแนวคิดนี้ละเลยไปคือค่าไฟฟ้า Statsig ซึ่งใช้วิธีการในกลุ่มเดียวกัน กล่าวไว้อย่างชัดเจนว่า "หากคุณต้องการการวัดขนาดผลกระทบที่แม่นยำ ให้รอจนกว่าจะได้ค่าพลังงานเต็มที่ตามที่การคำนวณพลังงานก่อนการทดลองประเมินไว้" (เอกสาร Statsig(โปรดอ่าน "ไม่จำเป็นต้องมีขนาดตัวอย่าง" ในแง่ของความถูกต้อง ไม่ใช่ประสิทธิภาพ)
วิธีการทีละขั้นตอน
ตัวอย่างการคำนวณ: ร้านค้าปลีกเสื้อผ้าทดสอบระบบชำระเงิน อัตราการแปลงเซสชันพื้นฐาน 2.4% เป้าหมายคือผลลัพธ์ +10% เมื่อเทียบกับ (2.64%) ค่าอัลฟาแบบสองด้าน 5% กำลังการทดสอบ 80% จำนวนเซสชันโดยประมาณ 5,000 ครั้งต่อวัน
1. ปรับขนาดให้ดูเหมือนว่าคุณจะไม่มีวันแอบดูเลย
การกำหนดขนาดแบบสองสัดส่วนช่วยให้ 66,943 เซสชั่นต่อแขนรวมทั้งหมด 133,886 นี่ไม่ใช่ค่าใช้จ่ายเพิ่มเติมที่ไม่จำเป็นเพียงเพราะคุณวางแผนจะหยุดก่อนกำหนด แต่เป็นจุดยึดหลักที่ใช้ในการสร้างตารางเวลา
2. เลือกจำนวนลุค และช่วงเวลาที่เหมาะสม
การจัดแต่งลุค 3-5 แบบจะช่วยให้ได้รับประโยชน์สูงสุดเกือบทั้งหมด หากมากกว่านั้น การจัดแต่งลุคแต่ละแบบจะเพิ่มต้นทุนสูงสุดโดยได้ผลตอบแทนเพียงเล็กน้อย ควรจัดแต่งลุคให้เหมาะสม สัปดาห์เต็มเนื่องจากองค์ประกอบของวันในสัปดาห์เป็นแหล่งสำคัญของการเปลี่ยนแปลงปริมาณการเข้าชมเว็บไซต์ขายปลีก ที่ 5,000 เซสชันต่อวัน การแสดงผลสี่แบบต่อสัปดาห์จะครอบคลุมจำนวนเซสชันเกือบ 140,000 เซสชัน ซึ่งครอบคลุมจำนวนสูงสุดที่วางแผนไว้
3. เลือกฟังก์ชันการใช้จ่ายและจดบันทึกค่าเกณฑ์ต่างๆ
ฟังก์ชันการใช้จ่ายอัลฟ่าจะตัดสินว่าแต่ละลุคจะใช้เงินงบประมาณ 5% เท่าใด โดยขึ้นอยู่กับปริมาณข้อมูลที่สะสมไว้ (เพนน์สเตท STAT 509ตัวเลือกคลาสสิกสองแบบ โดยมีการมองสี่ครั้งที่เว้นระยะห่างเท่าๆ กัน ค่าอัลฟาแบบสองด้าน 0.05:
| ดู | ส่วนแบ่งของตัวอย่างที่วางแผนไว้ | โอ'ไบรอัน-เฟลมมิง: หยุดถ้า p | โปค็อก: หยุดถ้า p |
|---|---|---|---|
| 1 (สิ้นสุดสัปดาห์ที่ 1) | 25% | 0.0001 | 0.0179 |
| 2 (สิ้นสุดสัปดาห์ที่ 2) | 50% | 0.0055 | 0.0179 |
| 3 (สิ้นสุดสัปดาห์ที่ 3) | 75% | 0.0216 | 0.0184 |
| 4 (สิ้นสุดสัปดาห์ที่ 4) | 100% | 0.0411 | 0.0188 |
| ตัวอย่างสูงสุดเทียบกับการทดสอบแบบคงที่ | + 3% | + 20% |
ค่าเหล่านี้คำนวณโดยใช้ฟังก์ชันการใช้จ่ายของ Lan-DeMets และตรงกับลักษณะที่ตีพิมพ์ไว้: O'Brien-Fleming ใช้ "เกณฑ์ที่เข้มงวดมากในช่วงแรก แต่เกณฑ์การวิเคราะห์ขั้นสุดท้ายใกล้เคียงกับค่า p < 0.05 ทั่วไป" ในขณะที่ Pocock ใช้เกณฑ์ที่ค่อนข้างคงที่ประมาณ p < 0.016 (ชิโอลิโน, ไคเซอร์ และ บอนเนอร์, 2023).
O'Brien-Fleming เป็นการประกันราคาถูก: แทบจะไม่ทำงานที่ Look 1 เลย มีค่าใช้จ่ายเพิ่มขึ้นประมาณ 3% สำหรับจำนวนตัวอย่างสูงสุด และเกณฑ์สุดท้ายก็เข้มงวดกว่า 0.05 เพียงเล็กน้อย ในขณะที่ Pocock หยุดการทำงานก่อนกำหนดบ่อยกว่ามาก แต่คิดค่าใช้จ่ายด้านปริมาณการเข้าชมเพิ่มขึ้น 20% ควรใช้ O'Brien-Fleming เป็นค่าเริ่มต้นสำหรับตัวชี้วัดที่เชื่อมโยงกับรายได้
4. เขียนกฎลงในตั๋วก่อนเริ่มใช้งาน
ประโยคเดียวที่ทุกคนที่สามารถหยุดการทดสอบได้มองเห็นคือ: "เราจะพิจารณาผลลัพธ์ในช่วงสิ้นสุดสัปดาห์ที่ 1 ถึง 4 ประกาศผู้ชนะก็ต่อเมื่อค่า p สองด้านสำหรับ [ตัวชี้วัดหลัก] ต่ำกว่าเกณฑ์ที่กำหนดไว้ และหากไม่เป็นเช่นนั้น ให้ดำเนินการต่อในสัปดาห์ที่ 4" กฎที่อยู่ในหัวของใครบางคนไม่ใช่กฎที่แท้จริง
5. กำหนดขอบเขตความไร้ประโยชน์ด้วยเช่นกัน
ทีมส่วนใหญ่ใช้เพียงขอบเขตประสิทธิภาพเท่านั้น ดังนั้นพวกเขาจึงหยุดผู้ชนะก่อนเวลาและปล่อยให้ผู้แพ้ดำเนินไปจนสุด ซึ่งเป็นการคิดผิดเกี่ยวกับต้นทุนค่าเสียโอกาส ขอบเขตความไร้ประโยชน์ที่ไม่ผูกมัด — หยุดเมื่อโอกาสที่จะชนะอย่างมีนัยสำคัญหมดไป — คือที่มาของการประหยัดเวลาส่วนใหญ่ ด้วยรูปแบบ O'Brien-Fleming สี่แบบ ตัวอย่างที่คาดหวังภายใต้ผลกระทบที่แท้จริงจะลดลงเหลือประมาณ 83% ของข้อกำหนดขอบเขตคงที่
6. ห้ามรายงานค่าประมาณจุดเริ่มต้นเป็นขนาดผลกระทบ
การทดสอบที่หยุดก่อนกำหนดได้หยุดลงแล้ว เพราะ แรงยกที่สังเกตได้นั้นสูงผิดปกติ ดังนั้นค่าประมาณจึงสูงเกินจริงเนื่องจากโครงสร้าง ควรใช้ข้อมูลนี้ในการตัดสินใจเกี่ยวกับเรือ ไม่ใช่สำหรับการคาดการณ์รายได้ Statsig: "การตัดสินใจในช่วงแรกมักทำให้ค่าประมาณแรงยกต่ำกว่าความเป็นจริงและมีความไม่แน่นอนสูง"
รายการตรวจสอบก่อนการเปิดตัว
- ตัวชี้วัดหลักประการหนึ่ง ซึ่งประกาศเป็นลายลักษณ์อักษรก่อนการเปิดตัว
- กำหนดจำนวนตัวอย่างสูงสุดและวันสิ้นสุดปฏิทินไว้แล้ว
- ดูเหมือนว่าจะมีจำนวนและช่วงเวลาที่แน่นอน สอดคล้องกับสัปดาห์เต็ม
- เลือกฟังก์ชันการใช้จ่าย และเขียนค่าเกณฑ์ลงในตั๋วแล้ว
- กฎแห่งความไร้ประโยชน์ได้รับการกำหนดไว้แล้ว ไม่ใช่แค่กฎแห่งประสิทธิภาพเท่านั้น
- SRM ตรวจสอบทุกรายละเอียดแล้ว ก่อน ค่า p ถูกอ่าน
- ตัวชี้วัดราวกั้นจะถูกตรวจสอบแยกต่างหาก นอกเหนือจากกฎการหยุดรถ
- ทุกคนที่สามารถหยุดการทดสอบได้ย่อมรู้ดีว่าการมองโดยไม่ได้รับอนุญาตเป็นสิ่งต้องห้าม
ปรับเทียบค่านี้สำหรับประเทศตุรกีและภูมิภาค
รายงานแนวโน้มอีคอมเมิร์ซของกระทรวงการค้าที่นำเสนอในเดือนพฤษภาคม 2026 ระบุว่า ตุรกีมีการทำธุรกรรมอีคอมเมิร์ซ 5.94 พันล้านรายการในปี 2025 โดยมีมูลค่า 4.57 ล้านล้านลีราตุรกี (เดลี่ ซาบาห์, 12 พฤษภาคม 2026เป็นตลาดขนาดใหญ่ที่ส่วนใหญ่ประกอบด้วยร้านค้าขนาดกลาง ดังนั้นระยะเวลาวางจำหน่าย 4 สัปดาห์จึงเป็นเรื่องปกติ ซึ่งนานพอที่จะไปทับซ้อนกับแคมเปญการตลาดอื่นๆ ได้
ช่วงลดราคาปลายเดือนพฤศจิกายน ซึ่งเป็นที่รู้จักในท้องถิ่นว่า Efsane Cuma และกิจกรรม 11.11 ก่อนหน้านั้น จะเปลี่ยนแปลงสิ่งต่างๆ ใคร สิ่งสำคัญคือจำนวนผู้เข้าชมเว็บไซต์ ไม่ใช่แค่จำนวนผู้เข้าชมเท่านั้น ผู้เข้าชมที่ได้รับส่วนลดจะมีการตัดสินใจซื้อที่แตกต่างกัน ดังนั้นตารางการทดสอบที่ทับซ้อนกับช่วงเวลาของแคมเปญจึงไม่ได้วัดผลจากประชากรกลุ่มเดียวกัน กฎของเราคือ: จบการทดสอบก่อนเริ่มแคมเปญ หรือเริ่มหลังจากแคมเปญ หากจำเป็นต้องทำการทดสอบในช่วงแคมเปญ ให้ถือว่าสัปดาห์ของแคมเปญเป็นกลุ่มย่อยแยกต่างหาก และอย่าตัดสินใจหยุดการทดสอบภายในสัปดาห์นั้น
การปรับเปลี่ยนครั้งที่สองมีผลบังคับใช้ทั่วทั้งสหภาพยุโรปและแบนเนอร์ขอความยินยอมที่สอดคล้องกับ KVKK ในตุรกี: หากการวิเคราะห์ข้อมูลต้องขอความยินยอมก่อน ส่วนหนึ่งของการเข้าชมเว็บไซต์ของคุณจะไม่ถูกตรวจสอบ ขนาดและกำหนดการบน ตั้งข้อสังเกต การนัดหมาย หรือทุกๆ ลุคที่ออกมาล่าช้ากว่าที่ปฏิทินกำหนดไว้
[ต้องการข้อมูลภายใน: ค่ามัธยฐานของจำนวนเซสชันต่อวันและค่ามัธยฐานของระยะเวลาการทดสอบจริงในกลุ่มลูกค้าอีคอมเมิร์ซของ Switas เพื่อแทนที่ตัวเลขตัวอย่าง 5,000 เซสชัน/วัน ด้วยการกระจายตัวจริง]
จุดที่เกิดปัญหาคือ...
- การเปลี่ยนแปลงองค์ประกอบ วิธีการแบบลำดับขั้นนั้นถือว่ากระแสข้อมูลขาเข้าสามารถแลกเปลี่ยนได้ตลอดเวลา การเปลี่ยนแปลงแคมเปญหรือสื่อโฆษณาจะทำให้สมมติฐานนั้นเสียไป และการหยุดการล็อกข้อมูลก่อนกำหนดในสัปดาห์ใดก็ตามถือเป็นเรื่องผิดปกติ
- ความแปลกใหม่และความเป็นเลิศ การอ่านผลในสัปดาห์ที่ 1 วัดปฏิกิริยา ไม่ใช่พฤติกรรมที่คงที่ หากลูกค้าประจำสังเกตเห็นการเปลี่ยนแปลงได้ชัดเจน ก็ไม่จำเป็นต้องกำหนดขอบเขตประสิทธิภาพในการอ่านผลครั้งที่ 1 เลย
- ตัวชี้วัดที่มีหางยาว รายได้ต่อเซสชั่นส่วนใหญ่มาจากคำสั่งซื้อขนาดใหญ่ที่เกิดขึ้นไม่บ่อยนัก และการประมาณการแบบปกติไม่น่าเชื่อถือเมื่อใช้ตัวอย่างชั่วคราวขนาดเล็ก ควรหยุดที่อัตราการแปลงและอ่านรายได้ควบคู่กันไป หรือใช้เทคนิค Winsorise แล้วระบุอย่างชัดเจน
- ตัวชี้วัดหลายประการ ขอบเขตเหล่านี้ควบคุมข้อผิดพลาดสำหรับ หนึ่ง ตัวชี้วัดห้าตัวพร้อมกฎการหยุดห้าข้อ และหากไม่มีการแก้ไขเพิ่มเติม คุณจะกลับไปสู่จุดเริ่มต้น
- อุปกรณ์ชำรุด การทดสอบแบบลำดับจะสามารถข้ามขอบเขตของข้อมูลที่เสียหายได้ แต่ไม่สามารถใช้ทดแทนการตรวจสอบ SRM ได้
- สิ่งที่ไม่ได้กล่าวถึงในที่นี้: กฎการหยุดแบบเบย์เซียน, ปัญหาหลายแขนง (multi-armed bandits) และการลดความแปรปรวน เช่น CUPED แต่ละวิธีมีปฏิสัมพันธ์กับการหยุดก่อนกำหนดในลักษณะที่ต้องได้รับการจัดการแยกต่างหาก
คำถามที่พบบ่อย
ทำเครื่องหมายส่วนนี้ด้วยสคีมา FAQPage
ฉันสามารถใช้ค่า p ที่เข้มงวดกว่าแทนฟังก์ชันการใช้จ่ายได้หรือไม่?
ใช่ค่ะ ถ้าคุณกำหนดจำนวนแบบที่ต้องการไว้ล่วงหน้า และมีเพียงไม่กี่แบบ ตารางของมิลเลอร์จะให้ค่าเกณฑ์นั้น มันรอบคอบกว่าการใช้จ่ายแบบอัลฟ่า ดังนั้นคุณจึงใช้ตัวอย่างมากกว่าที่จำเป็น แต่ไม่จำเป็นต้องสร้างเครื่องมือใหม่
การทดสอบแบบลำดับหมายความว่าฉันสามารถข้ามขั้นตอนการคำนวณขนาดตัวอย่างได้หรือไม่?
ไม่ ความถูกต้องยังคงอยู่แม้จะไม่มีการประมาณขนาดตัวอย่าง แต่กำลังการทดสอบไม่เป็นเช่นนั้น การจำลองของ Georgiev และ Spotify แสดงให้เห็นรูปแบบเดียวกัน คือ เมื่อคุณสามารถประมาณขนาดตัวอย่างได้ การออกแบบแบบลำดับกลุ่มจะให้ผลดีกว่า
แล้วถ้าฉันกำลังจับตาดูความถดถอยมากกว่าชัยชนะล่ะ?
นั่นคือการเฝ้าระวังแนวป้องกัน ไม่ใช่การทดสอบสมมติฐาน เฝ้าติดตามตัวชี้วัดด้านความปลอดภัยและข้อผิดพลาดอย่างต่อเนื่องภายใต้กฎที่ยืดหยุ่นกว่า และปล่อยให้กฎการหยุดหลักไม่เปลี่ยนแปลง การกำจัดเวอร์ชันที่ก่อให้เกิดอันตรายต่อผู้ใช้ไม่จำเป็นต้องมีพิธีรีตองใดๆ
การทดสอบแบบเบย์เซียนนั้นป้องกันการแอบดูได้หรือไม่?
ไม่ การหยุดเมื่อความน่าจะเป็นภายหลังข้ามเกณฑ์ที่กำหนดจะเปลี่ยนลักษณะการทำงานของกฎการตัดสินใจ เว้นแต่ว่ากฎนั้นถูกออกแบบมาให้สามารถหยุดได้ ความน่าจะเป็นก่อนหน้าจะเปลี่ยนรูปร่างของปัญหา ไม่ใช่การดำรงอยู่ของปัญหา
โอ'ไบรอัน-เฟลมมิง หรือ โพค็อก?
ใช้ O'Brien-Fleming ในเกือบทุกกรณีเชิงพาณิชย์ เลือกใช้ Pocock เฉพาะเมื่อคำตอบเบื้องต้นมีคุณค่าอย่างเป็นรูปธรรม คุณสามารถรับตัวอย่างได้มากขึ้นประมาณ 20% และมีคนพร้อมที่จะจัดส่งผลลัพธ์ในสัปดาห์ที่ 1
ฉันสามารถเพิ่มลุคที่ไม่ได้วางแผนไว้ได้ไหม?
หากใช้ฟังก์ชันการใช้จ่ายอัลฟ่า ก็ใช่ครับ โดยมีเงื่อนไขว่าการตัดสินใจที่จะตรวจสอบนั้นไม่ได้ขึ้นอยู่กับข้อมูลที่คุณกำลังจะเห็น การเพิ่มการตรวจสอบเพราะแดชบอร์ด "ดูใกล้เคียง" นั้นขึ้นอยู่กับจังหวะเวลาของข้อมูล และจะทำให้การรับประกันเป็นโมฆะ
ร่วมงานกับเราในเรื่องนี้
หากคุณทำการทดลองบนแพลตฟอร์มอีคอมเมิร์ซของตุรกีหรือในภูมิภาค และกฎการหยุดการทดลองในปัจจุบันคือ "ตรวจสอบทุกเช้า" เราจะช่วยคุณสร้างกฎนั้นขึ้นมาใหม่: การกำหนดขนาด ตารางการแสดงผล ขอบเขต กฎความไร้ประโยชน์ และเกณฑ์ SRM โดยเขียนลงในแม่แบบการทดลองของคุณ เพื่อให้การทดสอบครั้งต่อไปสามารถนำไปใช้ได้ พูดคุยกับสวิตัสเกี่ยวกับโครงการทดลองของคุณ.
แหล่งที่มา
- อีแวน มิลเลอร์ วิธีที่ไม่ควรทำในการทดสอบ A/B
- โยฮารี เปเคลิส วอลช์ และคูเมน การอนุมานที่ถูกต้องเสมอ: การติดตามผลการทดสอบ A/B อย่างต่อเนื่องตีพิมพ์ใน การวิจัยการดำเนินงาน 70(3), 2022
- จอร์จี จอร์จิเยฟ, การเปรียบเทียบกำลังทางสถิติของการทดสอบแบบลำดับชุดเครื่องมือวิเคราะห์ข้อมูล พฤศจิกายน 2022 (ปรับปรุงล่าสุด มีนาคม 2023)
- ชูลท์ซเบิร์กและอันคาร์เกรน การเลือกกรอบการทดสอบแบบลำดับทีมวิศวกรรมของ Spotify, มีนาคม 2023
- เพิ่มประสิทธิภาพ ภาพรวมวิธีการวิเคราะห์ทางสถิติ
- สแตทซิก, การทดสอบลำดับความถี่
- ชิโอลิโน, ไคเซอร์ และบอนเนอร์ คำแนะนำเกี่ยวกับวิธีการวิเคราะห์ระหว่างกาลในการทดลองทางคลินิก, เจ คลินิก ทรานสล ไซ 7(1):e124, 2023
- วิชา STAT 509 มหาวิทยาลัยเพนน์สเตท แนวทางการใช้ฟังก์ชันการใช้จ่ายอัลฟา
- ข้อตกลง การกำหนดขอบเขตลำดับกลุ่ม
- ปริมาณการค้าออนไลน์ของตุรกีจะเพิ่มขึ้นมากกว่า 52% ในปี 2025เดลี่ ซาบาห์, 12 พฤษภาคม 2026, รายงานข่าวจากกระทรวงการค้าเกี่ยวกับแนวโน้มอีคอมเมิร์ซ
