Çağdaş Polat · · อ่าน 2 นาที
การทดสอบ A/B เป็นวิธีสำคัญที่ใช้ในการเพิ่มประสิทธิภาพเว็บไซต์และแอปพลิเคชัน ช่วยให้ธุรกิจเปรียบเทียบสองเวอร์ชันของหน้าเว็บหรือแอปเพื่อดูว่าเวอร์ชันใดให้ผลดีกว่า การทำความเข้าใจตัวชี้วัดและคำศัพท์หลักที่เกี่ยวข้องกับการทดสอบ A/B เป็นสิ่งจำเป็นต่อการตีความผลลัพธ์อย่างถูกต้อง ในบทความนี้เราจะพิจารณาตัวชี้วัดและคำศัพท์สำคัญของการทดสอบ A/B ได้แก่ p-value, ช่วงความเชื่อมั่น, การทดสอบแบบด้านเดียวและสองด้าน, z-score, observed power, variant, กลุ่มควบคุม, รายได้ส่วนเพิ่ม, อัตราการแปลง และการคำนวณแบบเบย์
ตัวชี้วัดและคำศัพท์หลักของการทดสอบ A/B
1. Variant
Variant หมายถึงหนึ่งในเวอร์ชันที่ถูกทดสอบในการทดสอบ A/B โดยทั่วไป เวอร์ชันที่มีอยู่เดิมเรียกว่าตัวควบคุม (control) และเวอร์ชันใหม่เรียกว่า variant
ตัวอย่าง: ในการทดสอบ A/B ของแลนดิ้งเพจ เวอร์ชัน A (หน้าปัจจุบัน) คือตัวควบคุม และเวอร์ชัน B (ดีไซน์ใหม่) คือ variant
2. กลุ่มควบคุม (Control Group)
กลุ่มควบคุมคือกลุ่มผู้ใช้ที่เห็นเวอร์ชันดั้งเดิม (control) ในการทดสอบ A/B ทำหน้าที่เป็นเส้นฐานเพื่อเปรียบเทียบประสิทธิภาพของ variant
ตัวอย่าง: หากมีผู้ใช้ 10,000 คนเข้าชมเว็บไซต์ 5,000 คนอาจเห็นหน้าควบคุม (กลุ่มควบคุม) และอีก 5,000 คนอาจเห็นหน้า variant

3. รายได้ส่วนเพิ่ม (Incremental Revenue)
รายได้ส่วนเพิ่มหมายถึงรายได้เพิ่มเติมที่เกิดขึ้นจากการเปลี่ยนแปลงที่ทำในระหว่างการทดสอบ A/B ช่วยประเมินผลกระทบทางการเงินของการทดสอบ
ตัวอย่าง: หากหน้า variant เพิ่มมูลค่าคำสั่งซื้อเฉลี่ยขึ้น 5 ดอลลาร์ และมีการซื้อเพิ่มอีก 1,000 รายการ รายได้ส่วนเพิ่มคือ 5,000 ดอลลาร์

4. อัตราการแปลง (Conversion Rate)
อัตราการแปลงคือเปอร์เซ็นต์ของผู้ใช้ที่ทำการกระทำที่ต้องการสำเร็จ เช่น การซื้อสินค้าหรือการสมัครรับจดหมายข่าว จากจำนวนผู้เข้าชมทั้งหมด
ตัวอย่าง: หากผู้เข้าชม 100 คนจาก 1,000 คนซื้อสินค้า อัตราการแปลงคือ 10%
5. P-Value
p-value วัดความน่าจะเป็นที่ความแตกต่างที่สังเกตได้ระหว่างสองรูปแบบเกิดขึ้นโดยบังเอิญ ค่า p-value ที่ต่ำกว่า (โดยทั่วไปน้อยกว่า 0.05) บ่งชี้ว่าความแตกต่างที่สังเกตได้มีนัยสำคัญทางสถิติ
ตัวอย่าง: สมมติว่าการทดสอบ A/B เปรียบเทียบสองเวอร์ชันของแลนดิ้งเพจ เวอร์ชัน A มีอัตราการแปลง 5% และเวอร์ชัน B มีอัตราการแปลง 7% หาก p-value เท่ากับ 0.03 แสดงว่ามีโอกาส 3% ที่ความแตกต่างที่สังเกตได้เกิดขึ้นโดยบังเอิญ ซึ่งบ่งชี้ว่าสองเวอร์ชันแตกต่างกันอย่างมีนัยสำคัญ

6. ช่วงความเชื่อมั่น (Confidence Interval)
ช่วงความเชื่อมั่นให้ช่วงค่าที่คาดว่าขนาดผลที่แท้จริงจะอยู่ภายใน ด้วยระดับความเชื่อมั่นระดับหนึ่ง (โดยทั่วไปคือ 95%) ช่วยประเมินความน่าเชื่อถือของผลการทดสอบ
ตัวอย่าง: ในการทดสอบ A/B เดียวกัน ช่วงความเชื่อมั่น 95% สำหรับความแตกต่างของอัตราการแปลงอาจเป็น [1%, 3%] ซึ่งหมายความว่าเรามั่นใจ 95% ว่าความแตกต่างที่แท้จริงของอัตราการแปลงอยู่ระหว่าง 1% ถึง 3%
7. การทดสอบแบบด้านเดียวและสองด้าน
การทดสอบแบบด้านเดียวประเมินทิศทางของผล (เช่น เวอร์ชัน B ดีกว่าเวอร์ชัน A หรือไม่) ส่วนการทดสอบแบบสองด้านประเมินว่ามีความแตกต่างใด ๆ ในทิศทางใดทิศทางหนึ่งหรือไม่
ตัวอย่างการทดสอบแบบด้านเดียว: ทดสอบว่าอัตราการแปลงของเวอร์ชัน B สูงกว่าเวอร์ชัน A หรือไม่
ตัวอย่างการทดสอบแบบสองด้าน: ทดสอบว่ามีความแตกต่างระหว่างอัตราการแปลงของเวอร์ชัน A และเวอร์ชัน B หรือไม่ โดยไม่คำนึงถึงทิศทาง

8. Z-Score
z-score วัดว่าค่าหนึ่งห่างจากค่าเฉลี่ยกี่ส่วนเบี่ยงเบนมาตรฐาน ในการทดสอบ A/B ใช้เพื่อกำหนดนัยสำคัญของความแตกต่างที่สังเกตได้ระหว่างสองรูปแบบ ระดับความเชื่อมั่นที่พบบ่อยและค่า z-score ที่เทียบเท่า
- ช่วงความเชื่อมั่น 95%
- Z-Score แบบสองด้าน: 1.96
- Z-Score แบบด้านเดียว: 1.65
- ช่วงความเชื่อมั่น 99%
- Z-Score แบบสองด้าน: 2.58
- Z-Score แบบด้านเดียว: 2.33
- ช่วงความเชื่อมั่น 90%
- Z-Score แบบสองด้าน: 1.64
- Z-Score แบบด้านเดียว: 1.28
ตัวอย่าง: หาก z-score ของความแตกต่างของอัตราการแปลงระหว่างเวอร์ชัน A และเวอร์ชัน B เท่ากับ 2.5 แสดงว่าความแตกต่างนี้ห่างจากค่าเฉลี่ย 2.5 ส่วนเบี่ยงเบนมาตรฐาน ซึ่งบ่งชี้ถึงความแตกต่างที่มีนัยสำคัญทางสถิติ
9. Observed Power
observed power หมายถึงความน่าจะเป็นที่การทดสอบจะปฏิเสธสมมติฐานว่างได้อย่างถูกต้องเมื่อมีผลที่แท้จริงอยู่ observed power ที่สูงกว่าบ่งชี้ถึงโอกาสที่สูงขึ้นในการตรวจพบความแตกต่างที่แท้จริง
ตัวอย่าง: ในการทดสอบ A/B ที่มี observed power เท่ากับ 0.8 (80%) มีโอกาส 80% ที่จะตรวจพบความแตกต่างที่แท้จริงระหว่างรูปแบบต่าง ๆ หากมีความแตกต่างนั้นอยู่

10. การคำนวณแบบเบย์ (Bayesian Calculation)
การคำนวณแบบเบย์คือการใช้ทฤษฎีบทของเบย์ (Bayes' theorem) เพื่ออัปเดตการประมาณความน่าจะเป็นของสมมติฐานเมื่อได้รับหลักฐานเพิ่มเติม ในการทดสอบ A/B เป็นกรอบเชิงความน่าจะเป็นที่ช่วยตัดสินใจจากข้อมูล
ตัวอย่าง: เมื่อใช้วิธีแบบเบย์ คุณสามารถหาความน่าจะเป็นที่ variant หนึ่งดีกว่าตัวควบคุมเมื่อกำหนดข้อมูลที่สังเกตได้ แทนที่จะพึ่งพา p-value แบบดั้งเดิมเพียงอย่างเดียว

11. สถิติแบบความถี่ (Frequentist Statistics)
สถิติแบบความถี่เป็นแนวทางดั้งเดิมในการทดสอบสมมติฐานที่เน้นความถี่หรือสัดส่วนของข้อมูล อาศัยชุดข้อมูลที่ตายตัวและไม่นำความรู้เดิมหรือการแจกแจงความน่าจะเป็นมาใช้
ตัวอย่าง: ในแนวทางแบบความถี่สำหรับการทดสอบ A/B คุณจะใช้ p-value และช่วงความเชื่อมั่นเพื่อกำหนดนัยสำคัญของผลการทดสอบ โดยไม่นำความน่าจะเป็นเดิมมาใช้
ตัวอย่างการประยุกต์ใช้จริง
ตัวอย่างที่ 1: การทดสอบ A/B ของแคมเปญอีเมล
บริษัทต้องการทดสอบหัวเรื่องอีเมลสองแบบเพื่อดูว่าแบบใดให้อัตราการเปิดอ่านสูงกว่า
- หัวเรื่อง A: อัตราการเปิดอ่าน 25%
- หัวเรื่อง B: อัตราการเปิดอ่าน 28%
- P-Value: 0.02 (บ่งชี้ความแตกต่างอย่างมีนัยสำคัญ)
- ช่วงความเชื่อมั่น: [2%, 5%] (เชื่อมั่น 95% ว่าความแตกต่างที่แท้จริงของอัตราการเปิดอ่านอยู่ระหว่าง 2% ถึง 5%)
- Z-Score: 2.33 (บ่งชี้ความแตกต่างที่มีนัยสำคัญทางสถิติ)
- Observed Power: 0.85 (มีโอกาส 85% ที่จะตรวจพบความแตกต่างที่แท้จริง)
ตัวอย่างที่ 2: การทดสอบ A/B ของแลนดิ้งเพจเว็บไซต์
เว็บไซต์อีคอมเมิร์ซทดสอบดีไซน์แลนดิ้งเพจสองแบบเพื่อดูว่าแบบใดนำไปสู่การซื้อมากกว่า
- ดีไซน์ A: อัตราการแปลง 4%
- ดีไซน์ B: อัตราการแปลง 5%
- P-Value: 0.045 (บ่งชี้ความแตกต่างอย่างมีนัยสำคัญ)
- ช่วงความเชื่อมั่น: [0.5%, 1.5%] (เชื่อมั่น 95% ว่าความแตกต่างที่แท้จริงของอัตราการแปลงอยู่ระหว่าง 0.5% ถึง 1.5%)
- Z-Score: 2.01 (บ่งชี้ความแตกต่างที่มีนัยสำคัญทางสถิติ)
- Observed Power: 0.78 (มีโอกาส 78% ที่จะตรวจพบความแตกต่างที่แท้จริง)
การทดสอบ A/B เป็นเครื่องมือทรงพลังในการเพิ่มประสิทธิภาพประสบการณ์ดิจิทัล และการเข้าใจตัวชี้วัดและคำศัพท์หลักเป็นสิ่งสำคัญต่อการตีความที่ถูกต้อง Switas รู้วิธีดำเนินการทดสอบ A/Bอย่างมีประสิทธิผล เพื่อให้ธุรกิจตัดสินใจโดยอิงข้อมูลเพื่อยกระดับผลการดำเนินงาน และให้ข้อมูลเชิงลึกที่เชื่อถือได้และนำไปปฏิบัติได้ซึ่งขับเคลื่อนการเติบโตและความสำเร็จ




