Switasติดต่อเรา

ทำความเข้าใจตัวชี้วัดและคำศัพท์ในการทดสอบ A/B

Çağdaş Polat · · อ่าน 2 นาที

การทดสอบ A/B เป็นวิธีสำคัญที่ใช้ในการเพิ่มประสิทธิภาพเว็บไซต์และแอปพลิเคชัน ช่วยให้ธุรกิจเปรียบเทียบสองเวอร์ชันของหน้าเว็บหรือแอปเพื่อดูว่าเวอร์ชันใดให้ผลดีกว่า การทำความเข้าใจตัวชี้วัดและคำศัพท์หลักที่เกี่ยวข้องกับการทดสอบ A/B เป็นสิ่งจำเป็นต่อการตีความผลลัพธ์อย่างถูกต้อง ในบทความนี้เราจะพิจารณาตัวชี้วัดและคำศัพท์สำคัญของการทดสอบ A/B ได้แก่ p-value, ช่วงความเชื่อมั่น, การทดสอบแบบด้านเดียวและสองด้าน, z-score, observed power, variant, กลุ่มควบคุม, รายได้ส่วนเพิ่ม, อัตราการแปลง และการคำนวณแบบเบย์

ตัวชี้วัดและคำศัพท์หลักของการทดสอบ A/B

1. Variant

Variant หมายถึงหนึ่งในเวอร์ชันที่ถูกทดสอบในการทดสอบ A/B โดยทั่วไป เวอร์ชันที่มีอยู่เดิมเรียกว่าตัวควบคุม (control) และเวอร์ชันใหม่เรียกว่า variant

ตัวอย่าง: ในการทดสอบ A/B ของแลนดิ้งเพจ เวอร์ชัน A (หน้าปัจจุบัน) คือตัวควบคุม และเวอร์ชัน B (ดีไซน์ใหม่) คือ variant

2. กลุ่มควบคุม (Control Group)

กลุ่มควบคุมคือกลุ่มผู้ใช้ที่เห็นเวอร์ชันดั้งเดิม (control) ในการทดสอบ A/B ทำหน้าที่เป็นเส้นฐานเพื่อเปรียบเทียบประสิทธิภาพของ variant

ตัวอย่าง: หากมีผู้ใช้ 10,000 คนเข้าชมเว็บไซต์ 5,000 คนอาจเห็นหน้าควบคุม (กลุ่มควบคุม) และอีก 5,000 คนอาจเห็นหน้า variant

 

Incremental-revenue.png
Source: https://getrecast.com/incrementality/

 

3. รายได้ส่วนเพิ่ม (Incremental Revenue)

รายได้ส่วนเพิ่มหมายถึงรายได้เพิ่มเติมที่เกิดขึ้นจากการเปลี่ยนแปลงที่ทำในระหว่างการทดสอบ A/B ช่วยประเมินผลกระทบทางการเงินของการทดสอบ

ตัวอย่าง: หากหน้า variant เพิ่มมูลค่าคำสั่งซื้อเฉลี่ยขึ้น 5 ดอลลาร์ และมีการซื้อเพิ่มอีก 1,000 รายการ รายได้ส่วนเพิ่มคือ 5,000 ดอลลาร์

 

65a7d2b7e323ce3c628e0eeb_conversion-rate-formula.png

 

4. อัตราการแปลง (Conversion Rate)

อัตราการแปลงคือเปอร์เซ็นต์ของผู้ใช้ที่ทำการกระทำที่ต้องการสำเร็จ เช่น การซื้อสินค้าหรือการสมัครรับจดหมายข่าว จากจำนวนผู้เข้าชมทั้งหมด

ตัวอย่าง: หากผู้เข้าชม 100 คนจาก 1,000 คนซื้อสินค้า อัตราการแปลงคือ 10%

5. P-Value

p-value วัดความน่าจะเป็นที่ความแตกต่างที่สังเกตได้ระหว่างสองรูปแบบเกิดขึ้นโดยบังเอิญ ค่า p-value ที่ต่ำกว่า (โดยทั่วไปน้อยกว่า 0.05) บ่งชี้ว่าความแตกต่างที่สังเกตได้มีนัยสำคัญทางสถิติ

ตัวอย่าง: สมมติว่าการทดสอบ A/B เปรียบเทียบสองเวอร์ชันของแลนดิ้งเพจ เวอร์ชัน A มีอัตราการแปลง 5% และเวอร์ชัน B มีอัตราการแปลง 7% หาก p-value เท่ากับ 0.03 แสดงว่ามีโอกาส 3% ที่ความแตกต่างที่สังเกตได้เกิดขึ้นโดยบังเอิญ ซึ่งบ่งชี้ว่าสองเวอร์ชันแตกต่างกันอย่างมีนัยสำคัญ

 

confidence-interval-formula.jpg

 

6. ช่วงความเชื่อมั่น (Confidence Interval)

ช่วงความเชื่อมั่นให้ช่วงค่าที่คาดว่าขนาดผลที่แท้จริงจะอยู่ภายใน ด้วยระดับความเชื่อมั่นระดับหนึ่ง (โดยทั่วไปคือ 95%) ช่วยประเมินความน่าเชื่อถือของผลการทดสอบ

ตัวอย่าง: ในการทดสอบ A/B เดียวกัน ช่วงความเชื่อมั่น 95% สำหรับความแตกต่างของอัตราการแปลงอาจเป็น [1%, 3%] ซึ่งหมายความว่าเรามั่นใจ 95% ว่าความแตกต่างที่แท้จริงของอัตราการแปลงอยู่ระหว่าง 1% ถึง 3%

7. การทดสอบแบบด้านเดียวและสองด้าน

การทดสอบแบบด้านเดียวประเมินทิศทางของผล (เช่น เวอร์ชัน B ดีกว่าเวอร์ชัน A หรือไม่) ส่วนการทดสอบแบบสองด้านประเมินว่ามีความแตกต่างใด ๆ ในทิศทางใดทิศทางหนึ่งหรือไม่

ตัวอย่างการทดสอบแบบด้านเดียว: ทดสอบว่าอัตราการแปลงของเวอร์ชัน B สูงกว่าเวอร์ชัน A หรือไม่
ตัวอย่างการทดสอบแบบสองด้าน: ทดสอบว่ามีความแตกต่างระหว่างอัตราการแปลงของเวอร์ชัน A และเวอร์ชัน B หรือไม่ โดยไม่คำนึงถึงทิศทาง

 

1_FCAkTCjZtmuADgbSNwYudA.jpg

 

8. Z-Score

z-score วัดว่าค่าหนึ่งห่างจากค่าเฉลี่ยกี่ส่วนเบี่ยงเบนมาตรฐาน ในการทดสอบ A/B ใช้เพื่อกำหนดนัยสำคัญของความแตกต่างที่สังเกตได้ระหว่างสองรูปแบบ ระดับความเชื่อมั่นที่พบบ่อยและค่า z-score ที่เทียบเท่า

  • ช่วงความเชื่อมั่น 95%
    • Z-Score แบบสองด้าน: 1.96
    • Z-Score แบบด้านเดียว: 1.65
  • ช่วงความเชื่อมั่น 99%
    • Z-Score แบบสองด้าน: 2.58
    • Z-Score แบบด้านเดียว: 2.33
  • ช่วงความเชื่อมั่น 90%
    • Z-Score แบบสองด้าน: 1.64
    • Z-Score แบบด้านเดียว: 1.28

ตัวอย่าง: หาก z-score ของความแตกต่างของอัตราการแปลงระหว่างเวอร์ชัน A และเวอร์ชัน B เท่ากับ 2.5 แสดงว่าความแตกต่างนี้ห่างจากค่าเฉลี่ย 2.5 ส่วนเบี่ยงเบนมาตรฐาน ซึ่งบ่งชี้ถึงความแตกต่างที่มีนัยสำคัญทางสถิติ

9. Observed Power

observed power หมายถึงความน่าจะเป็นที่การทดสอบจะปฏิเสธสมมติฐานว่างได้อย่างถูกต้องเมื่อมีผลที่แท้จริงอยู่ observed power ที่สูงกว่าบ่งชี้ถึงโอกาสที่สูงขึ้นในการตรวจพบความแตกต่างที่แท้จริง

ตัวอย่าง: ในการทดสอบ A/B ที่มี observed power เท่ากับ 0.8 (80%) มีโอกาส 80% ที่จะตรวจพบความแตกต่างที่แท้จริงระหว่างรูปแบบต่าง ๆ หากมีความแตกต่างนั้นอยู่

 

bayesian-formula.png
Source: https://www.freecodecamp.org/news/bayes-rule-explained/

 

10. การคำนวณแบบเบย์ (Bayesian Calculation)

การคำนวณแบบเบย์คือการใช้ทฤษฎีบทของเบย์ (Bayes' theorem) เพื่ออัปเดตการประมาณความน่าจะเป็นของสมมติฐานเมื่อได้รับหลักฐานเพิ่มเติม ในการทดสอบ A/B เป็นกรอบเชิงความน่าจะเป็นที่ช่วยตัดสินใจจากข้อมูล

ตัวอย่าง: เมื่อใช้วิธีแบบเบย์ คุณสามารถหาความน่าจะเป็นที่ variant หนึ่งดีกว่าตัวควบคุมเมื่อกำหนดข้อมูลที่สังเกตได้ แทนที่จะพึ่งพา p-value แบบดั้งเดิมเพียงอย่างเดียว

 

ba93f062-2975-4281-8923-4374ed171a9a_1920x1080.png
Source: https://thepalindrome.org/p/is-probability-frequentist-or-bayesian

 

11. สถิติแบบความถี่ (Frequentist Statistics)

สถิติแบบความถี่เป็นแนวทางดั้งเดิมในการทดสอบสมมติฐานที่เน้นความถี่หรือสัดส่วนของข้อมูล อาศัยชุดข้อมูลที่ตายตัวและไม่นำความรู้เดิมหรือการแจกแจงความน่าจะเป็นมาใช้

ตัวอย่าง: ในแนวทางแบบความถี่สำหรับการทดสอบ A/B คุณจะใช้ p-value และช่วงความเชื่อมั่นเพื่อกำหนดนัยสำคัญของผลการทดสอบ โดยไม่นำความน่าจะเป็นเดิมมาใช้

ตัวอย่างการประยุกต์ใช้จริง

ตัวอย่างที่ 1: การทดสอบ A/B ของแคมเปญอีเมล

บริษัทต้องการทดสอบหัวเรื่องอีเมลสองแบบเพื่อดูว่าแบบใดให้อัตราการเปิดอ่านสูงกว่า

  • หัวเรื่อง A: อัตราการเปิดอ่าน 25%
  • หัวเรื่อง B: อัตราการเปิดอ่าน 28%
  • P-Value: 0.02 (บ่งชี้ความแตกต่างอย่างมีนัยสำคัญ)
  • ช่วงความเชื่อมั่น: [2%, 5%] (เชื่อมั่น 95% ว่าความแตกต่างที่แท้จริงของอัตราการเปิดอ่านอยู่ระหว่าง 2% ถึง 5%)
  • Z-Score: 2.33 (บ่งชี้ความแตกต่างที่มีนัยสำคัญทางสถิติ)
  • Observed Power: 0.85 (มีโอกาส 85% ที่จะตรวจพบความแตกต่างที่แท้จริง)
ตัวอย่างที่ 2: การทดสอบ A/B ของแลนดิ้งเพจเว็บไซต์

เว็บไซต์อีคอมเมิร์ซทดสอบดีไซน์แลนดิ้งเพจสองแบบเพื่อดูว่าแบบใดนำไปสู่การซื้อมากกว่า

  • ดีไซน์ A: อัตราการแปลง 4%
  • ดีไซน์ B: อัตราการแปลง 5%
  • P-Value: 0.045 (บ่งชี้ความแตกต่างอย่างมีนัยสำคัญ)
  • ช่วงความเชื่อมั่น: [0.5%, 1.5%] (เชื่อมั่น 95% ว่าความแตกต่างที่แท้จริงของอัตราการแปลงอยู่ระหว่าง 0.5% ถึง 1.5%)
  • Z-Score: 2.01 (บ่งชี้ความแตกต่างที่มีนัยสำคัญทางสถิติ)
  • Observed Power: 0.78 (มีโอกาส 78% ที่จะตรวจพบความแตกต่างที่แท้จริง)

การทดสอบ A/B เป็นเครื่องมือทรงพลังในการเพิ่มประสิทธิภาพประสบการณ์ดิจิทัล และการเข้าใจตัวชี้วัดและคำศัพท์หลักเป็นสิ่งสำคัญต่อการตีความที่ถูกต้อง Switas รู้วิธีดำเนินการทดสอบ A/Bอย่างมีประสิทธิผล เพื่อให้ธุรกิจตัดสินใจโดยอิงข้อมูลเพื่อยกระดับผลการดำเนินงาน และให้ข้อมูลเชิงลึกที่เชื่อถือได้และนำไปปฏิบัติได้ซึ่งขับเคลื่อนการเติบโตและความสำเร็จ

บทความที่เกี่ยวข้อง

บทความทั้งหมด →

มาสร้าง ผลงานชิ้นต่อไป

ติดต่อเรา