Çağdaş Polat · · 4 דקות קריאה
בדיקות A/B הן שיטה חיונית באופטימיזציה של אתרים ואפליקציות, המאפשרת לעסקים להשוות בין שתי גרסאות של דף אינטרנט או אפליקציה כדי לקבוע איזו מהן מציגה ביצועים טובים יותר. הבנת מדדי המפתח והמינוחים הקשורים בבדיקות A/B חיונית לפירוש מדויק של התוצאות. במאמר זה נבחן את מדדי בדיקות A/B החשובים ואת המינוחים שלהן, כולל ערך p (p-value), רווח סמך, בדיקות חד-צדדיות ודו-צדדיות, ציון Z, עוצמה נצפית, וריאנט, קבוצת ביקורת, הכנסה מצטברת (incremental revenue), שיעור המרה וחישוב בייסיאני.
מדדי המפתח והמינוחים בבדיקות A/B
1. וריאנט (Variant)
וריאנט הוא אחת הגרסאות הנבדקות בבדיקת A/B. בדרך כלל הגרסה הקיימת נקראת קבוצת הביקורת (control), והגרסה החדשה היא הוריאנט.
דוגמה: בבדיקת A/B של דף נחיתה, גרסה A (הדף הנוכחי) היא הביקורת, וגרסה B (העיצוב החדש) היא הוריאנט.
2. קבוצת ביקורת (Control Group)
קבוצת הביקורת היא קבוצת המשתמשים שנחשפת לגרסה המקורית (control) בבדיקת A/B. היא משמשת כבסיס להשוואה לביצועי הוריאנט.
דוגמה: אם 10,000 משתמשים מבקרים באתר, 5,000 עשויים לראות את דף הביקורת (קבוצת הביקורת), ו-5,000 עשויים לראות את דף הוריאנט.

3. הכנסה מצטברת (Incremental Revenue)
הכנסה מצטברת היא ההכנסה הנוספת שנוצרה כתוצאה מהשינויים שבוצעו במהלך בדיקת A/B. היא עוזרת להעריך את ההשפעה הכספית של הבדיקה.
דוגמה: אם דף הוריאנט מגדיל את ערך ההזמנה הממוצע ב-5 דולר ומתבצעות 1,000 רכישות נוספות, ההכנסה המצטברת היא 5,000 דולר.

4. שיעור המרה
שיעור המרה הוא אחוז המשתמשים שמבצעים פעולה רצויה, כמו ביצוע רכישה או הרשמה לניוזלטר, מתוך סך המבקרים.
דוגמה: אם 100 מתוך 1,000 מבקרים מבצעים רכישה, שיעור ההמרה הוא 10%.
5. ערך p (P-Value)
ערך p מודד את ההסתברות שההבדל הנצפה בין שתי הגרסאות נוצר במקרה. ערך p נמוך יותר (בדרך כלל פחות מ-0.05) מצביע על כך שההבדל הנצפה מובהק סטטיסטית.
דוגמה: נניח שבבדיקת A/B משווים שתי גרסאות של דף נחיתה. לגרסה A שיעור המרה של 5%, ולגרסה B שיעור המרה של 7%. אם ערך p הוא 0.03, יש סיכוי של 3% שההבדל הנצפה נוצר במקרה, מה שמעיד על הבדל מובהק בין שתי הגרסאות.

6. רווח סמך (Confidence Interval)
רווח הסמך מספק טווח שבו צפוי להימצא גודל האפקט האמיתי, ברמת ביטחון מסוימת (בדרך כלל 95%). הוא עוזר להעריך את מהימנות תוצאות הבדיקה.
דוגמה: באותה בדיקת A/B, רווח הסמך של 95% להפרש בשיעורי ההמרה עשוי להיות [1%, 3%]. משמעות הדבר היא שאנו בטוחים ב-95% שההפרש האמיתי בשיעורי ההמרה נמצא בין 1% ל-3%.
7. בדיקות חד-צדדיות ודו-צדדיות
בדיקה חד-צדדית בוחנת את כיוון האפקט (למשל, האם גרסה B טובה מגרסה A), ואילו בדיקה דו-צדדית בוחנת האם קיים הבדל כלשהו, בכל כיוון.
דוגמה לבדיקה חד-צדדית: בודקת אם שיעור ההמרה של גרסה B גבוה מזה של גרסה A.
דוגמה לבדיקה דו-צדדית: בודקת אם קיים הבדל כלשהו בין שיעורי ההמרה של גרסה A וגרסה B, ללא קשר לכיוון.

8. ציון Z (Z-Score)
ציון Z מודד כמה סטיות תקן רחוק רכיב מסוים מהממוצע. בבדיקות A/B הוא משמש לקביעת המובהקות של ההבדל הנצפה בין שתי הגרסאות. רמות ביטחון נפוצות ושווי הערך שלהן בציון Z:
- רווח סמך 95%
- ציון Z דו-צדדי: 1.96
- ציון Z חד-צדדי: 1.65
- רווח סמך 99%
- ציון Z דו-צדדי: 2.58
- ציון Z חד-צדדי: 2.33
- רווח סמך 90%
- ציון Z דו-צדדי: 1.64
- ציון Z חד-צדדי: 1.28
דוגמה: אם ציון Z להפרש בשיעורי ההמרה בין גרסה A לגרסה B הוא 2.5, פירוש הדבר שההפרש רחוק 2.5 סטיות תקן מהממוצע, מה שמצביע על הבדל מובהק סטטיסטית.
9. עוצמה נצפית (Observed Power)
עוצמה נצפית היא ההסתברות שהבדיקה דוחה נכון את השערת האפס כאשר קיים אפקט אמיתי. עוצמה נצפית גבוהה יותר מעידה על סבירות גבוהה יותר לזהות הבדל אמיתי.
דוגמה: בבדיקת A/B עם עוצמה נצפית של 0.8 (80%), יש סיכוי של 80% לזהות הבדל אמיתי בין הגרסאות, אם קיים כזה.

10. חישוב בייסיאני (Bayesian Calculation)
חישוב בייסיאני כולל שימוש במשפט בייס לעדכון אומדן ההסתברות להשערה, ככל שנאספות ראיות נוספות. בבדיקות A/B הוא מספק מסגרת הסתברותית לקבלת החלטות על סמך הנתונים.
דוגמה: באמצעות שיטות בייסיאניות ניתן לקבוע את ההסתברות שוריאנט אחד טוב מהביקורת בהינתן הנתונים הנצפים, במקום להסתמך אך ורק על ערכי p מסורתיים.

11. סטטיסטיקה פריקוונטיסטית (Frequentist Statistics)
סטטיסטיקה פריקוונטיסטית היא גישה מסורתית בבדיקת השערות, המתמקדת בתדירות או בפרופורציה של הנתונים. היא מסתמכת על מערכי נתונים קבועים ואינה משלבת ידע מוקדם או התפלגויות הסתברות.
דוגמה: בגישה הפריקוונטיסטית לבדיקות A/B, תשתמשו בערכי p וברווחי סמך כדי לקבוע את מובהקות תוצאות הבדיקה, מבלי לשלב הסתברויות מוקדמות.
דוגמאות מעשיות
דוגמה 1: בדיקת A/B בקמפיין דוא"ל
חברה רוצה לבדוק שתי שורות נושא לדוא"ל כדי לראות איזו מהן מניבה שיעורי פתיחה גבוהים יותר.
- שורת נושא A: שיעור פתיחה של 25%
- שורת נושא B: שיעור פתיחה של 28%
- ערך p: 0.02 (מעיד על הבדל מובהק)
- רווח סמך: [2%, 5%] (ביטחון של 95% שההפרש האמיתי בשיעורי הפתיחה נמצא בין 2% ל-5%)
- ציון Z: 2.33 (מצביע על הבדל מובהק סטטיסטית)
- עוצמה נצפית: 0.85 (סיכוי של 85% לזהות הבדל אמיתי)
דוגמה 2: בדיקת A/B של דף נחיתה באתר
אתר מסחר אלקטרוני בודק שני עיצובים של דף נחיתה כדי לקבוע איזה מהם מוביל ליותר רכישות.
- עיצוב A: שיעור המרה של 4%
- עיצוב B: שיעור המרה של 5%
- ערך p: 0.045 (מעיד על הבדל מובהק)
- רווח סמך: [0.5%, 1.5%] (ביטחון של 95% שההפרש האמיתי בשיעורי ההמרה נמצא בין 0.5% ל-1.5%)
- ציון Z: 2.01 (מצביע על הבדל מובהק סטטיסטית)
- עוצמה נצפית: 0.78 (סיכוי של 78% לזהות הבדל אמיתי)
בדיקות A/B הן כלי עוצמתי לאופטימיזציה של חוויות דיגיטליות, והבנת מדדי המפתח והמינוחים שלהן חיונית לפירוש מדויק. Switas יודעת לבצע בדיקות A/B יעילות, כך שעסקים יוכלו לקבל החלטות מבוססות נתונים לשיפור ביצועיהם, ומספקת תובנות אמינות וישימות שמניעות צמיחה והצלחה.




