רוב מבחני ה-A/B נכשלים לפני שמבקר אחד רואה אותם. לא בגלל שההשערה הייתה חלשה או שהעיצוב היה גרוע, אלא בגלל שאף אחד לא חשב האם הבדיקה יכולה להניב תשובה בכלל.
הדפוס מוכר. צוות שולח גרסה, צופה בלוח המחוונים, ולאחר עשרה ימים רואה את המתחרה עולה ב-6% עם ערך p של 0.14. מישהו אומר "זה במגמת חיובית, בואו ניתן לזה עוד שבוע". שבוע נוסף עובר. עכשיו זה עולה ב-4%, p = 0.09. הבדיקה נקראת "ניצחון כיווני" ונשלחת, או שהיא בוטלה כלא חד משמעית. כך או כך, שלושה שבועות של תנועה לא הניבה שום ידע - והתוצאה הזו נקבעה במלואה לפני ההשקה על ידי ארבעה מספרים שאף אחד לא בדק.
מאמר זה עוסק בארבעת המספרים הללו.
ארבעת הכניסות
גודל המדגם אינו שיקול דעת. הוא נובע מארבעה פרמטרים, וכל תוכנית ניסוי רצינית קובעת אותם לפני ההשקה ולא אחריה.
| קֶלֶט | מה זה אומר | ערך טיפוסי |
|---|---|---|
| שיעור המרה בסיסי | הקצב הנוכחי של המדד שאתה בודק, הנמדד בדף ובקהל המדויקים שעליהם הבדיקה תפעל | מה שלא אומרים הנתונים שלך |
| השפעה מינימלית ניתנת לגילוי (MDE) | השינוי הקטן ביותר שאתה רוצה שהבדיקה תוכל למצוא | 5–20% יחסית, תלוי בתנועה |
| רמת מובהקות (α) | הסובלנות שלך להכרזה על מנצח שאינו אמיתי | 0.05 |
| עוצמה סטטיסטית (1−β) | ההסתברות שלך לזהות השפעה ש is ממשי | 0.80 |
תן למחשבון את ארבעת המבקרים האלה והוא יחזיר את מספר המבקרים הנדרש לכל גרסה. שלנו מחשבון בדיקות A/B חינמי עושה בדיוק את זה, וזה לוקח בערך שלושים שניות - וזו הנקודה. הסיבה שצוותים מדלגים על שלב זה אינה שהוא קשה. אלא שהתשובה לרוב אינה רצויה.
MDE הוא הקלט שכולם מקבלים בצורה שגויה
"האפקט המינימלי הניתן לגילוי" הוא הפרמטר שגורם לנזק הרב ביותר, משום ששמו מרמז על משהו שהוא לא."
MDE הוא לֹא העלייה שאתה מצפה לה. זו לא תחזית, לא יעד ולא תחזית. זוהי סף של גילוי: ההשפעה האמיתית הקטנה ביותר שהבדיקה שלך בעלת סיכוי של 80% לתפוס. הגדירו את MDE ל-5% ואתם אומרים "אם השיפור האמיתי קטן מ-5%, אני מקבל שהבדיקה הזו כנראה תחמיץ אותו".
שתי תוצאות נובעות מכך, ולשתיהן יש משמעות.
מבחן יכול לענות רק על השאלה שבחרת בהתאמה. אם אתם מודדים את התוצאה הממוצעת (MDE) של 20% וההשפעה האמיתית היא 7%, סביר להניח שהבדיקה תחזיר "אין הבדל משמעותי". זו לא הוכחה שהוריאנט לא עושה כלום. זוהי הוכחה שהבדיקה שלכם לא הצליחה לראות השפעות בגודל הזה - הצהרה שונה לחלוטין, ואחת שצוותים מתרגמים באופן שגרתי באופן שגוי ל"בדקנו את זה, זה לא עבד".
MDE יחסי ומוחלט אינם ניתנים להחלפה. קו בסיס של 2.5% עם 10% קרוב משפחה MDE פירושו גילוי תנועה ל-2.75% - מוחלט הפרש של 0.25 נקודות אחוז. הזינו 10 בשדה מחשבון בציפייה לנקודות אחוז מוחלטות, וביקשתם לזהות מעבר מ-2.5% ל-12.5%, והכלי יגיד לכם בשמחה ש-400 מבקרים יעשו זאת. בדקו באיזו מוסכמה המחשבון שלכם משתמש. בלבול יחיד זה פוסל יותר תוכניות בדיקה מכל שגיאה אחרת שאנו רואים.
דוגמה מעשית
לקוח מסחר אלקטרוני רוצה לבדוק פריסת דף פרטי מוצר חדשה. שיעור ההמרה הבסיסי בדף זה הוא 2.5%. הם רוצים לזהות שיפור יחסי של 10% - עלייה ל-2.75%.
ב-α = 0.05 והספק של 80%, הדרישה היא בערך 64,000 מבקרים לכל גרסה, או כ-128,000 בסך הכל.
דף זה מקבל 40,000 מבקרים בחודש. לכן הבדיקה זקוקה לקצת יותר משלושה חודשים כדי להגיע לגודל המדגם שעבורו היא תוכננה.
זה המספר שמשנה את השיחה. לא בגלל ששלושה חודשים הם בלתי אפשריים, אלא בגלל שעכשיו מדובר בהחלטה שהתקבלה בגלוי - לפני ההשקה, כאשר הפשרות גלויות - ולא אכזבה איטית שהתגלתה ביום ה-21.
כעת שנה קלט אחד. שמור על אותו קו בסיס, אבל גודל עבור עלייה יחסית של 20% במקום 10%:
| MDE (יחסי) | הבדל מוחלט | מבקרים לפי גרסה | זמן של 40 אלף דולר לחודש |
|---|---|---|---|
| 5% | 0.125 עמ ' | ~ 256,000 | ~ 13 חודשים |
| 10% | 0.25 עמ ' | ~ 64,000 | ~ 3.2 חודשים |
| 20% | 0.5 עמ ' | ~ 16,800 | ~ 25 ימים |
| 30% | 0.75 עמ ' | ~ 7,700 | ~ 12 ימים |
חציית ה-MDE מכפילה בערך פי ארבעה את המדגם. קשר זה אינו מוזרות של המספרים הללו - גודל המדגם נרמז בריבוע ההפוך של גודל האפקט. זהו הדבר הכי שימושי להפנים בנוגע לתכנון ניסויים, משום שהוא אומר לך היכן נמצא המינוף: להפוך את השינוי לגדול יותר זול בהרבה מאשר לאסוף יותר תנועה.
גרסה ביישנית שמזיזה כפתור שני פיקסלים זקוקה לגודל דגימה שאף אתר בינוני לא יכול לספק. לגרסה שמארגנת מחדש את הדף יש סיכוי. זו הסיבה שתוכניות בדיקה זהירות נתקעות - לא בגלל שהרעיונות שגויים, אלא בגלל שהם קטנים מדי למדידה.
איפה התנועה בפועל נמצאת
המנוף השני המסתתר בחשבון הוא שיעור הבסיס. דרישות גודל המדגם יורדות בחדות ככל ששיעור הבסיס עולה.
קחו את אותו MDE יחסי של 10%, אבל הפעילו אותו בשלב המשלוח בקופה, שבו 40% מההגעה ממשיכות לתשלום:
- נקודת בסיס 2.5% → ~64,000 לכל גרסה
- נקודת בסיס 40% → ~2,400 לכל גרסה
אותו MDE, אותו ביטחון, אותו כוח. פי עשרים ושש פחות תנועה.
דף זה רואה הרבה פחות מבקרים מאשר ה-PDP, כמובן. אבל הדרישה יורדת מהר יותר מכמות התנועה, ולכן בדיקות משפך עמוק הן לעתים קרובות הבדיקות היחידות שאתר עם תנועה בינונית יכול לבצע בפועל. אם אחוז ההמרה באתר כולו הוא 2%, בדיקת דף הבית היא התחייבות של שנה ובדיקת התשלום היא שבועיים.
ההנחיה המעשית: כאשר המחשבון מחזיר מספר בלתי אפשרי, לפני שמרחיבים את ה-MDE, בדקו האם יש שלב בהמשך המשפך שבו ניתן לבחון את אותה השערה מול קו בסיס גבוה יותר.
מה בעצם משתבש כשמדלגים על זה
ישנם כאן שני מצבי כשל, והשני הרבה פחות מוכר מהראשון.
אתה מפספס שיפורים אמיתיים. בדיקה עם עוצמה נמוכה מחזירה "אין הבדל משמעותי" עבור שינוי שבאמת עובד. הצוות מסיק שהרעיון היה גרוע ונוטש כיוון שהיה יכול להשתלם. זהו הכישלון שכולם מכירים, והוא הזול מבין השניים.
הזוכים שלך מנופחים. זהו זה שמשחית בשקט את המספרים של תוכנית. בבדיקה עם עוצמה נמוכה, הדרך היחידה שבה תוצאה יכולה לעבור את סף המובהקות היא אם מתרחש רעש אקראי שדוחף אותה מספיק רחוק - כלומר, ההשפעות שאתה... do הצהרות שמשמעותיות גדולות באופן שיטתי מהאמת. ככל שהחזקה נמוכה יותר, כך ההגזמה גרועה יותר.
אז תוכנית חלשה לא סתם מפספסת דברים. היא מייצרת יומן בדיקות מלא בניצחונות עם עליות מוגזמות, אשר לאחר מכן מוכפלות בתנועה כדי לחזות הכנסות שלא מתממשות. שישה חודשים לאחר מכן מישהו שואל מדוע סכום הניצחונות לא מופיע במספר השורה הראשונה. זו בדרך כלל התשובה.
אי אפשר לתקן את זה בניתוח. צריך למנוע את זה בזמן התכנון.
לכל גרסה, לא סך הכל
פלט המחשבון הוא הדרישה עבור כל זרוע של המבחן. שני גרסאות פירושן מספר כפול. זה נשמע מובן מאליו ומתפרש באופן שגוי כל הזמן, בדרך כלל בכיוון האופטימי.
מספר וריאנטים מחמירים את הבעיה כפליים. מבחן A/B/C/D דורש דגימה גדולה פי ארבעה מהדמות בעלת זרוע אחת, ו שלוש השוואות בו זמנית מול קבוצת הביקורת מנפחות את הסיכוי ללפחות תוצאה חיובית כוזבת אחת הרבה מעבר ל-5% הנומינליים. תיקון לכך מעלה שוב את הדרישה.
עבור רוב האתרים, הכלל המעשי הוא: אלא אם כן יש לכם תנועה פנויה, הפעילו שתי זרועות. בדיקה ארבע-כיוונית בדף שבקושי יכול להניע בדיקה דו-כיוונית אינה למידה גדולה פי ארבעה. היא למידה גדולה פי אפס, כאשר היא מועברת לאט יותר.
משך הזמן הוא אילוץ נפרד
הגעה לגודל המדגם שלך היא הכרחית. זה לא מספיק.
בדיקה שהגיעה למספר הספציפי שלה תוך ארבעה ימים דגמה התנהגות של ארבעה ימים. תנועה בימי חול ובסופי שבוע מניבה המרות שונות. מחזורי יום התשלום חשובים במסחר אלקטרוני. קמפיינים בתשלום המושקים באמצע הבדיקה משנים את תמהיל הקהל שמתחת. עיצובים חדשים גם מייצרים אפקט חדשנות שדועך - מעורבות מוקדמת עם פריסה לא מוכרת אינה אומדן יציב של ביצועים במצב יציב.
הרץ את המחקר במשך שבוע שלם לפחות, ועדיף שבועיים, ללא קשר למה שמאפשר חישוב גודל המדגם. האילוץ הארוך ביותר - גודל המדגם או מחזור העסקים - הוא זה שקובע. וקבע את תאריך הסיום מראש במקום לבדוק כל בוקר ולהפסיק כשהמספרים נראים טוב, וזוהי דרך נפרדת ויעילה מאוד לייצר ניצחונות כוזבים.
כאשר המספר בלתי אפשרי
לפעמים התשובה הכנה היא שלא ניתן לבצע את הבדיקה. זהו מידע שימושי, וישנן חמש תשובות הגיוניות.
בדוק שינוי גדול יותר. הקשר הריבועי הופך את האפשרות הזו לאפשרות בעלת המינוף הגבוה ביותר בהפרש ניכר. עצבו מחדש את הזרימה ולא את הכפתור.
עבור למדד בסיסי גבוה יותר. בדיקה מול הוספה לעגלה או כניסה לקופה במקום מול רכישה. גודל ההשפעה נמדד מול בסיס גדול יותר ודרישת המדגם מצטמצמת. קבל את העובדה שאתה מודד מדד פרוקסי ואמת את הקישור להכנסה בנפרד.
בדוק בהמשך המשפך, כמו לעיל.
קבץ דפים דומים. הרצת בדיקה אחת על פני כל דפי הקטגוריות במקום קטגוריה בודדת מכפילה את התנועה הזמינה, בתנאי שהדפים דומים מספיק מבחינה התנהגותית כך שאיסוף נתונים ניתן להגנה.
תפסיקו לבדוק ותתחילו לחקור. אם אתר לא יכול להניע ניסוי, בדיקות A/B הן הכלי הלא נכון עבורן. בדיקות שמישות, הקלטות סשנים וסקירה היוריסטית ימצאו את הדברים השבורים מהר יותר ובזול יותר. אימות כמותי מגיע מאוחר יותר, לאחר שהשינויים גדולים מספיק כדי שניתן יהיה למדוד אותם. אין בכך בושה - הפעלת בדיקות לא חזקות כדי להרגיש קפדניות גרועה יותר מאשר אי-הפעלתן.
רשימת בדיקה לפני הטיסה
לפני כל בדיקה מתחילה:
- [ ] קו בסיס שנמדד בדף ובקהל בפועל שעליו הבדיקה תפעל, לא באתר כולו
- [ ] MDE ציין במפורש, בכתב, עם פירוט יחסי או מוחלט
- גודל המדגם מחושב לכל גרסה ומכפילים במספר הזרועות
- [] משך נדרש בהשוואה לתעבורה זמינה - והתשובה שהתקבלה לפני ההשקה
- [ ] תאריך סיום שנקבע מראש
- [ ] מינימום מחזור עסקי שלם אחד, מה שלא יהיה הערכה המתמטית של הדוגמה
- [ ] יחידת האקראיות תואמת ליחידת הניתוח (הקצאה ברמת המבקר, מדדים ברמת המבקר)
- [ ] חלוקת התנועה אומתה בשעות הראשונות - בדיקה של 50/50 המציגה 53/47 פירושה בעיה במכשור, והתוצאות אינן שמישות עד שהיא מתגלה.
הרץ את המספרים לפני שאתה בונה את הגרסה
כל החישוב לוקח חצי דקה והוא משנה את מה שאתה בונה. צוותים שמגדירים את גודל הבדיקות שלהם מעצבים תחילה גרסאות נועזות יותר, כי הם יכולים לראות כמה יעלו גרסאות ביישניות.
הזן את שיעור ההמרה הבסיסי שלך, את ההשפעה שברצונך לזהות, ואת הגדרות הביטחון והעוצמה שלך. אם המספר שחוזר גדול מהתנועה שלך, זו בכל מקרה לא סיבה להשקה - זהו המבחן שאומר לך לשנות את התוכנית.
שאלות נפוצות
כמה מבקרים אני צריך עבור בדיקת A/B? אין מספר אוניברסלי. זה תלוי בשיעור ההמרה הבסיסי שלך, בהשפעה הקטנה ביותר שאתה רוצה לזהות, וברמות המובהקות והעוצמה שבחרת. דף הממיר ב-2.5% זקוק לכ-64,000 מבקרים לכל גרסה כדי לזהות שיפור יחסי של 10%; שלב קופה הממיר ב-40% זקוק לכ-2,400 עבור אותה השפעה יחסית.
מהי השפעה מינימלית טובה לגילוי? הנמוך ביותר שהתנועה שלך יכולה לתמוך בו במסגרת זמן סבירה. התחל מהתנועה הזמינה שלך ומשך יעד של שבועיים עד ארבעה שבועות, ולאחר מכן פתור לאחור את ה-MDE שמתאים. אם ה-MDE הזה גדול יותר מהשינוי שאתה בודק יכול לייצר באופן סביר, עצב מחדש את הבדיקה.
האם אני יכול לעצור מבחן מוקדם אם הוא מנצח בבירור? לא עם מבחן אופק קבוע סטנדרטי. בדיקה ועצירה חוזרות ונשנות בתוצאה המשמעותית הראשונה מנפחות את שיעור התוצאות החיוביות השגויות שלך הרבה מעל 5%. אם אתה זקוק ליכולת לעצור מוקדם, השתמש בשיטה שנבנתה לכך - בדיקה סדרתית או מסגרת בייסיאנית - והחליט זאת לפני ההשקה, לא במהלכה.
מה אם המבחן שלי מגיע למשמעותיות לפני שמגיעים לגודל המדגם המבוקש? התייחסו לזה בחשדנות והמשיכו לרוץ עד הסוף המתוכנן. משמעות מוקדמת בחלון חלש היא בדיוק הדפוס שמייצר ניצחונות מנופחים ובלתי ניתנים לשחזור.
האם 80% עוצמה מספיקה? זוהי ברירת המחדל המקובלת וזו נקודת התחלה סבירה, אבל זה אומר לקבל סיכוי של 20% להחמיץ השפעה אמיתית. עבור החלטות בעלות סיכון גבוה - עיצוב מחדש של הקופה, שינוי תמחור - 90% כוח שווה את הדגימה הנוספת. עבור שינויים הפיכים ובעלות נמוכה, 80% זה בסדר.
לא בטוח שתוכנית הבדיקות שלך מניבה תשובות אמיתיות?
אם יומן הבדיקות שלכם מלא בניצחונות קטנים שמעולם לא מופיעים במספרים בשורה העליונה, הבעיה היא בדרך כלל במעלה הזרם של הניתוח. אנו סוקרים תוכניות ניסוי ומודיעים לכם בבירור היכן התכנון נכשל.
