התוכנית שלכם מדווחת על ניצחון בערך פעם בחודש. הוסיפו שנים עשר ניצחונות והחפיסה השנתית אומרת שההמרה צריכה להיות גבוהה ב-18% מהשנה שעברה. הכספים מסתכלים על הרווח וההפסד ואומרים שלא. בדרך כלל החפיסה טועה.
בפלטפורמת הניסויים של מיקרוסופט, רק כשליש מהרעיונות שנבדקו שיפרו את המדד שהם נועדו לשפר, ואלה שהושקו נבחרים דווקא בגלל שנראו טוב, וזה המקום שבו החשבון מתחיל להיסחף (קוהבי ולונגבוטהאם, 2015קבוצת החזקה היא הכלי הזול ביותר שמודד את התוכנית אלא את המבחן האישי.
מדריך זה מיועד ללידים של CRO ובעלי אנליטיקה ששולחים לפחות ניסוי אחד בחודש. בסופו תוכלו לאמוד את גודל התוצאה שתוכל לזהות בפועל את השפעת התוכנית שלכם, לבחור משך זמן וחלון ניתוח, ולזהות את מצבי הכישלון שמבטלים את התוצאה עוד לפני שאתם מציגים אותה.
מה קבוצת החזקה מודדת שסכום ניצחונות לא מודדת
"החזקה" היא קבוצה אקראית של משתמשים שנשארים בחוויית טרום-השינוי, בעוד שכל השאר מקבלים את כל הפריטים הזוכים שהושקו. לאחר מספר חודשים משווים את שתי הקבוצות. ההבדל הוא ההשפעה המצטברת, שעדיין חיה, של כל מה ששלחתם - לא שנים עשר הערכות לחלון קצר המחוברות יחד.
נטפליקס משתמשת באותו כלי, ומתארת "מבחני AB של החזקה" כדרך "להבין השפעות ארוכות טווח, לבחון מחדש הנחות ישנות על חברים חדשים יותר ולמדוד ערך מצטבר" (בלוג הטכנולוגיה של נטפליקס).
מדוע סיכום ניצחונות במבחן מגזים במה שקרה
ארבעה מנגנונים מושכים את הסכום מעל האמת, והם מצטברים:
- קללת המנצח. משיקים רק גרסאות שחצו את המשמעות, כך שהקבוצה שהושקה מועשרת ברעש כלפי מעלה. לי ושן ב-Airbnb רשמו את הטיית הבחירה הזו ופרסמו תיקון (KDD 2018).
- דעיכת חדשנות ודחיפת עליונות. חלונות קצרים לוכדים תגובות לחידוש. בדוגמה של Microsoft News, עלייה ראשונית של 28% בקליקים על כפתור חדש ירדה מיום ליום בתוך חלון הניסוי (סדגי ואחרים, 2022).
- אינטראקציה ותשואות פוחתות. שני ניצחונות שנבדקו באופן עצמאי באותו שלב במשפך המכירות לרוב אינם מסתכמים; הם מתחרים על אותו משתמש שולי.
- רפיון בניתוח. הצצה, החלפת מטרי ודיווח סלקטיבי כל אחד מזיז את הסט המשוגר עוד יותר כלפי מעלה (Epp).
שום דבר מזה לא אומר שהבדיקות שלך היו מזויפות. זה אומר שהסכום הוא גבול עליון, לא אומדן.
גודלו את המחסום לפני שאתם בונים אותו
זהו השלב שכמעט כולם מדלגים עליו, וזה המקום שבו רוב ה"החזקות" מתות. "החזקה" היא מבחן דו-זרועי עם פיצול עקום במכוון, והדיוק נשלט על ידי הזרוע הקטנה יותר. סולמות מדגם נדרשים עם 1 / (p × (1 − p)), שם p הוא נתח ה-holdout. לכן, holdout של 1% זקוק לפיכך לתנועה גדולה פי 25 בערך בהשוואה לבדיקה מאוזנת כדי לראות את אותה השפעה.
סך המשתמשים הנדרשים לאורך תקופת ההמתנה, בשיעור המרה בסיסי של 2%, עוצמה של 80% ומשמעות דו-צדדית של 5%:
| נתח החזקה | משתמשים נדרשים לזהות יחס של +5% | משתמשים נדרשים לזהות יחס של +10% |
|---|---|---|
| 1% | 15,500,000 | 3,900,000 |
| 5% | 3,250,000 | 814,000 |
| 10% | 1,720,000 | 432,000 |
| 20% | 971,000 | 245,000 |
| 50% | 630,000 | 161,000 |
עכשיו תקראו את זה מול ברירת המחדל של הספק. סטטסיג מציע "אחוז החזקה נמוך של ספרה אחת, כמו 1%-2%" (סטטסיגאופטימיזציה מזהירה מעל 5% (OptimizelyGrowthBook מדווח שצוותי פייסבוק ו-X מנוהלים ב-5% או פחות (ספר צמיחה).
מספרים אלה נכונים עבור מחבריהם ושגויים עבור רוב האתרים הבינוניים. אתר מסחר אלקטרוני אזורי עם 400,000 משתמשים חודשיים צובר 1.2 מיליון משתמשים במהלך רבעון. עם 1% חוסר קריאה, הוא יצטרך כעשור. עם 10% קריאה, הוא עדיין לא מגיע ל-5%. עם 20% קריאה, הוא מזהה 5% קריאה ברבעון ו-10% קריאה תוך כחודש. בחר את הנתח מהתנועה שלך, לא מברירת המחדל של הספק. אם התשובה הכנה היא 20%, תנו את הפשרה הזו לעסק בצורה ברורה: חמישית מהמשתמשים מחכים רבעון לתכונות חדשות, בתמורה לדעת האם הרבעון היה שווה משהו.
בחר את משך הזמן ואת חלון הניתוח
Statsig ממליצה על שלושה עד שישה חודשים לפני שחרור השקעה (holdout); GrowthBook ממליצה על תקופה פעילה של חצי חודש עד רבעון, ולאחר מכן תקופת ניתוח של שבועיים עד ארבעה שבועות כדי שההשפעות יתייצבו וחלונות המעקב יתמלאו.
כלל העבודה שלנו: התקופה הפעילה היא הארוכה יותר מבין מה שנדרש בטבלת המידות שלכם ומחזור עסקי מלא אחד. באזור זה, פירוש הדבר הוא כיסוי של לפחות שיא קמפיין אחד וחודש שטוח אחד, כך שהתוצאה לא תוכרע על ידי 11.11 בלבד. לאחר מכן, הקפיאו את הדגלים וחכו עד לחלון הניתוח לפני שמישהו יפתח את לוח המחוונים.
בנה את זה: שבעה דברים לעשות נכון
- אקראי על מזהה משתמש או חשבון קבוע בצד השרתקובץ Cookie שבאנר הסכמה חוסם או שמשתמש מסיר מדליף אנשים בין זרועותיו.
- הקצאת העמידה פעם אחת, מקדימה, לפני השיגורים שברצונך למדוד. עיכוב שנוצר לאחר מעשה אינו עיכוב.
- נתבו כל שער מנצח שהושק דרך אותה מערכת דגלים, כך ש-"holdout = off" מתייחס באמת לחוויה הישנה. משתמשים עם Holdout מקבלים ערכי ברירת מחדל של שער ושכבה, כפי שעושה המימוש של Statsig.
- שמור על מפורשות רשימת אי הכללהתיקוני אבטחה, עבודות תאימות משפטית ונגישות ושינויי תמחור נשלחים לכולם. יש לתעד כל החרגה עם התאריך שלה.
- בחרו בין שתיים לארבע עָמִיד מדדים (הכנסה למשתמש, שימור, תדירות הזמנות) בתוספת שיעור ההמרה העיקרי שלך. אל תוסיף חמישית.
- שמרו רישום השקה מתוארך של כל שינוי שנשלח בחלון עם העלייה הנמדדת שלו. לזה אתם משווים את העיכוב.
- אמור להנדסה שהדגלים יישארו בבסיס הקוד עד לסגירת חלון הניתוח. החזקות מתות כתוצאה מניקוי דגלים מוקדם יותר מאשר מכל דבר סטטיסטי.
קרא את התוצאה בכנות
חשב את היחס בין העילוי שנמדד על ידי החזקה לעילוי המסכם באוגר השיגור שלך. ספי העבודה שלנו - שיקולי שיפוט, לא מדדי ביצועים שפורסמו:
| הרמה של החזקה ÷ הרמה מסוכמת | קריאה | פעולה |
|---|---|---|
| ≥ 0.6, המרווח אינו כולל אפס | התוכנית פחות או יותר כנה | דווח על מספר החסימות חיצונית, שמור על תחזית מעודכנת |
| 0.3 - 0.6 | הצטמקות רגילה כתוצאה מבחירה ואינטראקציה | יש ליישם את היחס שנצפה כתספורת על מקרי עסקיים עתידיים |
| < 0.3, או שהמרווח כולל אפס | הסכום אינו ראיה | הפסק לצטט את סיכום העלייה; בדוק מחדש את קריטריוני הזכייה ואת כללי העצירה |
| אומדן נקודתי שלילי | משהו שנשלח עולה כסף | בדיקה הפוכה של השיגורים הגדולים ביותר בנפרד |
אזהרה אזורית אחת לגבי הקבוצות האלטרנטיביות היא הנקודה הראשונה. אם אתם מתכננים לדלג על ההמתנה ולהשוות את הרבעון הזה לשנה שעברה, שימו לב שאינפלציית המחירים לצרכן השנתית בטורקיה הייתה 31.51% באוגוסט 2026 (נתוני TÜİK, שפורסמו ב-3 בספטמבר 2026). ההכנסה למשתמש בלירה אינה ניתנת להשוואה בין תקופות בשער זה, וניכוי שלה מוסיף הנחות משלו. אקראיות בו-זמנית עוקפת זאת: שתי הזרועות חיות באותה כלכלה באותו יום.
[נתונים פנימיים נדרשים: דוגמה של לקוח Switas - אורך התוכנית, קנה מידה של תנועה, עלייה מסוכמת בבדיקה לעומת עלייה שנמדדה על ידי החזקה, ושיעור ההחזקה שנעשה בו שימוש.]
שש דרכים שבהן התנגדות פורצת בשקט
- נְגִיעוּת. מכשירים משותפים, סשנים לאחר יציאה ואיפוס מזהים מעבירים משתמשים בין זרועות. מדדו את המעבר המוחלט; מעל בערך 2% ההערכה אינה אמינה.
- דליפה שקטה. שינוי שנשלח מחוץ למערכת הדגלים (כלל CDN, עריכה ב-CMS, תבנית חדשה) מגיע גם הוא למצב החסימה ומצמצם את הפער לכיוון אפס.
- זחילת הדרה. כל החלטה של "זה חייב להגיע לכולם" מורידה שיגור ממה שאתה מודד. עשרה כאלה ואתה לא מודד כלום.
- אי התאמה ביחס הדגימה. הפיצול סוטה מהחלוקה המיועדת שלו. יש לבדוק מדי שבוע; חוסר שליטה עם SRM הוא בטלה כמו כל בדיקה אחרת עם SRM.
- שחרור מוקדם. לא ניתן להשהות את ההמתנות הגלובליות המקוריות של Optimizely, אלא רק לסיים אותן. קח את זה ככלל: סיום מוקדם מוותר על החלון.
- חלש בכוח מהיום הראשון. הכישלון הנפוץ ביותר. תוצאה אפסית כתוצאה מ-2% הימנעות לא אומרת לך כלום על התוכנית שלך וכלום על גודל התוכנית שלך.
היכן שיטה זו מתקלקלת
ערך "החזקה" נותן את גודל האפקט המשולב, לא איזו השקה יצרה אותו. ייחוס עדיין זקוק למבחנים הבודדים. הוא לא יכול למדוד שום דבר שחייב להישלח לכולם, ולכן עבודת הציות נמצאת מחוץ לו. זוהי התאמה גרועה שבה אותם משתמשים לא חוזרים בתוך חלון הזמן, והיא לא אומרת דבר על המותג או הגלישה הלא מקוונת בין זרועות. מתחת ל-100,000 משתמשים חודשיים בערך אין נתח שניתן לזיהוי וגם להגן עליו; בקנה מידה כזה, קריאות "לפני-אחרי" מבוקרות בקפידה בתוספת אימות איכותני הן גיבוי כנה, כאשר נקודות התורפה שלהן מוצהרות בקול רם.
שאלות נפוצות
כמה גדולה צריכה להיות קבוצת המתנה?
גדול מספיק כדי לזהות את האפקט המצטבר שאתה מצפה לו, שהוא חישוב ולא מוסכמה. בקו בסיס של 2% ויעד יחסי של +5%, חוסר בפעילות של 5% זקוק לכ-3.25 מיליון משתמשים, בעוד שחוסר בפעילות של 20% זקוק לכ-971,000.
כמה זמן אמורה להימשך עיכוב?
ספקים מציעים שלושה עד שישה חודשים של תקופה פעילה בתוספת חלון ניתוח של שבועיים עד ארבעה שבועות. הוסיפו את האילוץ שחלון המכירות מכסה לפחות שיא קמפיין אחד וחודש רגיל אחד, כך שאירוע מכירות יחיד לא יכריע את התוצאה.
מדוע העלייה באחוזי ההחזקה שלי קטנה יותר מסכום ניצחונותיי במבחן?
זוהי התוצאה הצפויה, לא באג. קללת המנצח, דעיכת החידוש, האינטראקציה בין שינויים וחוסר ניתוח - כל אלה מנפחים את הסכום. המספר שחולף הוא זה שקרוב יותר למציאות.
האם אני יכול ליצור עיכוב אחרי שכבר השקתי דברים?
לא עבור ההשקות האלה - כולם כבר קיבלו אותן. "השהייה" מודדת רק שינויים שנקבעו מתאריך ההתחלה שלה. עדיין ניתן להתחיל השקה היום לשני הרבעונים הבאים.
האם עיכוב משתמשים פוגע בהכנסות?
במידה מסוימת, אם ההשקות שלך באמת עובדות; העלות הזו מוגבלת על ידי נתח ההמתנה כפול העלייה האמיתית. אם הן לא עובדות, ההמתנה לא עולה לך כלום וחוסכת לך לחזור עליהן.
מה אם תוצאת ההמתנה נשארת קבועה?
בדקו תחילה את ההספק מול טבלת המידות שלכם, לאחר מכן את ההצלבה והדליפה. תוצאה שטוחה באמת, עם הספק מספק, פירושה ששני רבעים מהמשלוחים לא הזיזו את המדד: יקר ללמוד, יקר יותר לא.
שלב הבא
אם אתם מבצעים ניסויים ואינכם יכולים לומר כמה הייתה שווה שנת ניצחונות, חשבו על רמת ההישארות מול התנועה שלכם השבוע - או בקשו מאיתנו למדוד, לבנות ולקרוא אותה כחלק מ... מעורבות CRO.
מקורות
- קוהבי ולונגבוטהאם, "ניסויים מבוקרים מקוונים ובדיקות A/B" (2015)
- לי ושן (Airbnb), "קללת המנצח", KDD 2018
- סדגי ואחרים (מיקרוסופט), "חדשנות ועליונות", טכנומטריקה, 2022
- בלוג הטכנולוגיה של נטפליקס, "יישומי הסקה סיבתית בנטפליקס"
- מסמכי סטטיסטיק, "החזקות"
- GrowthBook, "החזקות ב-GrowthBook"
- תמיכה אופטימלית, "החזקות גלובליות"
- אפו, "השלם קטן מסכום חלקיו"
- מינהל האסטרטגיה והתקציב - TÜİK CPI, אוגוסט 2026
