אם תבדוק בדיקת A/B בכל בוקר ותעצור אותה בפעם הראשונה שלוח המחוונים הופך לירוק, שיעור החיובי השגוי האמיתי שלך אינו 5%. בסימולציה שבדקה מובהקות לאחר כל תצפית, אוון מילר מדד אותה ב- 26.1%, יותר מפי חמישה מהרמה שרוב הקבוצות מאמינות שהן פועלות בה (איך לא להריץ בדיקת A/B). אחד מכל ארבעה "ניצחונות" שלא ישכפלו אינו בעיה סטטיסטית. זוהי בעיה של מפת דרכים.
מדריך זה מיועד לצוותי צמיחה ו-CRO המבצעים בדיקות על מסחר אלקטרוני או תנועת נסיעות עונתיות מדי לשבת במקום במשך ארבעה שבועות. בסוף תוכלו לתכנן לוח זמנים של בדיקות לפני ההשקה, לקרוא את הסף עבור כל בדיקה מטבלה, לדרג את הבדיקה עבור המדגם הקטן הנוסף שעולה בתכנון, ולזהות היכן השיטה מפסיקה להיות תקפה.
מדוע הצצה מפריעה לבדיקת אופק קבוע
מבחן אופק קבוע מוציא את כל תקציב השגיאה של 5% שלו פעם אחת, בגודל מדגם אחד שהוצהר מראש. כל בדיקה נוספת היא הזדמנות נוספת לחצות את הגבול. הבעיה אינה בהתבוננות בנתונים; מדובר בהתבוננות עם סף שתומחר עבור בדיקה בודדת. הטבלה של מילר נותנת את רמת המובהקות המדווחת הדרושה כדי לשמור על שיעור אמיתי של 5% אם מתעקשים להציץ מספר פעמים קבוע:
| מספר מבטים | המובהקות המדווחת הנדרשת לקבלת 5% אמיתיים |
|---|---|
| 1 | 2.9% |
| 2 | 2.2% |
| 3 | 1.8% |
| 5 | 1.4% |
| 10 | 1.0% |
במילים אחרות: הציצו עשר פעמים ומה שאתם קוראים כ-1% מובהקות הוא למעשה 5%. גולמי, אבל כן. השיטות שלהלן עושות את אותה עבודה בצורה יעילה יותר.
שלוש דרכים לעצור מוקדם, ומה כל אחת מהן גובה ממך
| גישה | תיקון לפני ההשקה | עלות לעומת בדיקה קבועה | השתמש בו כאשר |
|---|---|---|---|
| אופק קבוע | גודל מדגם, תאריך ניתוח אחד | אין, אבל אין עצירה מוקדמת מותרת | התנועה יציבה, חלונות קצרים |
| קבוצה רציפה (הוצאות אלפא) | דגימה מקסימלית, מספר ותזמון של מבטים | הדגימה המקסימלית עולה ב-3% בערך (או'בריאן-פלמינג) ל-20% בערך (פוקוק), 4 מבטים | גודל המדגם ניתן להערכה |
| תמיד בתוקף (mSPRT) | כלום, באופן עקרוני | אובדן ההספק הגדול ביותר מבין השלושה באותה דגימה | גודל המדגם אינו ניתן להערכה |
השורה השלישית חשובה משום שהיא מה שרוב הפלטפורמות המסחריות מציעות. בסימולציה של גאורגי גאורגייב, עם דגימה מקסימלית קבועה של 7,045 יחידות לכל קבוצה, מבחן אופק קבוע הגיע לעוצמה של 83.3%, AGILE סדרתי קבוצתי הגיע ליעד של 80%, SPRT הגיע לכ-73%, והסקה תמיד תקפה 62.4%. כדי להגיע לעוצמה של 80%, נדרשה הסקה תמיד תקפה בערך. 85% יותר דגימה מאשר העיצוב הקבוצתי-רציף (ערכת כלים אנליטית, 2022מהנדסי ספוטיפיי הגיעו למסקנה דומה באופן עצמאי: בדיקות קבוצתיות עוקבות "טובות יותר מבחינה שיטתית או דומות לגישות שתמיד תקפות" כאשר ניתן להעריך את גודל המדגם (שולצברג ואנקרגרן, 2023).
ראוי לתקן זאת, משום שהמסגור של הספק פועל בכיוון ההפוך. התיעוד של Optimizely אומר לך "לדלג על ביצוע עבודה טרום ניסוי, כגון חישוב גודל המדגם לפני התחלת הניסוי" (תמיכה אופטימליתבקרת השגיאות אמיתית והמחקר הבסיסי תקין (ג'והארי ואחרים, הסקה תקפה תמיד); מה שהמסגור משמיט הוא חשבון החשמל. סטטסיג, המיישם את אותה משפחת שיטות, אומר זאת בפשטות: "אם אתם זקוקים למדידה מדויקת של גודל האפקט, חכו להספק המלא שחישוב ההספק שלפני הניסוי מעריך" (מסמכי סטטיסטיק). קרא "אין צורך בגודל מדגם" כטענה לגבי תוקף, לעולם לא כיעילות.
השיטה, שלב אחר שלב
דוגמה מעשית: קמעונאית ביגוד בודקת את הקופה. המרת ביקור בסיסית 2.4%, אפקט יעד +10% יחסי (2.64%), אלפא דו-צדדי 5%, עוצמה 80%, בערך 5,000 ביקור ביום.
1. תנו לזה גודל כאילו לעולם לא תציצו
גודל דו-פרופורציונלי נותן 66,943 מפגשים לכל זרוע133,886 בסך הכל. זו אינה תקורה אופציונלית רק בגלל שאתם מתכננים להפסיק מוקדם; זהו העוגן עליו בנוי לוח הזמנים.
2. בחרו כמה מראות, ומתי
שלושה עד חמישה מבטים לוכדים כמעט את כל התועלת הזמינה; מעבר לכך, כל מבט מוסיף עלות מקסימלית של דגימה עבור תמורה נמוכה. התאימו את המבטים ל שבועות שלמים, מכיוון שהרכב ימי השבוע הוא מקור משמעותי לשינויים בתנועה הקמעונאית. עם 5,000 ביקורים ביום, ארבע ביקורים שבועיים מתקרבים ל-140,000 ביקורים, ומכסים את המקסימום המתוכנן.
3. בחרו פונקציית הוצאות ורשמו את הספים
פונקציית אלפא קובעת כמה מתוך 5% התקציב כל חיפוש עשוי לצרוך, כפונקציה של כמות הנתונים שנצברה (פן סטייט STAT 509שתי האפשרויות הקלאסיות, בארבעה אפשרויות מרווחות באופן שווה, אלפא דו-צדדית 0.05:
| נראה | חלק מהדגימה המתוכננת | אובריאן-פלמינג: עצור אם p | פוקוק: תפסיק אם פ |
|---|---|---|---|
| 1 (סוף שבוע 1) | 25% | 0.0001 | 0.0179 |
| 2 (סוף שבוע 2) | 50% | 0.0055 | 0.0179 |
| 3 (סוף שבוע 3) | 75% | 0.0216 | 0.0184 |
| 4 (סוף שבוע 4) | 100% | 0.0411 | 0.0188 |
| דגימה מקסימלית לעומת בדיקה קבועה | +% 3 | +% 20 |
אלה חושבו באמצעות פונקציות ההוצאות של Lan-DeMets ותואמות את האפיון שפורסם: O'Brien-Fleming משתמשת ב"ספים מחמירים מאוד בשלב מוקדם, אך סף הניתוח הסופי קרוב ל-p הטיפוסי < 0.05", בעוד ש-Pocock מחזיקה בסף כמעט קבוע סביב p < 0.016 (צ'ולינו, קייזר ובונר, 2023).
אובריאן-פלמינג הוא ביטוח זול: הוא כמעט אף פעם לא מופעל ב-look 1, עולה כ-3% יותר דגימה מקסימלית, והסף הסופי שלו בקושי נמוך מ-0.05. פוקוק עוצר מוקדם הרבה יותר לעתים קרובות אך גובה 20% יותר תנועה. ברירת המחדל היא אובריאן-פלמינג עבור מדדים הקשורים להכנסות.
4. רשמו את הכלל בכרטיס לפני ההשקה
משפט אחד, גלוי לכל מי שיכול לעצור את המבחן: "אנחנו מסתכלים על סוף שבועות 1 עד 4, מכריזים על מנצח רק אם ערך ה-p הדו-צדדי עבור [מדד ראשי] נמוך מסף הבדיקה, אחרת ממשיכים לשבוע 4." כלל שחי בראש של מישהו אינו כלל.
5. קבעו גם את גבול חוסר התוחלת
רוב הקבוצות מיישמות רק גבולות יעילות, כך שהן עוצרות את המנצחים מוקדם ונותנות למפסידים לרוץ לאורך מלא, וזה הפוך מבחינת עלות אלטרנטיבית. גבול תועלת לא מחייב - עצירה כאשר ניצחון משמעותי הופך ללא סביר - הוא מה שממנו מגיע רוב החיסכון בלוח השנה. עם ארבעה מבטים של או'בריאן-פלמינג, המדגם הצפוי תחת השפעה אמיתית יורד לכ-83% מדרישת האופק הקבוע.
6. אין לדווח על אומדן הנקודה המוקדם כגודל ההשפעה
מבחן שנגמר מוקדם נעצר כי העילוי שנצפתה היה גדול באופן חריג, כך שההערכה מוטה כלפי מעלה עקב הבנייה. השתמשו בה לצורך קבלת החלטות לגבי הספינה, לא לצורך תחזית ההכנסות. סטטיסטיק: "החלטות מוקדמות לעיתים קרובות מייצרות הערכות עילוי נמוכות עם אי ודאות גבוהה."
רשימת בדיקה לפני ההשקה
- מדד עיקרי אחד, שהוכרז בכתב לפני ההשקה
- תאריך סיום מקסימלי לדגימה ולוח שנה נקבע
- נראה קבוע במספר ובתזמון, מיושר לשבועות שלמים
- פונקציית ההוצאות שנבחרה, ספים כתובים בכרטיס
- כלל התכלית מוגדר, לא רק כלל היעילות
- SRM נבדק בכל מבט, לפני ערך ה-p נקרא
- מדדי מעקה בטיחות מנוטרים בנפרד, מחוץ לכלל העצירה
- כל מי שיכול לעצור את המבחן יודע שמבטים לא מתוכננים אסורים
כיול זה עבור טורקיה והאזור
טורקיה רשמה 5.94 מיליארד עסקאות מסחר אלקטרוני בשנת 2025 בהיקף של 4.57 טריליון לירה שטרלינג, לפי דוח התחזית למסחר אלקטרוני של משרד המסחר שהוצג במאי 2026 (סבאח יומי, 12 במאי 2026זהו שוק גדול המורכב בעיקר מחנויות בינוניות, כך שחלונות זמן של ארבעה שבועות הם שבשגרה - ארוכים מספיק כדי להתנגש בקמפיין.
תקופת ההנחות של סוף נובמבר, המכונה מקומית אפסאנה קומה, ואירוע ה-11.11 שלפניה, משתנים מי נמצא באתר, לא רק כמה. מבקרים המונעים על ידי הנחות מבצעים המרה על סמך לוגיקה שונה, כך שלוח זמנים שחוצה גבולות קמפיין אינו מודד אוכלוסייה אחת. הכלל שלנו: לסיים לפני הקמפיין או להתחיל אחריו. אם בדיקה חייבת לעבור דרך אחת, להתייחס לשבוע הקמפיין כאל שכבה בפני עצמה ולא לקבל החלטה לעצור בתוכו.
התאמה שנייה חלה ברחבי האיחוד האירופי ועל באנרים של הסכמה המותאמים ל-KVKK בטורקיה: אם הניתוחים מבוססים על הסכמה, חלק מהתנועה שלך לא נצפית. גודל ותזמון ב שנצפה מפגשים, או שכל מראה מגיע מאוחר יותר ממה שמציין היומן.
[נתונים פנימיים נדרשים: חציון מספר הפעילויות היומיות ומשך הבדיקה החציוני שבוצע בקרב לקוחות המסחר האלקטרוני של Switas, כדי להחליף את הנתון הממחיש של 5,000 פעילויות/יום בהתפלגות בפועל.]
איפה זה מתפרק
- שינוי קומפוזיציה. שיטות סדרתיות מניחות שהזרם הנכנס ניתן להחלפה לאורך זמן. שינוי בקמפיין או במדיה בתשלום שובר את זה, ועצירת נעילות מוקדמות בכל שבוע הייתה יוצאת דופן.
- חידוש ועליונות. קריאה של שבוע 1 מודדת תגובה, לא התנהגות יציבה. אם השינוי נראה לעין ללקוחות חוזרים, אין להציב גבול יעילות למבט 1 כלל.
- מדדים כבדי-זנב. ההכנסה לכל ביקור נשלטת על ידי הזמנות גדולות ונדירות, וקירובים רגילים אינם אמינים במדגמים ביניים קטנים. עצור על שיעור ההמרה וקרא את ההכנסה לצד, או נסה לבצע שינויים ותגיד זאת.
- מדדים מרובים. גבולות אלה שולטים בשגיאת אחד מדד. חמישה מדדים עם חמישה כללי עצירה וללא תיקונים נוספים מחזירים אותך לנקודת ההתחלה.
- מכשור שבור. בדיקה סדרתית תחצה בשמחה את הגבול על נתונים פגומים. היא אינה תחליף לבדיקת SRM.
- לא מכוסה כאן: כללי עצירה בייסיאניים, שודדים מרובי זרועות, והפחתת שונות כמו CUPED. כל אחד מהם מקיים אינטראקציה עם עצירה מוקדמת בדרכים הדורשות טיפול נפרד.
שאלות נפוצות
סמן סעיף זה באמצעות סכימת FAQPage.
האם אני יכול פשוט להשתמש בערך p מחמיר יותר במקום פונקציית הוצאות?
כן, אם קובעים את מספר המבטים מראש ויש רק מעטים. הטבלה של מילר נותנת את הסף. היא שמרנית יותר מהוצאות אלפא, כך שמשלמים יותר מדגם מהנדרש, אך היא אינה דורשת כלים חדשים.
האם בדיקה סדרתית אומרת שאני יכול לדלג על חישוב גודל המדגם?
לא. התוקף נשמר ללא אומדן גודל מדגם; עוצמת המחקר אינה נשמרה. גם הסימולציות של גאורגייב וגם של ספוטיפיי מראות את אותה תבנית: כאשר ניתן לאמוד את גודל המדגם, שולט מבנה סדרתי קבוצתי.
מה אם אני צופה רגרסיה במקום ניצחון?
זהו ניטור מעקות בטיחות, לא בדיקת השערות. יש לצפות במדדי בטיחות ושגיאות באופן רציף תחת כלל נפרד ורופף יותר ולהשאיר את כלל העצירה העיקרי ללא שינוי. ביטול גרסה שפוגעת במשתמשים אינו דורש טקס.
האם בדיקה בייסיאנית חסינה מפני הצצה?
לא. עצירה ברגע שהסתברות אחורית חוצה סף משנה את מאפייני הפעולה של כלל ההחלטה, אלא אם כן הכלל תוכנן לעצירה אופציונלית. הכלל הקודם משנה את צורת הבעיה, לא את קיומה.
אובריאן-פלמינג או פוקוק?
אובריאן-פלמינג כמעט בכל מקרה מסחרי. בחרו בפוקוק רק כאשר לתשובה מוקדמת יש ערך קונקרטי, ניתן לספוג בערך 20% יותר מדגם מקסימלי, ומישהו מוכן לשלוח תוצאה של שבוע אחד.
האם אני יכולה להוסיף מראה שלא תכננתי?
עם פונקציית הוצאות אלפא, כן, בתנאי שההחלטה לחפש אינה מונעת על ידי הנתונים שאתה עומד לראות. הוספת חיפוש מכיוון שלוח המחוונים "נראה קרוב" היא תזמון תלוי נתונים ומבטלת את האחריות.
עבדו איתנו על זה
אם אתם מבצעים ניסויים בנכס מסחר אלקטרוני טורקי או אזורי וכלל העצירה כיום הוא "בדקו זאת כל בוקר", נבנה זאת מחדש יחד אתכם: גודל, לוח זמנים למראה, גבולות, כלל חוסר תועלת ושער SRM, שנכתבו בתבנית הניסוי שלכם כך שהבדיקה הבאה תוריש אותו. דברו עם סוויטאס על תוכנית הניסויים שלכם.
מקורות
- אוון מילר, איך לא להריץ בדיקת A/B
- ג'והארי, פקליס, וולש וקומין, הסקה תקפה תמיד: ניטור מתמשך של בדיקות A/Bפורסם ב מחקר תפעולי 70(3), 2022
- גאורגי גאורגייב, השוואה של הכוח הסטטיסטי של בדיקות עוקבות, ערכת כלים לניתוח נתונים, נובמבר 2022 (עודכן במרץ 2023)
- שולצברג ואנקרגרן, בחירת מסגרת בדיקות סדרתית, הנדסת ספוטיפיי, מרץ 2023
- באופן אופטימלי, סקירה כללית של שיטות ניתוח סטטיסטיות
- סטטסיג, בדיקה סדרתית תכופה
- צ'ולינו, קייזר ובונר, הנחיות לגבי שיטות ניתוח ביניים בניסויים קליניים, J Clin Transl Sci 7(1):e124, 2023
- פן סטייט STAT 509, גישת פונקציית ההוצאות של אלפא
- rpact, הגדרת גבולות סדרתיים של קבוצות
- נפח המסחר האלקטרוני של טורקיה מזנק ביותר מ-52% בשנת 2025, דיילי סבאח, 12 במאי 2026, מדווח על דוח התחזית של משרד המסחר האלקטרוני
