אי התאמה ביחס דגימה (SRM)

אי-התאמה ביחס הדגימה, או בקיצור SRM, מתרחשת כאשר חלוקת התנועה בפועל בין גרסאות הניסוי שונה מהחלוקה המיועדת ביותר ממה ששונות אקראית יכולה להסביר. בדיקה שתצורתה מוגדרת לחלוקה זוגית של 50/50 שמספקת 51,200 מבקרים לקבוצת הביקורת ו-48,800 לגרסה השנייה, לא פשוט הייתה חסרת מזל; בנפח כזה, פער בגודל כזה אינו סביר סטטיסטית תחת אקראיות נכונה. SRM מזוהה באמצעות מבחן כי בריבוע כנגד ההקצאה הצפויה, וכל בדיקה המציגה זאת צריכה להיחשב כבלתי חוקית עד למציאת הסיבה.

SRM חשוב משום שהוא מאותת ששתי הקבוצות אינן ניתנות עוד להשוואה. כל ההיגיון של ניסוי מבוקר נשען על הקצאה אקראית המייצרת קבוצות הנבדלות רק בטיפול המופעל. אם תהליך שיטתי כלשהו מסיט מבקרים מסוימים לקבוצה אחת, או מוציא מבקרים מקבוצה אחת לפני שהם נספרים, אז כל הבדל שנצפה בהמרה עשוי לשקף את התהליך הזה ולא את השינוי הנבדק. התוצאה המדווחת אינה רק לא מדויקת; היא מודדת משהו אחר ממה שהצוות מאמין שהוא מודד.

הסיבות הן כמעט תמיד טכניות ולא סטטיסטיות. טעינה איטית של קוד וריאנט גורם למבקרים לעזוב לפני שנספרים, ומסיר באופן שיטתי את המשתמשים הכי פחות סבלניים מקבוצה אחת. בדיקות מבוססות הפניה מאבדות תנועה במהלך ההפניה, וההפסד אינו מחולק באופן שווה בין מכשירים או מהירויות חיבור. סינון בוטים המופעל באופן לא עקבי בין וריאנטים, אחסון שכבות במטמון המשרתות גרסה אחת באופן לא פרופורציונלי, מעקב אחר קריאות המופעלות לפני השלמת הרינדור בגרסה אחת אך לאחר מכן בגרסה השנייה, ואינטראקציות בין ניסויים הפועלים בו זמנית - כל אלה מייצרים SRM. כל אחד מאלה הוא פגם ממשי שישחית את התוצאות בין אם מישהו בדק את היחס ובין אם לא.

התגובה המתאימה היא לעצור את הבדיקה, לאבחן את הסיבה, לתקן אותה ולהתחיל מחדש מאפס. ניסיונות להציל בדיקה שנפגעה מ-SRM על ידי שקלול מחדש של הקבוצות או על ידי ניתוח תת-קבוצה הם לעיתים רחוקות ניתנים להגנה, משום שהתעבורה החסרה או שהוקצתה באופן שגוי אינה חסרה באופן אקראי. האינסטינקט להציל בדיקה שכבר צרכה שלושה שבועות של תעבורה הוא חזק, במיוחד כאשר נראה שהיא מראה ניצחון, אך לתוצאה של אקראי פגום אין ערך ראייתי, וביצוע על סמך בדיקה כזו גרוע יותר מאי ביצוע בדיקה כלל.

מכיוון ש-SRM אינו נראה אלא אם כן מישהו מחפש אותו, הבדיקה חייבת להיות אוטומטית. תוכניות בוגרות מריצות בדיקת SRM על כל ניסוי כחלק מצינור הניתוח הסטנדרטי, מסמנות כל סטייה מעבר לסף קפדני ומסרבות לפרסם תוצאות עד שהסימון יוסר. ביקורות רטרוספקטיביות של ניסויים קודמים מגלות לעתים קרובות שחלק משמעותי של בדיקות היסטוריות מושפעות, וזו אחת התגליות הלא נוחות יותר שתוכנית בדיקות יכולה לגלות, ואחת היקרות הערך ביותר, משום שהיא מסבירה מדוע הצלחות מסוימות מהעבר מעולם לא התממשו בתוצאות העסקיות.

חקירת אי-התאמה היא תהליך שיטתי ולא חיפוש. הצעד הראשון הוא לבדוק האם חוסר האיזון קיים ברשומות ההקצאה של כלי הבדיקה עצמו או רק ברשומות פלטפורמת הניתוח, דבר המבדיל בעיית רנדומיזציה מבעיית מעקב. השני הוא לפלח את היחס לפי מכשיר, דפדפן, גיאוגרפיה ומקור תנועה, מכיוון שהסיבה משפיעה לעתים קרובות על קבוצה אחת באופן לא פרופורציונלי והפלח המציג את הסטייה הגדולה ביותר מצביע בדרך כלל ישירות על המנגנון. השלישי הוא לבדוק את התזמון, מכיוון שיחס שהיה נכון בתחילה וסטה מאוחר יותר מצביע לעתים קרובות על פריסה, שינוי במטמון או סקריפט של צד שלישי שהוכנס באמצע הבדיקה. תיעוד כל חקירה בונה קטלוג של סיבות חוזרות, ורוב הארגונים מוצאים את אותם שניים או שלושה מנגנונים אחראים לרוב האירועים שלהם.

הצגת בדיקת SRM אוטומטית היא בדרך כלל אחת ההמלצות הטכניות המוקדמות ביותר שירות CRO מעורבות, מכיוון שהיישום עולה מעט מאוד ומעלה באופן מיידי את האמינות של כל מה שהתוכנית מייצרת לאחר מכן. כאשר SRM נובע מעיכוב רינדור גרסאות או השהיית הפניה מחדש, הפתרון נמצא אצל ביצועי אינטרנט לעבוד במקום עם כלי הבדיקה עצמו, ותיקון בעיית המהירות הבסיסית נוטה לשפר הן את תקפות הניסויים והן את שיעור ההמרה שהם מודדים.