אפקט מינימלי לגילוי (MDE)

אפקט מינימלי לגילוי, בדרך כלל בקיצור MDE, הוא השינוי הקטן ביותר במדד שניסוי נועד לזהות באופן מהימן. הוא נקבע לפני תחילת הבדיקה והוא קלט ישיר לחישוב גודל המדגם. ניסוי עם MDE של 10 אחוזים בנוי כדי לזהות שיפורים של 10 אחוזים או יותר עם רמת הביטחון והעוצמה שצוינו; שיפורים אמיתיים קטנים יותר לרוב לא יזוהו על ידי בדיקה זו, ויופיעו כתוצאות לא חד משמעיות ולא כניצחונות.

MDE לעיתים קרובות מובן בצורה שגויה כניבוי של כמה וריאנט ישפר את ההמרה. הוא אינו תחזית. זוהי הגדרת רגישות, באותו מובן שבו סולם מכיל את התוספת הקטנה ביותר הניתנת למדידה. הגדרתו אינה הופכת את האפקט לסביר יותר או פחות להתרחש; היא קובעת האם לניסוי יש רזולוציה מספקת כדי לראות את האפקט אם הוא קיים. בלבול בין השניים מוביל לשיחה רעה מוכרת לאחר סיום בדיקה, שבה צוות טוען שהוריאנט "היה צריך לנצח" מכיוון שה-MDE נקבע על 15 אחוזים, כשלמעשה ה-MDE תיאר רק את מה שהבדיקה יכלה לראות.

הדרך הנכונה לקבוע MDE היא מבחינה מסחרית, לא סטטיסטית. השאלה היא איזה גודל של שיפור יצדיק את עלות הבנייה, המשלוח והתחזוקה של השינוי, בתוספת עלות האלטרנטיבה של התנועה המושקעת במדידתו. בקופה בנפח גבוה, עלייה יחסית של 2 אחוזים עשויה להיות שווה נתון שנתי משמעותי ולכן שווה בדיקה ארוכה. בטופס יצירת קשר עם תנועה נמוכה, שיפור מתחת ל-20 אחוזים עשוי שלא להיות שווה זיהוי כלל, מכיוון שהמספר המוחלט של לידים נוספים הוא זניח. עבודה אחורה מהערך העסקי שומרת על מפת הדרכים לבדיקות מעוגנת לתוצאות ולא לנוחות סטטיסטית.

קיים מתח בלתי נמנע בין מבחן MDE שאפתני לבין כמות התנועה שיש לאתר בפועל. צוותים הנמצאים תחת לחץ להציג תוצאות לעיתים קרובות פותרים אותו בכיוון הלא נכון, ומעלים בשקט את ה-MDE עד שחישוב גודל המדגם מחזיר מספר ימים נוח. זה מייצר ניסויים שהם תקפים מבחינה טכנית אך חסרי תועלת מעשית: הם מסוגלים לזהות רק השפעות כה גדולות שהיו ברורות מאליהן ללא בדיקה. החלופה הכנה היא לקבל את העובדה שלא ניתן לענות על שאלות מסוימות באמצעות ניסויים ברמת התנועה הנוכחית, ולנתב אותן לשיטות אחרות, כגון בדיקות שמישות, חקירת אנליטיקה או סקירת מומחים.

MDE מעצב גם את עיצוב הגרסה עצמה. אם בדיקה צריכה לזהות שיפור של 15 אחוזים כדי שיהיה שווה להריץ אותה, שינוי עדין בטקסט הכפתור לא צפוי לעמוד ברף הזה, והצוות מרוויח טוב יותר מבדיקת גישה שונה באופן מהותי לדף: הצעת ערך שעוצבה מחדש, אורך טופס שונה, הצגת תמחור שונה. זו הסיבה שתוכניות עם תנועה מוגבלת נוטות לייצר עבודה מעניינת יותר מתוכניות עם תנועה בלתי מוגבלת, שיכולות להרשות לעצמן לבדוק טריוויה.

מקור חוזר לבלבול הוא האם ההשפעה מתבטאת במונחים יחסיים או מוחלטים, וההבדל אינו טריוויאלי. בשיעור המרה בסיסי של שני אחוזים, שיפור יחסי של עשרה אחוזים פירושו מעבר ל-2.2 אחוזים, שינוי מוחלט של 0.2 נקודות אחוז. שיפור מוחלט של עשרה אחוזים פירושו מעבר לשנים עשר אחוזים, שאף שינוי ריאלי לא מייצר. מחשבוני גודל מדגם, פלטפורמות בדיקה ובעלי עניין עוברים לעתים קרובות בין שתי המוסכמות מבלי לציין זאת, ותוכנית הבנויה על קריאה שגויה תציין ניסוי שלא יכול להסתיים או כזה שמופרז באופן מופרז. ציון המוסכמה במפורש בכל תוכנית בדיקה, יחד עם קו הבסיס והנתון המוחלט המתקבל, מסיר עמימות שאחרת צצה מחדש בכל פעם שדנות בתוצאות עם אנשים מחוץ לפונקציית האנליטיקה.

בפועל, החלטות MDE מתקבלות באופן קולקטיבי במהלך תכנון מפת דרכים ולא על ידי אנליסט שעובד לבדו. שירות CRO מעורבות בדרך כלל מתעדת, עבור כל ניסוי מתוכנן, את שיעור הבסיס, את ה-MDE, גודל המדגם המתקבל ואת זמן הריצה המשוער, כך שבעלי העניין יכולים לראות את העלות של כל שאלה לפני שהם מתחייבים אליה. עבור ארגונים המבצעים ניסויים במספר נכסים או שווקים, תיעוד זה גם מונע את הטעות הנפוצה של החלת מוסכמה יחידה של MDE על אתרים עם פרופילי תנועה שונים באופן קיצוני, דפוס שנראה לעתים קרובות ב מפעל תוכניות שבהן סטנדרט מרכזי נדחק למטה לצוותים שהתעבורה שלהם אינה יכולה לתמוך בו.