בדיקה מרובת משתנים

בדיקה רב-משתנית (MVT) היא שיטת ניסוי המשמשת לקביעת האופן שבו אלמנטים מרובים של עמוד מקיימים אינטראקציה זה עם זה על ידי בדיקה בו זמנית של מספר וריאציות של שני רכיבים או יותר באותו עמוד ומדידת ההשפעה המשולבת על מדד יעד כגון שיעור המרה. בעוד שבדיקת A/B סטנדרטית משווה גרסה אחת של עמוד שלם לאחרת, בדיקה רב-משתנית עשויה לשנות את הכותרת בשתי דרכים ואת תמונת הכותרת הראשית בשלוש דרכים בו זמנית, ולייצר שישה שילובים נפרדים המוצגים לפלחי תנועה שונים. הפלט לא רק מזהה איזה שילוב מתפקד בצורה הטובה ביותר בסך הכל, אלא גם חושף את התרומה האישית של כל אלמנט והאם אלמנטים מקיימים אינטראקציה, כלומר ההשפעה של רכיב אחד תלויה בגרסה של רכיב אחר שהוא משויך אליה.

גישה זו בעלת ערך רב כאשר צוות צריך להבין אילו אלמנטים ספציפיים בדף מניעים ביצועים, במקום פשוט לאשר שעיצוב מחדש הוליסטי אחד עולה על אחר. לדוגמה, דף נחיתה מעוצב מחדש שנבדק כגרסה אחת של A/B עשוי לנצח, אך ללא בדיקה רב-משתנית אין דרך לדעת האם השיפור הגיע מהכותרת החדשה, מהטופס שעבר מיקום מחדש או מהתמונות המעודכנות, מידע שחשוב בעת יישום למידה בדפים אחרים. בדיקה רב-משתנית שימושית ביותר עבור דפים עם תנועה גבוהה, מכיוון שהדרישה הסטטיסטית לזהות הבדלים משמעותיים בין שילובים רבים, המכונים לעתים קרובות תאים, גדלה באופן משמעותי עם כל משתנה נוסף; עיצוב פקטוריאלי מלא עם שני משתנים בשלוש וריאציות כל אחד דורש תשעה תאים, וכל תא זקוק לגודל מדגם מספיק, בדרך כלל מאות או אלפי המרות לכל תא, כדי להגיע למשמעות סטטיסטית אמינה.

בגלל דרישת תנועה זו, MVT שמור בדרך כלל לדפים שכבר מקבלים נפח משמעותי, כגון דף בית של מסחר אלקטרוני או דף מוצר בעל כוונת תנועה גבוהה, ופחות פרקטי עבור דפים בעלי תנועה נמוכה יותר כמו דף נחיתה B2B נישתי, שבו סדרה רציפה של מבחני A/B פשוטים בדרך כלל מגיעה למסקנות מעשיות מהר יותר. פלטפורמות בדיקה מציעות בדרך כלל שתי גישות סטטיסטיות לבדיקות רב-משתניות: בדיקות פקטורליות מלאות, שבודקות כל שילוב אפשרי לקבלת תובנה מקסימלית, ובדיקות פקטורליות חלקיות או שיטות Taguchi, שבודקות תת-קבוצה מצומצמת של שילובים כדי להגיע למסקנות מהר יותר במחיר של נתוני אינטראקציה מסוימים.

אי הבנה נפוצה היא התייחסות לבדיקות רב-משתניות כאל דרך מהירה יותר להריץ מספר בדיקות A/B בו זמנית; במציאות נדרשת תנועה משמעותית רבה יותר ומשך בדיקה ארוך יותר כדי להגיע לאותה רמת ביטחון סטטיסטית כמו בדיקת A/B בודדת, מכיוון שהתנועה מפוצלת על פני וריאציות רבות יותר. הרצת בדיקה רב-משתנית חסרת עוצמה, כזו שבה גודל המדגם הנדרש לכל תא לא הושג לפני פירוש התוצאות, היא אחת הסיבות הנפוצות ביותר למסקנות שגויות בעבודה על אופטימיזציית המרות, יחד עם עצירה מוקדמת של בדיקה על סמך תוצאות בשבוע הראשון במקום משך הבדיקה המלא המתוכנן, שלעתים קרובות נקבע על שבועיים עד ארבעה שבועות כדי להתחשב בעונתיות השבועית.

בתוך א מנהל רווח וצמיחה כלכלית בפרקטיקה של ייעוץ, בדיקות רב-משתניות ממוקמות בדרך כלל ככלי מתקדם המשמש לאחר שמבחני A/B פשוטים יותר כבר אימתו את הכיוון הכללי של השערה, וזאת למצבים בהם ללקוח יש מספיק תנועה והוא מעוניין בתובנות מפורטות לגבי אילו אלמנטים ספציפיים בדף לתעדף בעבודת עיצוב עתידית. יועצים בדרך כלל משלבים תוצאות MVT עם מחקר איכותני, כגון מפות חום או ראיונות משתמשים, כדי להסביר לא רק איזה שילוב ניצח מבחינה מספרית, אלא גם מדוע משתמשים הגיבו אליו, ובכך להפוך ניסוי יחיד לעקרון עיצוב רב פעמי שיכול להוות מידע על דפים מעבר לזה שנבדק במקור.

קחו לדוגמה דוגמה קונקרטית: צוות של דף מוצר של מסחר אלקטרוני רוצה לבדוק שני גרסאות של כותרת ושני סגנונות של תמונות מוצר בו זמנית. בדיקה רב-משתנית פקטוריאלית מלאה מייצרת ארבעה שילובים, ואם הדף ממיר בנקודת בסיס של 5 אחוזים והצוות רוצה לזהות באופן אמין שיפור יחסי של 10 אחוזים בכל תא נתון, גודל המדגם הנדרש לכל תא יכול להגיע בקלות לכמה אלפי מבקרים, כלומר הדף יזדקק לעשרות אלפי מבקרים בסך הכל לפני שהבדיקה תסתיים. אם הדף היה מקבל רק כמה אלפי מבקרים בחודש, אותו מבחן ייקח חודשים רבים עד שיגיע למשמעותיות, ובנקודה זו הפעלת שני מבחני A/B עוקבים, תחילה מבודדים את הכותרת ולאחר מכן את התמונה, בדרך כלל תניב תשובה בטוחה ובררת פעולה הרבה יותר מהר.