אפקט חידוש

אפקט החידוש הוא השינוי הזמני בהתנהגות המשתמש המתרחש פשוט משום שמשהו חדש ושונה, ולא משום שהוא טוב יותר. כאשר אלמנט ממשק מוכר זז, משנה צבע או מקבל תווית חדשה, משתמשים קיימים שמים לב אליו, מסתכלים עליו ומקיימים איתו אינטראקציה יותר ממה שהיו עושים אחרת. בימים הראשונים של ניסוי, הדבר יכול לייצר שיפור לכאורה שדועך ככל שהקהל מסתגל, ומשאיר השפעה ארוכת טווח קטנה יותר, נעדרת או שלילית.

תמונת הראי שלה, המכונה לעיתים אפקט סלידה משינוי, פועלת בכיוון ההפוך. משתמשים המורגלים להשלים משימה בצורה מסוימת מואטים ומתוסכלים מעיצוב מחדש, אפילו כזה עדיף, והביצועים שלהם יורדים בזמן שהם לומדים מחדש את הזרימה. בדיקה המודדת רק את השבוע הראשון של עיצוב מחדש משמעותי של הניווט או התשלום תמעיט באופן שיטתי בערכה לטווח ארוך. שתי ההשפעות נובעות מאותו מקור, והוא שמשתמשים חוזרים נושאים ציפיות שנבנו מביקורים קודמים, ושניהם מעוותים ניסויים קצרים בדרכים ששום רמת דיוק סטטיסטית לא יכולה לתקן.

שתי ההשפעות יחד מסבירות חלק גדול מהפער בין ניצחונות מדווחים בניסוי לבין תוצאות עסקיות שהושגו. ניסוי שפועל במשך שישה ימים באתר עם מחזור רכישה של שבועיים מודד אוכלוסייה הנשלטת על ידי התגובה לשינוי ולא על ידי ההתנהגות במצב יציב שתחול לאחר הפריסה. כאשר השינוי מגיע והחידוש דועך, המדד חוזר לקו הבסיס וההכנסה השנתית הצפויה לעולם לא מופיעה. הניסוי לא היה שגוי סטטיסטית; הוא ענה על שאלה לגבי השבוע הראשון ולא על פעילות רגילה.

גילוי השפעות אלו דורש התבוננות על צורת התוצאה לאורך זמן ולא רק על הסכום המצטבר. שרטוט עלייה יומית או מצטברת והתבוננות האם היא במגמת אפס היא האבחון הפשוט ביותר. פיצול התוצאות לפי מבקרים חדשים לעומת מבקרים חוזרים הוא מכריע יותר, משום שחידוש וסלידה משינוי פועלים בעיקר על אנשים עם חשיפה קודמת: שינוי שמתפקד באופן זהה עבור מבקרים חדשים לאורך כל תקופת הבדיקה אך מראה עלייה דועכת בקרב חוזרים, מציג חידוש ולא שיפור אמיתי. במקומות בהם ההימור מצדיק זאת, קבוצת עכבה שנשארת בקבוצת הבקרה לאחר הפריסה מאפשרת למדוד את ההשפעה האמיתית לטווח ארוך במשך שבועות או חודשים לאחר מכן.

אמצעי הבטיחות המעשיים אינם זוהרים. יש לבצע בדיקות במשך מחזור עסקי אחד לפחות, ועדיף שניים. אין לעצור ביום השלישי רק בגלל שהמספרים נראים יוצאי דופן. יש להתייחס להשפעות מוקדמות גדולות על שינויים בולטים ויזואלית בחשדנות רבה יותר מאשר להשפעות מוקדמות קטנות על שינויים עדינים. עבור עיצובים מחדש גדולים, יש לתכנן חלון מדידה ארוך יותר ולהודיע ​​לבעלי העניין מראש שהמספרים של השבוע הראשון יהיו מטעים בכיוון זה או אחר, כך שאף אחד לא יצטרך להגן על החלטה לא פופולרית תחת לחץ באמצע הבדיקה.

שני מזהמים קשורים ראויים לשליטה בו זמנית. הראשון הוא תנועה פנימית: עובדים, סוכנויות ושותפים שבוחנים גרסה חדשה אינם מתנהגים כלל כמו לקוחות, ובאתרים עם תנועה נמוכה הם יכולים להוות נתח משמעותי מהסשנים המוקדמים, כולם מרוכזים בדיוק בתקופה שבה השפעות החידוש הן החזקות ביותר. סינון כתובות פנימיות ותנועה של שותפים ידועים הוא היגיינה בסיסית שתוכניות רבות משמיטות. השני הוא עונתיות ותזמון קמפיין, מכיוון שבדיקה הפועלת על פני תקופת קידום מכירות, חג או דחיפה שיווקית משמעותית מודדת התנהגות בתנאים שלא יימשכו. כאשר בדיקה חייבת לפעול לאורך תקופה כזו, התגובה המתאימה היא להאריכו כך שגם מסחר רגיל יוצג, ולבדוק האם ההשפעה שונה בין החלק הקידום והלא-קידום מכירות לפני הכללת התוצאה.

דינמיקות אלו הן אחת הסיבות העיקריות לכך שתכנון מחדש של עבודה וניסויים צריכים להיות מתוכננים יחד ולא ברצף. עיצוב מוצר בפרויקטים בהם מוצע שינוי ממשק מהותי, תוכנית המדידה כוללת בדרך כלל זמן ריצה מורחב, פיצול בין חדש לחוזר כקיצוץ סטנדרטי, וכאשר ניתן, עיכוב לאחר ההשקה. במסגרת מתמשכת ניהול צמיחה בתוכנית, אותה דיסציפלינה מוחלת על תיק ההשקעות בכללותו, על ידי מדידה מחדש מעת לעת של זוכים קודמים כדי לבדוק האם ההשפעות שהצדיקו את שילוחם החזיקו מעמד לאורך זמן.