בדיקות מבוססות השערה הן גישה מובנית לניסויים שבה כל בדיקה מתחילה בהצהרה מפורשת וניתנת להפרכה, שחוזה ששינוי ספציפי ייצור השפעה ספציפית ומדידה על התנהגות המשתמשים, ומנוסחת בדרך כלל בפורמט כגון: מכיוון שהבחנו בראיה X, אנו מאמינים ששינוי Y יוביל לתוצאה Z, שנמדדת באמצעות מדד M בתוך פרק זמן מוגדר. הדבר שונה בתכלית מבדיקות אד-הוק, שבהן מנסים וריאציות על סמך אינטואיציה כללית או שיטת עבודה מומלצת שאולה מהענף, בלי סיבה מנוסחת בבירור שמעוגנת בראיות הייחודיות לאתר או למוצר הנבדקים באותו רגע. חלק מהצוותים דורשים בנוסף שכל השערה תציין את פלח המשתמשים הספציפי שעליו היא חלה, שכן שינוי שעוזר למבקרים חדשים מהנייד עשוי שלא להשפיע, ואף להשפיע לרעה, על לקוחות חוזרים במחשב שולחני שכבר יודעים בדיוק מה באו לעשות.
הדיסציפלינה הזו חשובה משום שהיא מאלצת צוות להצדיק שינוי מוצע בראיות קיימות לפני שהוא מתחייב למשאבי הנדסה ועיצוב לבנייה והרצה של בדיקה, מה שמשפר באופן משמעותי את שיעור הניצחונות הכולל של תוכנית ניסויים לאורך זמן והופך את ההיגיון שמאחורי הצלחות וכישלונות כאחד לשמיש מחדש בעבודה עתידית במקומות אחרים במוצר. בדיקה שמאשרת או מפריכה השערה המעוגנת בנתונים קודמים, כגון מפת חום שמראה שמשתמשים מתעלמים לחלוטין מקריאה מרכזית לפעולה, מניבה לקח שמתכלל לדפים אחרים עם דפוסים דומים, ואילו בדיקה שמבוססת אך ורק על רעיון יצירתי שאינו מעוגן, גם כשהיא במקרה מנצחת, מניבה לעיתים קרובות תוצאה שקשה מאוד להסביר או ליישם בכל מקום אחר במוצר.
בפועל, תוכניות בדיקות מבוססות השערה מקיימות בדרך כלל רשימת השערות שוטפת שנוצרת ממקורות מרובים בו-זמנית, כולל נתוני אנליטיקס, מפות חום והקלטות סשנים, ראיונות משתמשים, נושאים מפניות תמיכת לקוחות וניתוח תחרותי של עסקים דומים באותה קטגוריה. הרשימה מתועדפת באמצעות מסגרת ניקוד כגון ICE, שמדרגת כל השערה לפי השפעה פוטנציאלית, ביטחון בראיות שבבסיסה וקלות יישום. לאחר התעדוף, השערה מוטמעת בפועל כבדיקת A/B עם מדד ראשי מוגדר היטב, אפקט מינימלי הניתן לזיהוי וגודל מדגם נדרש שחושב מראש, והבדיקה מורצת עד שהיא מגיעה למובהקות סטטיסטית, בדרך כלל רמת ביטחון של 95 אחוז, ולא נעצרת מוקדם בעקבות תוצאת ביניים מושכת אך מוקדמת.
תפיסה מוטעית נפוצה היא שהשערה היא פשוט תיאור של איך תיראה הגרסה החלופית, כמו נעשה את הכפתור אדום, ולא תחזית מנומקת שמקשרת בין ראיות קיימות לתוצאה התנהגותית צפויה; השערה מנוסחת כראוי מציינת תמיד את האמונה הבסיסית לגבי התנהגות משתמשים ששינוי העיצוב נועד לבדוק ולאמת באופן ספציפי. מכשול משמעותי נוסף הוא התייחסות לבדיקה מפסידה ככישלון של התהליך כולו ולא כתוצאת למידה תקפה ובעלת ערך אמיתי בפני עצמה, שכן השערה שהופרכה על ידי נתוני משתמשים אמיתיים עדיין מבטלת הנחה שגויה ומכוונת מחדש את המאמץ העתידי בצורה פרודוקטיבית יותר מאשר אם הרעיון מעולם לא נבדק, הבחנה תרבותית חשובה שאנשי CRO מנוסים עובדים קשה כדי להטמיע בארגוני הלקוחות לאורך זמן.
בחברת ייעוץ CRO, בדיקות מבוססות השערה הן מודל הפעולה שסביבו בנויות כמעט כל תוכניות הניסויים של הלקוחות, שכן הן מספקות שובל הניתן להגנה ולביקורת שמחבר בעיה שנצפתה לפתרון מוצע ולתוצאה שנמדדה. השובל הזה חיוני הן להצדקת ההשקעה המתמשכת בתוכנית בדיקות רציפה בפני בעלי עניין ספקנים והן לבניית בסיס ידע ארגוני שערכו מצטבר באופן משמעותי ככל שיותר השערות נבדקות, מעודנות ומאומתות או נשללות סופית במחזורי בדיקות עוקבים ברחבי המוצר. עם הזמן, הרישום המצטבר הזה של השערות שאומתו והופרכו הופך לאחד הנכסים היקרים ביותר של חברת ייעוץ, שכן הוא מאפשר לתכנן ניסויים חדשים תוך ניצול כל מה שכבר נלמד, במקום להתחיל מדף ריק בכל פעם.
