מחקר לא מבוקר הוא מחקר משתמשים המבוצע ללא נוכחות מנחה, שבו המשתתפים משלימים משימות ועונים על שאלות בעצמם, בהנחיית הוראות בכתב המועברות דרך פלטפורמת בדיקות. המפגשים מוקלטים בדרך כלל, תוך צילום פעילות מסך, לחיצות ולעתים קרובות קריינות שמע ווידאו ממצלמת רשת, והתוצאות מנותחות לאחר מכן.
יתרונותיו העיקריים הם קנה מידה, מהירות ועלות. בעוד שמחקר מבוקר עשוי לכלול שמונה משתתפים במשך שבועיים של תזמון, מחקר לא מבוקר יכול לאסוף חמישים מפגשים או יותר תוך יום, בחלקיק מהעלות למשתתף, ועם משתתפים המפוזרים על פני אזורי זמן ואזורים גיאוגרפיים. זה משנה את מה שניתן להשתמש בו: ניתן לבצע בדיקות שגרתיות, להשוות מספר חלופות עיצוב, לכלול פלחי שוק מרובים ולהשיג מדדים כמותיים כגון שיעור הצלחה וזמן ביצוע המשימה עם גדלי מדגם התומכים בדיוק אמיתי.
הפשרה היא אובדן היכולת לשאלות אדפטיביות. מנחה מבחין בבלבול ושואל מדוע, בוחן הערה בלתי צפויה, מפנה מחדש משתתף שלא הבין נכון את המשימה, ומזהה מתי קרה משהו מעניין שלא היה חלק מהתוכנית. שום דבר מזה אינו זמין ללא מנחה. משתתפים שמפרשים הוראה באופן שגוי מייצרים נתונים בלתי שמישים, משתתפים שנתקלים בכשל טכני פשוט נוטשים, והתנהגות מעניינת נותרת בלתי מוסברת משום שאף אחד לא היה שם כדי לשאול עליה.
זה מעצב את התאמת השיטה. עבודה לא מבוקרת מציגה ביצועים טובים במשימות ממוקדות ומוגדרות היטב עם קריטריונים ברורים להצלחה, במחקרים השוואתיים, בביצוע בדיקות ומעקב לאורך זמן, ובמחקרי לחיצה ראשונה כמותיים, בדיקות עץ ומחקרי העדפה. היא מציגה ביצועים גרועים במחקר חקרני במרחבי בעיה לא מוכרים, בתרחישים מורכבים מרובי שלבים הדורשים הקמה, בנושאים רגישים ובכל דבר שבו המטרה היא להבין מוטיבציה ולא לצפות בהתנהגות.
לתכנון משימות והוראות יש משקל רב יותר מאשר בעבודה מונחית, משום שההוראות הן הפרוטוקול המלא ולא ניתן להבהיר אותן. המשימות חייבות להיות חד משמעיות, מנוסחות באוצר המילים של המשתתף ולא באוצר המילים של הממשק, מציאותיות מספיק כדי לעורר התנהגות אמיתית, וקצרות מספיק כדי שהתשומת לב תישאר. סבב ניסוי עם קומץ משתתפים, אך ורק כדי למצוא ניסוח דו-משמעי, מונע את רוב הבזבוז שנוצר כאשר חמישים מפגשים מגיעים עם תשובות לשאלה שונה במקצת מהמתוכנן.
ההקלטות עצמן הן לעתים קרובות התוצר החשוב ביותר והמוזנח ביותר. סיכום כמותי המראה ששלושים אחוז מהמשתתפים נכשלו במשימה הוא משכנע ברמה מופשטת, בעוד שסרטון בן שתי דקות של אדם אמיתי שמתסכל באופן גלוי ממסך מסוים משנה החלטות. הרכבת סרטון קצר של רגעים חשובים מפגישות לא מבוצעות עולה שעה ועושה באופן עקבי יותר לאבטחת משאבים לתיקון מכל דוח. אותם סרטונים שימושיים גם לבניית הבנה משותפת בתוך צוות, מכיוון שהאנשים המיישמים תיקון כמעט ולא קוראים את הניתוח אלא צופים באופן מהימן בלקוח שנאבק במשהו שבנו.
איכות המשתתפים דורשת גם ניהול פעיל. משתתפי פאנל שמשלימים מחקרים רבים מפתחים הרגלים שונים מאלה של משתמשים אמיתיים, ושאלות הסינון ניתנות בקלות לניצול על ידי אנשים שרוצים את התמריץ. סינון המבוסס על התנהגות ניתנת לאימות ולא על דיווח עצמי, בדיקות קשב במהלך הפגישה וסקירה ידנית של הקלטות לפני הכללתן בניתוח - כל אלה נחוצים. בפועל, רוב המבוגרים מחקר משתמשים תוכניות מפעילות את שני המצבים במכוון: לא מבוקר לצורך מדידה, השוואה ואימות שגרתי בקנה מידה גדול, ומבוקר לצורך עבודת הגישוש שבה הבנת הסיבות חשובה יותר מספירת התדירות, כאשר השניים מזינים את אותן החלטות בבת אחת. עיצוב מוצר התהליך.