ארבע דרכים להגדיל את גודל מחקר שמישות, ומתי כלל חמשת המשתמשים נשבר

מישהו בצוות שלך אומר שחמישה משתמשים זה מספיק. הוא מצטט מודל משנת 1993, והוא לא מצטט את הפרמטר שלו. במחקר של לורה פוקנר משנת 2003, הגרלות אקראי של חמישה משתתפים מתוך מאגר של 60 מצאו בין 55% ל-99% מהבעיות הידועות באותו ממשק, עם אותן משימות ואותו מנהל. המספר שתקבל תלוי במי שנכנס בדלת.

מדריך זה מיועד לחוקרים, מנהלי מוצר ומובילי CRO אשר צריכים להגן על מספר גיוס לפני תחילת מחקר. בסופו תוכלו לבחור אחת מארבע שיטות קביעת גודל, לציין את ההנחה עליה היא מבוססת, ולומר מה המספר שלכם קונה לכם בכיסוי בעיה. הוא לא יגיד לכם לבדוק יותר אנשים. הוא יגיד לכם מתי חמש היא תשובה הגנתית ומתי זו ניחוש.

מאיפה מגיע המספר של חמישה משתמשים

נילסן ולנדאואר מודלו גילוי בעיות כ- N x (1 - (1 - p)^n): עם N בעיות בתכנון, p ההסתברות שכל משתתף בודד ייתקל בבעיה נתונה, ו n משתתפים, שיעור הבעיות שאתם מוצאים הוא 1 - (1 - p)^nהם מדדו ממוצע p של 0.31 על פני מערך הנתונים שלהם. ב-p = 0.31, חמישה משתתפים מגיעים לכיסוי של 84.4%. מכאן מגיע המונח "חמישה משתמשים מוצאים 85% מהבעיות".

שני דברים נשמטים מהתיאור החוזר. ראשית, העיגול: ב-p = 0.31 צריך שישה משתתפים כדי לעבור 85%, לא חמישה. שנית, וחשוב מכך, p אינו קבוע בטבע. וירזי מדד 0.32, לואיס מדד 0.16 במערכת אחרת, וספול ושרודר מצאו בעיות חמורות שעדיין צצות לאחר עשרות משתתפים במשימות מסחר אלקטרוני פתוחות. הגרסה הכנה של הטענה מותנית. הנה מה שחמישה, עשרה ועשרים משתתפים מצאו בארבעה שיעורי התרחשות בעיות:

קראו את השורה התחתונה לפני פגישת התכנון הבאה שלכם. הבעיות שמהרגות את הקופה הן בדרך כלל לא אלו שארבעה מתוך חמישה אנשים נתקלים בהן. אלו תוקנו לפני שנים.

שיטה 1: קבוע חמש, חוזר על עצמו לעתים קרובות

הרץ חמישה משתתפים, תקן את מה שאתה מוצא, הרץ עוד חמישה בבנייה הבאה. הטענה של נילסן מעולם לא הייתה שחמישה מספיקים סטטיסטית. היא הייתה שהמשתמש השולי שווה פחות מהמשתמש השולי. ללמוד.

השתמש בו כאשר: אתם מתקדמים איטרציות על עיצוב שעדיין משתנה מדי שבוע, הממשק חדש מספיק כך שרוב הבעיות נפוצות (p גבוה), ואתם למעשה יכולים לשלוח תיקונים בין סבבים.

זה נכשל כאשר: המחקר הוא ביקורת חד פעמית שלא תחזור עליה, הממצאים מועברים לבעלי עניין שיתייחסו ל"לא מצאנו שום דבר אחר" כראיה לאיכות, או שהמוצר בשל והבעיות שנותרו נדירות מעצם הגדרתן.

שיטה 2: גודל ממטרת גילוי

הפוך את המודל. בחר את הכיסוי הדרוש לך (P) ואת שיעור ההתרחשות הצפוי לך (p), לאחר מכן פתור n = ln(1 - P) / ln(1 - p).

השתמש בו כאשר: למחקר יש מטרה של תאימות, משפטית או של שער השקה ועליך לציין את הכיסוי בכתב, או כאשר אתה מחפש סוג ספציפי של כשל בתדירות נמוכה כגון נתיב שחזור שגיאות.

זה נכשל כאשר: אין לך בסיס ל-p. בחירת 0.31 מכיוון שזהו הממוצע שפורסם היא אותו ניחוש כמו בחירת חמש, ללבוש נוסחה כתחפושת.

שיטה 3: הערכה של p מהסיבוב הראשון שלך, ולאחר מכן שינוי גודל

זוהי השיטה שאנו משתמשים בה כברירת מחדל, משום שהיא מחליפה את הניחוש בנתונים שלך.

1. ערכו סבב ראשוני של חמישה. רשמו כל בעיה ספציפית וסמנו אילו משתתפים עמדו בה.
2. חשב את ה-p הנצפה כממוצע של (משתתפים שפגעו בבעיה / מספר המשתתפים שרצו) על פני כל הבעיות הנפרדות.
3. ניכוי התוצאה. מדגמים ראשוניים קטנים מעריכים יתר על המידה באופן שיטתי את p, מכיוון שבעיות שרק אדם אחד פגש הן אלו שעדיין לא פגשתם. הרצום וג'ייקובסן תיעדו ניפוח זה. תיקון מעשי הוא להשמיט את הבעיות שראה בדיוק משתתף אחד מהמונה בעת אומדן מחדש.
4. הזן את ה-p המנוכה לטבלה למעלה ביעד הכיסוי שלך וגייס את ההפרש.

נקודות החלטה: אם ה-p המנוכה נוחת מעל 0.25, יש לעצור בין חמש לשמונה ולהוציא את שאר התקציב על מחקר שני של זרימה שונה. אם הוא נוחת בין 0.10 ל-0.25, יש להרחיב ל-12 עד 18. אם הוא נוחת מתחת ל-0.10, כנראה שהמשימות שלכם פתוחות מדי או שהפלח שלכם רחב מדי, והוספת משתתפים לא תתקן אף אחד מהם. יש לשנות את היקף הפרויקט לפני גיוס מחדש.

זה נכשל כאשר: אי אפשר לגייס באופן הדרגתי, או שהמחקר מנוהל על ידי אנשים שונים לאורך סבבים, מה שמשנה את מה שנרשם כבעיה נפרדת.

שיטה 4: גודל לפי פלח התנהגותי

המודל מניח אוכלוסייה אחת. לרוב המוצרים באזור זה אין אוכלוסייה כזו. קמעונאי טורקי שמוכר באופן מקומי, חוצה גבולות לאיחוד האירופי ולמפרץ, מכיל לפחות שלוש קבוצות עם מודלים מנטליים שונים, ציפיות תשלום שונות, ובמקרה של המפרץ ממשק מימין לשמאל. ההנחיות של נילסן כאן הן 3 עד 4 משתתפים לקבוצה בשתי קבוצות, ו-3 לקבוצה בשלוש קבוצות או יותר. זוהי סף, לא יעד, ומשמעות הדבר היא ש"מחקר של חמישה משתמשים" על פני שלושה פלחים הוא למעשה שלושה מחקרים חסרי עוצמה.

שני כללים שכדאי ליישם לפני כתיבת הסקר:

• פילוח לפי התנהגות, לא לפי נתונים דמוגרפיים. קונים בפעם הראשונה וקונים חוזרים נתקלים בבעיות שונות. גילאי 25-34 ו-35-44 בדרך כלל לא.
• התייחסו למשתמשי טכנולוגיה מסייעת כאל פלח עצמאי אם אתם מוכרים לאיחוד האירופי. חוק הנגישות האירופי חל על שירותי מסחר אלקטרוני הפונים לצרכן מאז 28 ביוני 2025, ומדגם של אנשים עם ראייה בלבד אינו יכול לומר לכם אם אתם עומדים בדרישות. משתתפים המשתמשים בקורא מסך ובמקלדת בלבד מוצאים סוג של בעיה שאף כמות של משתתפים רואיים נוספים לא תעלה.

איזו שיטה מתאימה ללימוד שלך

דוגמה מעשית

דוגמה זו היא להמחשה בלבד, לא מקרה של לקוח. נניח שאתם מתכננים מחקר קופה עבור קמעונאית אופנה טורקית בינונית, תנועה מקומית בלבד, עיצוב מחדש כבר זמין. שיטה 1 לא פעילה מכיוון שהעיצוב נשלח, ושיטה 2 זקוקה לאפליקציה שאין לכם, לכן: שיטה 3 נזרעה על ידי שיטה 4.

שני מקטעי התנהגות, תשלום על ידי אורחים וקונים חוזרים מחוברים, ארבעה משתתפים בכל אחד. סיבוב ראשון מייצר 19 בעיות שונות, 11 מהן נצפו על ידי משתתף אחד בדיוק. p גולמי הוא 0.28; לאחר הוצאת הסינגלטונים מהמונה הוא יורד לכ-0.17. ביעד כיסוי של 90% ו-p = 0.17 הטבלה מציגה 14. יש לכם 8, אז אתם מגייסים 6 נוספים, משוקללים לכיוון המקטע עם הממצאים הדלים יותר.

סה"כ: 14 משתתפים, עם נימוק בכתב למספר. [INTERNAL DATA NEEDED: observed p values from Switas's own e-commerce checkout studies, to replace the illustrative 0.17 with a benchmark range by vertical.]

איפה זה מתפרק

המודל הבינומי מניח שהבעיות אינן תלויות בעצמן וש-p יציב בין המשתתפים. אף אחד מהם אינו נכון. תווית מבלבלת אחת גורמת לשלושה כשלים במורד הזרם, ומשתתף ששולט בדפוסי ממשק משתמש של השוק נתקל בקבוצת בעיות שונה ממישהו שאינו כזה. התייחסו למספרים לעיל ככלי תכנון, לא ככלי מדידה. וולריטש, קוקטון וקולטון טענו כולם ש-p יחיד מייצג באופן שגוי אוכלוסייה המורכבת מתת-קבוצות.

מדריך זה אינו מכסה גם:

• מדידה כמותית. אם אתם רוצים שיעור הצלחה של משימה עם רווח בר-סמך, אתם עונים על שאלה אחרת. תכננו לפחות 20 משתתפים, ויותר עבור מרווחי זמן צפופים.
• מיון כרטיסים ובדיקת עצים. נילסן מציע לפחות 15 לכל קבוצת משתמשים. מתמטיקה של גילוי בעיות אינה רלוונטית.
• מעקב עיניים. כ-39 משתתפים עבור מפות חום יציבות.
• בדיקות A/B. גודל המדגם הוא עוצמה סטטיסטית במדד המרה, לא גילוי בעיה. נוסחה שונה, לוגיקה שונה.

מגבלה נוספת שכדאי לציין: תכנון המשימה מזיז את p רחוק יותר מ-n. חמישה משתתפים במשימה חדה וריאליסטית ינצחו את שנים עשר המשתתפים במשימה מעורפלת. אם שיחת הגודל שלכם ארוכה יותר משיחת כתיבת המשימה, היחס שגוי.

שאלות נפוצות

האם כלל חמשת המשתמשים שגוי?
לא, זה מותנה. זה מחזיק מעמד בשיעור התרחשות בעיות של קרוב ל-0.31 ויעד כיסוי של קרוב ל-85%. מחוץ לתנאים אלה, זה לא מספק את התוצאות, ושום דבר בעבודה המקורית לא טען אחרת.

איך אני מעריך את p לפני שאני מפעיל משהו?
לרוב אינכם יכולים, וזו הסיבה ששיטה 3 קיימת. אם אתם חייבים לנחש, השתמשו ב-0.30 עבור ממשק חדש או שעבר שינויים משמעותיים וב-0.15 עבור ממשק בוגר, ולאחר מכן תקנו לאחר הסיבוב הראשון.

האם בדיקות מבוקרות לעומת בדיקות לא מבוקרות משנות את המספר?
לא המתמטיקה, אבל זה משנה מה נחשב כבעיה. מפגשים לא מבוקרים נוטים לפספס את הסיבה לכישלון, מה שמנפח את ספירת הבעיות הייחודיות ומוריד את ה-p שנצפה.

מה אם אני יכול לגייס רק חמישה אנשים?
הרצו חמש פעולות, ודווחו על הכיסוי בכנות במקום לדווח על רשימת הבעיות כמלאה. ציינו אילו מקטעים לא כיסיתם. מחקר קטן בגודלו עם מגבלות מוגדרות הוא שימושי; מחקר קטן בגודלו המוצג כממצה אינו שימושי.

האם אני צריך יותר משתתפים לבדיקת נגישות?
אתם צריכים משתתפים שונים. משתמשי טכנולוגיה מסייעת הם פלח התנהגותי נפרד עם קומה משלהם של 3 עד 4, לא תוספת למדגם קיים.

האם משתתפים סינתטיים שנוצרו על ידי בינה מלאכותית יכולים להחליף חלק מהדגימה הזו?
הם יכולים לעזור לך לתרגל משימות ומסננים. הם לא יכולים לייצר שיעור התרחשות בעיות, מכיוון ש-p הוא מאפיין של התנהגות אמיתית באוכלוסייה אמיתית. אין להכניס סשנים סינתטיים למכנה.

האם אותה חישוב חלה על מוצרים של B2B או של המגזר הציבורי?
החישובים כן. הגיוס לא. פלחים צרים של B2B והמגזר הציבורי מסתכמים לעתים קרובות בשישה או שמונה משתתפים נגישים, ובמקרה כזה מציינים את המגבלה כמגבלה של המחקר במקום להעמיד פנים שהמספר נבחר.

הרץ את זה במחקר הבא שלך

קחו את המחקר שאתם עומדים להציג בקצרה, רשמו באיזו מבין ארבע השיטות אתם משתמשים ואת ה-p שאתם מניחים, והכניסו את שתיהן לתוכנית המחקר. אם אף אחת מהן לא שורדת לאחר רישום, זהו הממצא. אם אתם מעדיפים שיטפלו בגודל, בסינון ובתכנון הפלחים עבורכם, דברו עם סוויטאס על סבב המחקר הבא שלכם.

מקורות

• נילסן, י. ולנדאואר, ט.ק. (1993). מודל מתמטי למציאת בעיות שמישות. INTERCHI '93, 206-213.
• פוקנר, ל. (2003). מעבר להנחת חמשת המשתמשים: יתרונות של גודל מדגם מוגדל בבדיקות שמישות. שיטות מחקר התנהגות, מכשירים ומחשבים, 35(3), 379-383.
• Spool, J. and Schroeder, W. (2001). בדיקת אתרי אינטרנט: חמישה משתמשים רחוקים מלהספיק. CHI '01 Abschnitters Extended.
• סאורו, י. היסטוריה קצרה של המספר הקסום 5 בבדיקות שמישות. MeasuringU.
• סאורו, י. גדלי מדגם למחקרי שמישות: מידה אחת אינה מתאימה לכולם. MeasuringU.
• נילסן, י. למה צריך לבדוק רק עם 5 משתמשים. קבוצת נילסן נורמן.
• נילסן, י. כמה משתמשי בדיקה נמצאים במחקר שמישות? קבוצת נילסן נורמן.
• הנחיית (EU) 2019/882 בנושא דרישות נגישות למוצרים ושירותים (חוק הנגישות האירופי), סיכום EUR-Lex.