Хтось у вашій команді каже, що п'яти користувачів достатньо. Вони цитують модель 1993 року, а не називають її параметр. У дослідженні Лори Фолкнер 2003 року випадкові жеребкування п'яти учасників з пулу з 60 виявили від 55% до 99% відомих проблем в одному й тому ж інтерфейсі, з тими ж завданнями та тим самим модератором. Кількість, яку ви отримаєте, залежить від того, хто зайде у двері.
Цей посібник призначений для дослідників, менеджерів продуктів та керівників CRO, яким потрібно обґрунтувати певну кількість учасників перед початком дослідження. До кінця ви зможете вибрати один із чотирьох методів визначення розміру, сформулювати припущення, на якому він базується, та сказати, що саме ця кількість дасть вам у вирішенні проблеми. Він не скаже вам протестувати більше людей. Він підкаже вам, коли п'ять є обґрунтованою відповіддю, а коли це здогадка.
Звідки береться число з п'яти користувачів
Нільсен та Ландауер змоделювали виявлення проблеми як N x (1 - (1 - p)^n): з N проблеми в дизайні, p ймовірність того, що будь-який окремий учасник зіткнеться з певною проблемою, та n учасників, частка виявлених вами проблем становить 1 - (1 - p)^nВони виміряли середнє значення p 0.31 для всього набору даних. При p = 0.31 п'ять учасників досягають охоплення 84.4%. Звідси й походить твердження «п'ять користувачів знаходять 85% проблем».
У переказі пропущено два моменти. По-перше, округлення: при p = 0.31 для проходження 85% потрібно шість учасників, а не п'ять. По-друге, і це важливіше, p не є постійною величиною. Вірзі виміряв 0.32, Льюїс виміряв 0.16 на іншій системі, а Спул і Шредер виявили серйозні проблеми, які все ще виникають після того, як десятки учасників виконали завдання електронної комерції з відкритими критеріями. Чесна версія твердження є умовною. Ось що виявили п'ять, десять і двадцять учасників за чотирма показниками виникнення проблем:
| Коефіцієнт виникнення проблем (p) | Знайдено з 5 | Знайдено з 10 | Знайдено з 20 |
|---|---|---|---|
| 0.31 (середнє за Нільсеном і Ландауером) | 84% | 98% | 99.9% |
| 0.16 (Льюїс) | 58% | 83% | 97% |
| 0.10 (незвичайні проблеми) | 41% | 65% | 88% |
| 0.05 (рідкісні, дуже серйозні проблеми) | 23% | 40% | 64% |
Прочитайте нижній рядок перед наступною зустріччю з планування. Проблеми, які руйнують оформлення замовлення, зазвичай не ті, через які спіткнулися чотири з п'яти людей. Їх вирішили роки тому.
Спосіб 1: фіксована п'ять, часто повторюється
Запустіть тести з п'ятьма учасниками, виправте знайдене, запустіть ще п'ять у наступній збірці. Аргумент Нільсена ніколи не полягав у тому, що п'ятьох учасників статистично достатньо. Він полягав у тому, що маргінальний користувач цінніший за маргінального. вчитися.
Використовуйте його, коли: Ви виконуєте ітерації над дизайном, який змінюється щотижня, інтерфейс достатньо новий, щоб більшість проблем були поширеними (високий p), і ви насправді можете випускати виправлення між раундами.
Це не спрацьовує, коли: дослідження – це одноразовий аудит, який ви не повторите, результати передаються зацікавленим сторонам, які розглядатимуть твердження «ми нічого більше не знайшли» як доказ якості, або продукт є зрілим, а решта проблем рідкісні за визначенням.
Спосіб 2: розмір з мети виявлення
Інвертуйте модель. Виберіть потрібне покриття (P) та очікуваний коефіцієнт виникнення (p), а потім розв'яжіть n = ln(1 - P) / ln(1 - p).
| Цільове покриття | p = 0.31 | p = 0.16 | p = 0.10 | p = 0.05 |
|---|---|---|---|---|
| 85% | 6 | 11 | 19 | 37 |
| 90% | 7 | 14 | 22 | 45 |
| 95% | 9 | 18 | 29 | 59 |
Використовуйте його, коли: дослідження має мету дотримання вимог, юридичну або початкову, і вам потрібно письмово зазначити охоплення або коли ви шукаєте певний клас низькочастотних збоїв, наприклад, шлях відновлення після помилок.
Це не спрацьовує, коли: У вас немає підстав для p. Вибір 0.31, тому що це опублікований середній показник, такий самий, як вибір п'яти, одягнувши формулу як костюм.
Спосіб 3: оцініть p з вашого першого раунду, а потім змініть розмір
Це метод, який ми використовуємо за замовчуванням, оскільки він замінює припущення вашими власними даними.
- Проведіть перший раунд із п’яти завдань. Запишіть кожну окрему задачу та позначте, які учасники її впоралися.
- Обчисліть спостережуване p як середнє значення (учасники, які впоралися з проблемою / учасники, які бігають) для всіх окремих проблем.
- Зменште його. Невеликі початкові вибірки систематично завищують p, оскільки проблеми, з якими зіткнулася лише одна людина, – це ті, з якими ви ще не зустрічалися. Герцум і Якобсен задокументували цю інфляцію. Практична корекція полягає у виключенні з чисельника проблем, які бачив лише один учасник, під час переоцінки.
- Внесіть дефльоване значення p у таблицю вище за вашою цільовою цільовою цільовою кількістю та залучіть різницю.
Моменти прийняття рішення: якщо дефльоване значення p перевищує 0.25, зупиніться на п'яти-восьми та витратьте решту бюджету на друге дослідження іншого потоку. Якщо воно перевищує 0.10 та 0.25, збільште до 12-18. Якщо воно нижче 0.10, ваші завдання, ймовірно, занадто відкриті або ваш сегмент занадто широкий, і додавання учасників не виправить жодної з цих проблем. Переосмисліть обсяг досліджень, перш ніж повторно набирати учасників.
Це не спрацьовує, коли: ви не можете набирати учасників поступово, або дослідження модерується різними людьми протягом раундів, що змінює те, що реєструється як окрема проблема.
Метод 4: розмір за поведінковим сегментом
Модель передбачає одну популяцію. Більшість товарів у цьому регіоні її не мають. Турецький роздрібний продавець, який продає товари на внутрішньому ринку, за кордоном до ЄС та країн Перської затоки, має щонайменше три групи з різними ментальними моделями, різними очікуваннями щодо оплати, а у випадку країн Перської затоки – інтерфейсом справа наліво. Nielsen тут пропонує від 3 до 4 учасників на групу при двох групах та 3 на групу при трьох або більше. Це нижня межа, а не ціль, і це означає, що «дослідження з п’ятьма користувачами» у трьох сегментах насправді є трьома дослідженнями з недостатньою потужністю.
Два правила, які варто дотримуватися перед написанням скринінгового тесту:
- Сегментуйте за поведінкою, а не за демографічними показниками. Покупці, які купують товар вперше, та постійні покупці стикаються з різними проблемами. Люди віком 25-34 та 35-44 років зазвичай не стикаються з цими проблемами.
- Ставтеся до користувачів допоміжних технологій як до окремого сегмента, якщо продаєте товари в ЄС. Європейський акт про доступність застосовується до послуг електронної комерції, орієнтованих на споживачів, з 28 червня 2025 року, і зразок лише для зрячих не може сказати вам, чи відповідаєте ви вимогам. Учасники, які використовують лише програми читання з екрана та клавіатуру, стикаються з проблемою, з якою не зіткнеться жодна кількість учасників із підвищеним зором.
Який метод підходить для вашого дослідження
| Якщо це правда | Скористайтеся кнопкою | Типовий n |
|---|---|---|
| Щотижнева ітерація, дизайн все ще рухається | Метод 1 | 5 за раунд |
| Одноразовий аудит з письмовою претензією на покриття | Метод 2 | 11-29 |
| Ви можете вербувати хвилями та хотіти найдешевший номер, який можна захистити. | Метод 3 | 5, потім змініть розмір |
| Дві або більше різних поведінкових груп | Метод 4 | 3-4 в групі, мінімум |
| Вам потрібна метрика з довірчим інтервалом, а не список проблем | Ніщо з цього | 20+ (див. нижче) |
Розроблений приклад
Цей приклад є ілюстративним, а не клієнтським. Скажімо, ви визначаєте розмір дослідження оформлення замовлення для турецького рітейлера модного одягу середнього класу, лише для внутрішнього трафіку, редизайн вже опубліковано. Метод 1 відсутній, оскільки дизайн відправлено, а Метод 2 потребує програми, якої у вас немає, тому: Метод 3 розпочато за допомогою Методу 4.
Два поведінкові сегменти, гостьові покупці та зареєстровані повторні покупці, по чотири учасники в кожному. Перший раунд видає 19 різних проблем, 11 з яких бачить рівно один учасник. Сире p дорівнює 0.28; після виключення одиночних випадків з чисельника воно падає приблизно до 0.17. При цілі охоплення 90% та p = 0.17 у таблиці зазначено 14. У вас є 8, тому ви залучаєте ще 6, зважуючи до сегмента з меншою кількістю результатів.
Всього: 14 учасників, з письмовим обґрунтуванням такої кількості. [INTERNAL DATA NEEDED: observed p values from Switas's own e-commerce checkout studies, to replace the illustrative 0.17 with a benchmark range by vertical.]
Де це ламається
Біноміальна модель припускає, що проблеми незалежні, а p стабільне для всіх учасників. Жодне з цих тверджень не відповідає дійсності. Одна заплутана мітка призводить до трьох невдач на наступних етапах, а учасник, який вільно володіє шаблонами інтерфейсу користувача ринку, стикається з іншим набором проблем, ніж той, хто ними не володіє. Розглядайте наведені вище числа як інструменти планування, а не як вимірювання. Вулріч, Коктон і Колтон стверджували, що одне значення p неправильно відображає популяцію, що складається з підгруп.
Цей посібник також не охоплює:
- Кількісний бенчмаркінг. Якщо вам потрібен рівень успішності завдання з довірчим інтервалом, ви відповідаєте на інше питання. Плануйте щонайменше 20 учасників, а для коротких інтервалів – більше.
- Сортування карток та тестування дерев. Nielsen рекомендує щонайменше 15 користувачів на групу. Математика виявлення проблем не застосовується.
- Відстеження погляду. Близько 39 учасників для стабільних теплових карт.
- А/Б-тести. Розмір вибірки має статистичну силу для показника конверсії, а не для виявлення проблеми. Інша формула, інша логіка.
Ще одне обмеження, варте згадати: дизайн завдання просуває p далі, ніж n. П'ять учасників чіткого, реалістичного завдання перевершать дванадцять учасників нечіткого. Якщо ваша розмова про визначення розміру довша за розмову про написання завдання, співвідношення неправильне.
FAQ
Чи правило п'яти користувачів неправильне?
Ні, це умовно. Він дотримується рівня виникнення проблем близько 0.31 та цільового рівня охоплення близько 85%. Поза цими умовами він не виконує належних завдань, і ніщо в оригінальній роботі не стверджувало протилежного.
Як мені оцінити p, перш ніж я щось запущу?
Здебільшого це неможливо, тому існує Метод 3. Якщо вам потрібно вгадати, використовуйте 0.30 для нового або сильно зміненого інтерфейсу та 0.15 для зрілого, а потім виправте помилку після першого раунду.
Чи змінює модероване чи немодероване тестування цифру?
Не математика, але це змінює те, що вважається проблемою. Немодеровані сесії, як правило, не враховують причину невдачі, що завищує кількість окремих проблем і знижує ваше спостережуване значення p.
Що робити, якщо я можу залучити лише п'ятьох людей?
Виконайте п'ять спроб і чесно повідомте про охоплення, а не повідомляйте про повний список проблем. Вкажіть, які сегменти ви не охопили. Дослідження замаломірного розміру із зазначеними межами є корисним; дослідження замаломірного розміру, представлене як вичерпне, — ні.
Чи потрібно більше учасників для тестування доступності?
Вам потрібні різні учасники. Користувачі допоміжних технологій – це окремий поведінковий сегмент із власним мінімальним рівнем від 3 до 4, а не доповнення до існуючої вибірки.
Чи можуть синтетичні учасники, згенеровані штучним інтелектом, замінити частину цієї вибірки?
Вони можуть допомогти вам відрепетирувати завдання та провести скринінг. Вони не можуть створити показник виникнення проблем, оскільки p є властивістю реальної поведінки в реальній популяції. Не підводьте синтетичні сесії до знаменника.
Чи застосовується та сама математика до продуктів B2B або державного сектору?
Математика справляється. Рекрутинг — ні. Вузькі сегменти B2B та державного сектору часто обмежуються шістьма або вісьмома можливими учасниками, і в такому разі вказуйте це обмеження як обмеження дослідження, а не вдавайте, що саме таку кількість було обрано.
Виконайте це у своєму наступному дослідженні
Візьміть дослідження, яке ви збираєтеся коротко описати, запишіть, який із чотирьох методів ви використовуєте, і припущення щодо p, і включіть обидва у план дослідження. Якщо жоден з них не витримає запису, це є результатом. Якщо ви бажаєте, щоб визначення розміру, скринінг та дизайн сегментів були виконані за вас, поговоріть зі Світасом про ваш наступний раунд досліджень.
Джерела
- Нільсен, Дж. та Ландауер, Т.К. (1993). Математична модель пошуку проблем зручності використання. ІНТЕРЧІ '93, 206-213.
- Фолкнер, Л. (2003). Поза межами припущення про п'ятьох користувачів: переваги збільшення розміру вибірки в тестуванні зручності використання. Методи дослідження поведінки, інструменти та комп'ютери, 35(3), 379-383.
- Спул, Дж. та Шредер, В. (2001). Тестування веб-сайтів: п'яти користувачів аж ніяк не достатньо. Розширені тези CHI '01.
- Сауро, Дж. Коротка історія магічного числа 5 у тестуванні зручності використання. MeasuringU.
- Сауро, Дж. Розміри вибірок для досліджень зручності використання: один розмір не підходить усім. MeasuringU.
- Нільсен, Дж. Чому потрібно тестувати лише з 5 користувачами. Nielsen Norman Group.
- Нільсен, Дж. Скільки користувачів-тестувальників бере участь у дослідженні зручності використання? Nielsen Norman Group.
- Директива (ЄС) 2019/882 про вимоги до доступності продуктів та послуг (Європейський акт про доступність), короткий виклад EUR-Lex.
