Більшість команд обирають метод тестування зручності використання, виходячи з бюджету або звички, а потім виявляють, що сесії не можуть відповісти на запитання, яке їх спонукало. Метод — це не питання смаку; він визначається рішенням, яке ви намагаєтеся прийняти. Цей посібник пропонує вам спосіб вибору між модерованим, немодерованим та асинхронним тестуванням, який в першу чергу визначає рішення: розмір вибірки, який підтримує кожне з них, реальність вартості та якості даних кожного з них, а також правила передачі даних, які обмежують вибір у Туреччині та ЄС. Він призначений для команд, що займаються розробкою продуктів, UX та CRO, які проводять кілька досліджень на рік і не можуть дозволити собі витратити жодного з них. Спочатку калібрувальне число: у дослідженні Лори Фолкнер 2003 року випадкові вибірки з п'яти користувачів виявили в середньому 85.5% відомих проблем, але найгірший вибір з п'яти користувачів виявив 55%.
Три методи, визначені достатньо точно для порівняння
Модеровано. Дослідник та учасник беруть участь у сеансі разом, особисто або через телефонний зв'язок. Дослідник ставить завдання, спостерігає та досліджує. Результат: спостережена поведінка плюс пояснення.
Немодеровано, записано. Учасник працює самостійно, виконуючи завдання за сценарієм, поки платформа записує екран, кліки та зазвичай аудіо. Дослідник пізніше аналізує записи. Результат: поведінка без пояснень.
Асинхронний самозвіт. Учасник працює самостійно та записує, що пішло не так — щоденник, форма зворотного зв’язку, завдання з анотаціями. Записи не аналізуються. Результат: власна розповідь учасника.
Зведення цих трьох до «модерованих проти немодерованих» – це те, як неправильно застосовується одна широко повторювана цифра. Висновок про те, що користувачі повідомляють приблизно про половину проблем, які спостерігає кваліфікований дослідник, походить від дослідження самозвітів, де учасники самі документували проблеми. Це стосується асинхронного самозвіту, а не записаних немодерованих сесій, проаналізованих дослідником. Коли хтось каже, що немодерований сеанс знаходить половину проблем, запитайте, яку з цих двох ідей вони мають на увазі.
Починайте з рішення, а не з методу
Запишіть речення, яке ви хочете сказати після завершення дослідження, а потім знайдіть потрібний рядок.
| Рішення, яке вам потрібно прийняти для закриття | Докази, що закривають це питання | Метод |
|---|---|---|
| Чому люди відмовляються на цьому етапі? | Поведінка плюс її причини | Модератори |
| Чи взагалі зрозуміла ця концепція? | Розуміння, що перевіряється власними словами користувача | Модератори |
| Чи працює це з програмою зчитування з екрана? | Спостережуване використання людьми, які використовують один щодня | Модератори |
| Чи можуть люди виконати завдання X самостійно? | Коефіцієнт завершення з довірчим інтервалом | Немодерований, записаний |
| Який макет породжує менше помилок? | Порівняльна метрика за розміром вибірки, яка може їх розділити | Немодерований, записаний |
| Як виглядає тиждень реального використання? | Повторні записи протягом днів | Асинхронний щоденник |
| Яка зміна приносить нам більше грошей? | Живий експеримент на реальному трафіку | Жоден з трьох варіантів — проведіть A/B-тест |
Останній рядок важливіший, ніж його зовнішній вигляд. Тестування зручності використання показує, чи можна використовувати інтерфейс і де він не працює, а не вплив зміни на дохід. Дослідження з п'ятьма особами, яке має відповісти на питання бізнес-метрик, — це неправильний інструмент, і його відповідь не переживе контакту з воронкою продажів.
Екран із чотирма питаннями
Якщо таблиця не містить вашого питання, розгляньте їх по порядку. Перше «так» є вирішальним.
- Чи потрібно запитувати «чому», коли це відбувається? Модеровано. Ви не можете модифікувати зонд на запис.
- Чи потрібні учаснику облікові дані, пісочниця, допоміжні технології чи пристрій, який ви надаєте? Модерується. Немодеровані платформи добре справляються з публічним прототипом, а з закритим середовищем — погано.
- Вам потрібне число з доданим довірчим інтервалом? Немодерований. Вісім модерованих сесій забезпечують рівень завершення з настільки широким інтервалом, що неможливо відокремити 50% від 90%.
- Чи ця поведінка триває більше одного сеансу? Асинхронний. Онбординг протягом тижня або скасування та поновлення бронювання не вписуються в 60-хвилинний сеанс.
Розмір вибірки: що може підтримувати кожен метод
Правило «п’яти користувачів достатньо» походить від Стаття Якоба Нільсена 2000 року і зберігає лише середнє значення, для виявлення проблеми, в одному потоці. Фолкнер запустив 60 учасників у програмі табеля робочого часу, каталогізував 45 проблем, а потім повторно вибірково обрав 100 випадкових груп кожного розміру. Розкид - це те, що всі забувають.
| користувачів | Середній відсоток виявлених проблем | Найгірший зразок зі 100 розіграшів |
|---|---|---|
| 5 | 85.5% | 55% |
| 10 | 94.7% | 82% |
| 20 | 98.4% | 95% |
| 30 | 99.0% | 97% |
| 50 | 100% | 98% |
Сприймайте це як заяву про ризики, а не як ціль. П'ять сесій зазвичай виявляють більшу частину того, що не так, і приблизно один запуск з двадцяти залишає вас з переконанням, що зламаний потік — це нормально — прийнятно для прототипу, але погано для оформлення замовлення, яке ви збираєтеся відправити. Наш робочий розподіл: від 5 до 8 модерованих сесій для виявлення в одному потоці, від 10 до 12, коли він розгалужується за сегментами або пристроями, 30 або більше немодерованих, коли результатом є оцінка, а не список проблем.
Вартість і календар: куди насправді йдуть гроші
Поміркована вартість здебільшого залежить від календаря дослідника: планування, неявки, сесія, а потім аналіз. Непоміркована вартість здебільшого призводить до надмірного рекрутингу, оскільки ви платите за учасників, яких відкидаєте, і цей рівень відхилень вищий, ніж передбачає більшість бюджетів.
В Порівняння п'яти дослідницьких платформ за даними PLOS ONE за 2023 рік (N = 2,729), частка респондентів, які відповідали комбінованому показнику якості, становила 75.4% на Prolific, 75.1% на CloudResearch, 62.7% на SONA, 59.1% на Qualtrics та 54.2% на MTurk, при цьому вартість одного високоякісного респондента коливалася від 1.90 до 8.17 доларів США. A Дослідження 2026 року з якості та кількості є жорсткішим: з 4,453 учасників, які дали згоду, 15.97% були залишені після відбору, при цьому перевірки уваги дискваліфікували 27.13%, тоді як явні запитання щодо виявлення ботів виявили лише 3.48%.
Отже, розмір немодерованих досліджень слід розподілити на кількість, яку потрібно проаналізувати, на очікуваний рівень утримання, і додайте принаймні одне відкрите запитання та одну перевірку уваги в кожен сценарій, оскільки дешеві боти-перевірки не працюють. Модерована сесія перевіряє сама себе: той, хто приєднується до дзвінка та розмовляє з вами протягом 45 хвилин, є, що б там не було, людиною.
[НЕОБХІДНІ ВНУТРІШНІ ДАНІ: Медіана днів Switas від моменту подання заявки на рекрутинг до першої завершеної сесії та наш спостережуваний рівень відсіювання в немодерованих турецькомовних дослідженнях, щоб замінити наведені вище загальні дані платформи.]
Шар Туреччини та ЄС, який може замінити ваш вибір
Немодерована платформа записує екран учасника, часто його голос та обличчя, і зберігає його на інфраструктурі постачальника, зазвичай за межами Туреччини та часто за межами ЄЕЗ. Це передача персональних даних за кордон, і з 1 червня 2024 року турецьке законодавство направляє їх через фіксований набір механізмів.
Закон 7499 (Офіційний вісник 32487 від 12 березня 2024 р.) переписав статтю 9 Закону 6698. Для передачі даних за кордон тепер потрібне рішення про адекватність або певний запобіжний захід: обов'язкові корпоративні правила, затверджені заздалегідь, типовий контракт, опублікований Органом та повідомлений йому, або індивідуальне зобов'язання, яке воно затверджує. Виняткові підстави, включаючи явну згоду, розроблені для випадкових, неповторних передач, якими не є постійна дослідницька програма. Оскільки Власна сторінка органу влади Згідно з даними, жодна країна ще не була визнана адекватною, тому на практиці іноземна платформа тестування працює на стандартному контракті, який хтось повинен підписати та повідомити.
Правило, яке ми застосовуємо: якщо дослідження фіксує власний обліковий запис учасника, реальні дані клієнтів або інформацію спеціальної категорії — що є звичайною справою в охороні здоров'я та державному секторі — модеровані сесії на інфраструктурі, яку ви контролюєте, є коротшим шляхом дотримання вимог, навіть якщо немодеровані сесії дешевші. Для публічного прототипу та синтетичного завдання підійде платформний шлях. Читачі за межами Туреччини впізнають структуру з Розділу V GDPR, з однією суттєвою різницею: рішення про адекватність не набуло чинності, тому немає рамкової бази в стилі ЄС-США, на яку можна було б спиратися.
Перш ніж щось бронювати
- Речення рішення записано, і ви можете назвати висновок, який би його змінив.
- Метод взято з таблиці або екрана вище, а не з того, що ви виконали минулого разу.
- Розмір вибірки обґрунтовується залежно від результату: переліку проблем або показника.
- Тільки немодероване: цільове значення n поділене на очікуване утримання; сценарій має відкрите запитання та перевірку уваги.
- Тільки модеровані: завдання написані таким чином, щоб учаснику не потрібно було пояснювати; підготовлені дослідницькі завдання, але вони не є провідними.
- Запис, місце зберігання, термін зберігання та механізм передачі врегульовуються до початку роботи.
- Хтось володіє календарем аналізу; непроаналізовані записи – це те, як немодеровані дослідження нічого не дають.
Де це ламається
Таблиця Фолкнера взята з однієї програми табеля робочого часу з 45 каталогізованими проблемами. Криві виявлення залежать від того, наскільки ймовірно, що середній учасник зіткнеться із середньою проблемою, і ця ймовірність зменшується в продукті з багатьма розгалуженими потоками. Розглядайте таблицю як нижню межу для простого потоку.
Цей посібник не охоплює механізми рекрутингу, техніку модерації, перетворення висновків на гіпотези або тестування відповідності доступності, яке є аудитом за критеріями, а не дослідженням зручності використання.
Інтерв'ю, модеровані штучним інтелектом, зараз займають проміжне місце між модерованими та немодерованими варіантами, рекламуючись як такі, що поєднують обидва. Ми не бачили опублікованих доказів порівняння методів на рівні досліджень, цитованих тут. Поки вони не з'являться, ставтеся до сеансу, модерованого штучним інтелектом, як до немодерованого тестування з кращим сценарієм і не дозволяйте йому приймати рішення, яке залежить від кваліфікованого зондування.
FAQ
Чи справді достатньо п'яти учасників? У середньому п'ять осіб виявляють близько 85% проблем в одному потоці, але найгірший зі 100 п'ятиосібних зразків Фолкнера виявив 55%. Достатньо для прототипу, але мало для будь-чого, що ви збираєтеся постачати.
Чи можу я провести модероване дослідження дистанційно? Так, і для більшості робіт над продуктом вам слід це зробити. Модерація — це присутність дослідника, а не кімнати. Ви втрачаєте навколишній контекст і отримуєте охоплення.
Скільки учасників мені потрібно для досягнення певного рівня завершення? Більше, ніж може собі дозволити модероване дослідження. Спочатку визначте різницю, яку вам потрібно виявити — відокремлення 70% від 85% потребує зовсім іншої вибірки, ніж відокремлення 30% від 80%, — потім підберіть розмір відповідно до цього та очікуйте, що відкинете чверть новобранців.
Чи немодероване тестування виявляє менше проблем, ніж модероване? Записані немодеровані сесії, проаналізовані дослідником, виявляють порівнянний набір поведінкових проблем, але не виявляють жодних пояснень. Показник «половина проблем» стосується форматів самозвіту, де ніхто не дивиться сесію.
Чи потрібна нам чітка згода на запис сеансу? Вам потрібна законна підстава та чітке повідомлення, незалежно від обраного методу, а в Туреччині питання переведення за кордон є окремим від питання реєстрації.
Якої довжини має бути немодерований набір завдань? Зазвичай від 15 до 20 хвилин. Довші сценарії збільшують відсів і винагороджують саме тих учасників, яких ви хочете відсіяти.
Працювати з нами
Якщо рішення очікує на наявність доказів, і ви не впевнені, який із цих трьох варіантів його вирішить, ми можемо разом з вами визначити обсяг дослідження — метод, розмір вибірки, набір учасників та документацію щодо передачі даних. Див. Сервіси дослідження користувачів Switas.
Джерела
- Фолкнер, Л. (2003). Поза межами припущення про п'ятьох користувачівМетоди дослідження поведінки, 35(3), 379–383.
- Нільсен, Дж. (19 березня 2000 р.). Чому вам потрібно тестувати лише з 5 користувачамиГрупа Нільсен Норман.
- Вимірювання U. Чи можуть користувачі самостійно повідомляти про проблеми зручності використання? — підсумовуючи Castillo (1998), Bruun et al. (2007), Andreasen та ін. (2009).
- Дуглас, Юелл та Брауер (14 березня 2023 р.). Якість даних в онлайн-дослідженнях за участю людейПЛОС ОДИН.
- Боротьба з ботами та невірними даними (11 квітня 2026 р.). Якість і кількість, 60(4).
- Кісісел Верілері Корума Куруму, Юрта Дішина Актарим — Закон 6698, ст. 9, зі змінами, внесеними Законом 7499 (OG 32487 від 12 березня 2024 р.; чинний з 1 червня 2024 р.).
