Большинство команд выбирают метод тестирования удобства использования, исходя из бюджета или привычек, а затем обнаруживают, что сессии не могут ответить на вопрос, который их вызвал. Метод — это не вопрос вкуса; он определяется решением, которое вы пытаетесь принять. Это руководство предлагает вам способ выбора между модерируемым, немодерируемым и асинхронным тестированием, основанный на принятии решения: размер выборки, который поддерживает каждый метод, реальная стоимость и качество данных каждого из них, а также правила передачи данных, которые ограничивают выбор в Турции и ЕС. Оно предназначено для продуктовых, UX- и CRO-команд, которые проводят всего несколько исследований в год и не могут позволить себе потратить ни одно впустую. Сначала калибровочный показатель: в исследовании Лоры Фолкнер 2003 года случайные выборки из пяти пользователей выявили в среднем 85.5% известных проблем, но худшая выборка из пяти пользователей выявила 55%.
Три метода, достаточно точно описанные для сравнения.
Модератор. Исследователь и участник находятся на сессии вместе, лично или по телефону. Исследователь ставит задачи, наблюдает и задает вопросы. Результат: наблюдаемое поведение плюс объяснение.
Немодерируемое, записанное мероприятие. Участник работает в одиночку, выполняя заданное по сценарию действие, в то время как платформа записывает изображение с экрана, щелчки мыши и, как правило, звук. Исследователь анализирует записи позже. Результат: поведение без объяснения причин.
Асинхронный самоотчет. Участник работает самостоятельно и записывает все, что пошло не так — ведет дневник, заполняет форму обратной связи, выполняет задание с комментариями. Запись не анализируется. Результат: собственный отчет участника.
Объединение этих трех категорий в «модерируемые против немодерируемых» — вот как часто неправильно применяется одна и та же цифра. Вывод о том, что пользователи сообщают примерно о половине проблем, которые наблюдает опытный исследователь, основан на исследования самоотчетагде участники сами документировали проблемы. Это факт об асинхронном самоотчете, а не о записанных немодерируемых сессиях, проанализированных исследователем. Когда кто-то говорит, что немодерируемые сессии выявляют половину проблем, спросите, что из этого они имеют в виду.
Начинайте с решения, а не с метода.
Запишите предложение, которое вы хотите уметь произносить после окончания исследования, затем найдите соответствующую строку.
| Решение, которое вам необходимо принять, чтобы закрыться. | Доказательства, которые его закрывают. | Способ доставки |
|---|---|---|
| Почему люди сдаются на этом этапе? | Поведение и причины, лежащие в его основе. | Ведущий |
| Понимают ли вообще эту концепцию? | Понимание проверяется по словам самого пользователя. | Ведущий |
| Работает ли это с программой чтения с экрана? | Наблюдаемое использование людьми, которые используют его ежедневно. | Ведущий |
| Могут ли люди выполнить задачу X без посторонней помощи? | Показатель завершения с доверительным интервалом | Немодерируемый, записанный |
| Какой макет приводит к меньшему количеству ошибок? | Сравнительный показатель при таком размере выборки, который позволяет их различить. | Немодерируемый, записанный |
| Как выглядит неделя реального использования? | Повторяющиеся записи в разные дни | Асинхронный дневник |
| Какое изменение принесет нам больше денег? | Реальный эксперимент на реальных дорожных условиях. | Ни один из трех вариантов — провести A/B-тестирование |
Последняя строка важнее, чем кажется. Тестирование удобства использования показывает, можно ли использовать интерфейс и где он дает сбои, а не влияние изменений на выручку. Исследование с участием пяти человек, призванное решить вопрос о бизнес-показателях, — это неподходящий инструмент, и его результаты не сохранятся на протяжении всего процесса разработки.
Экран с четырьмя вопросами
Если в таблице нет вашего вопроса, выполните эти действия по порядку. Первый ответ «да» решит всё.
- Нужно ли задавать себе вопрос «почему», когда это происходит? Проверка модерирована. Установка датчика на записывающее устройство невозможна.
- Требуются ли участнику учетные данные, тестовая среда, вспомогательные технологии или устройство, предоставленное вами? Модерация. Немодерируемые платформы хорошо справляются с публичным прототипом, но плохо — с закрытой средой.
- Вам нужно число с указанием доверительного интервала? Без модерации. Восемь модерируемых сессий обеспечивают такой высокий процент завершения, что разница между 50% и 90% невозможна.
- Проявляется ли это поведение более чем в течение одного сеанса? Асинхронный режим. Процесс регистрации, занимающий неделю, или бронирование, прерванное и возобновленное, не укладывается в 60-минутную сессию.
Размер выборки: что может обеспечить каждый метод.
Правило «пяти пользователей достаточно» возникло из Статья Якоба Нильсена 2000 года и это справедливо только в среднем, для выявления проблем, в рамках одного потока. Фолкнер провел эксперимент с 60 участниками, используя приложение для учета рабочего времени, составил каталог из 45 проблем, а затем повторно отобрал 100 случайных групп каждого размера. Все забывают именно о разбросе.
| Пользователи | Средний процент выявленных проблем | Худший результат из 100 розыгрышей. |
|---|---|---|
| 5 | 85.5% | 55% |
| 10 | 94.7% | 82% |
| 20 | 98.4% | 95% |
| 30 | 99.0% | 97% |
| 50 | 100% | 98% |
Воспринимайте это как описание рисков, а не как целевую задачу. Пять сессий обычно выявляют большинство проблем, и примерно одна из двадцати сессий заставляет вас считать, что неработающий процесс — это нормально, приемлемо для прототипа, но плохо для готового к выпуску продукта. Наше рабочее распределение: от 5 до 8 модерируемых сессий для выявления проблем в рамках одного процесса, от 10 до 12, когда он разветвляется по сегментам или устройствам, и 30 или более немодерируемых сессий, когда результатом является оценка, а не список проблем.
Расходы и сроки: куда на самом деле уходят деньги.
Умеренные затраты в основном связаны с графиком исследователя — планированием, неявками, проведением сессии, а затем анализом. Неумеренные затраты в основном связаны с избыточным набором участников, поскольку вы платите за тех участников, которых затем отсеиваете, и этот процент отсева выше, чем предполагается в большинстве бюджетов.
В PLOS ONE, 2023: Сравнение пяти исследовательских платформ (N = 2,729), доля респондентов, соответствующих комбинированному критерию качества, составила 75.4% на Prolific, 75.1% на CloudResearch, 62.7% на SONA, 59.1% на Qualtrics и 54.2% на MTurk, при этом стоимость привлечения одного высококачественного респондента варьировалась от 1.90 до 8.17 долларов. Исследование 2026 года в области качества и количества. Более строгий подход: из 4,453 участников, давших согласие, после предварительного отбора осталось 15.97%, проверка внимательности исключила 27.13%, а вопросы, направленные на выявление ботов, выявили лишь 3.48%.
Поэтому размер немодерируемых исследований должен быть равен количеству исследований, которые необходимо проанализировать, деленному на ожидаемый уровень удержания участников, и в каждый сценарий следует включить как минимум один открытый вопрос и одну проверку внимания, потому что дешевые боты для проверки не работают. Модерируемая сессия проверяет себя сама: тот, кто присоединяется к звонку и разговаривает с вами 45 минут, независимо от всего остального, является человеком.
[ТРЕБУЮТСЯ ВНУТРЕННИЕ ДАННЫЕ: Медианное количество дней от момента проведения инструктажа по набору участников до первого завершенного сеанса, а также наблюдаемый нами процент отсева в немодерируемых исследованиях на турецком языке, для замены приведенных выше общих данных по платформе.]
Раздел, посвященный Турции и ЕС, может переопределить ваш выбор.
Немодерируемая платформа записывает экран участника, часто его голос и лицо, и хранит эти данные на инфраструктуре провайдера, как правило, за пределами Турции и часто за пределами ЕЭЗ. Это передача персональных данных за границу, и с 1 июня 2024 года турецкое законодательство направляет такие данные через определенный набор механизмов.
Закон 7499 (Официальный вестник 32487, 12 марта 2024 г.) переписал статью 9 Закона 6698. Теперь для осуществления переводов за границу требуется решение о достаточности защиты или перечень гарантий: обязательные корпоративные правила, утвержденные заранее, стандартный договор, опубликованный Управлением и уведомленный о нем, или специальное обязательство, одобренное им. Исключительные основания, включая явное согласие, разработаны для случайных, нерегулярных переводов, к которым не относится постоянная исследовательская программа. Собственная страница Управления Согласно имеющимся данным, ни одна страна еще не была признана соответствующей требованиям, поэтому на практике иностранная платформа для тестирования работает на основе стандартного контракта, который кто-то должен подписать и уведомить.
Правило, которое мы применяем: если исследование включает в себя личный аккаунт участника, реальные данные клиентов или информацию из особых категорий — что является обычным делом в здравоохранении и государственном секторе — модерируемые сессии на контролируемой вами инфраструктуре представляют собой более короткий путь к соблюдению требований, даже если немодерируемые сессии дешевле. Для публичного прототипа и синтетической задачи подходит использование платформы. Читатели за пределами Турции узнают структуру из главы V GDPR, с одним существенным отличием: решение о достаточности защиты данных отсутствует, поэтому нет рамочной структуры, аналогичной той, что существует в ЕС и США.
Прежде чем что-либо бронировать
- Решение по делу записано, и вы можете указать, какое обстоятельство могло бы его изменить.
- Этот метод был взят из таблицы или экрана выше, а не из того, что вы запускали в прошлый раз.
- Размер выборки обосновывается исходя из конечного результата: списка проблем или показателя.
- Только для немодерируемых пользователей: целевое значение n, деленное на ожидаемое сохранение информации; сценарий содержит открытый вопрос и проверку внимательности.
- Только модерация: задания составлены таким образом, что участнику не требуется никаких объяснений; вопросы подготовлены, но не являются наводящими.
- Запись данных, место хранения, срок хранения и механизм передачи информации определяются до начала набора персонала.
- Календарь анализа находится в чьей-то собственности; непроанализированные записи — это причина, по которой немодерируемые исследования ничего не дают.
Где это происходит сбой
Таблица Фолкнера получена из одного приложения для учета рабочего времени, содержащего 45 каталогизированных проблем. Кривые обнаружения зависят от того, насколько вероятно, что средний участник столкнется со средней проблемой, и эта вероятность снижается в продукте с множеством разветвленных потоков. Рассматривайте таблицу как нижний предел для простого потока.
В данном руководстве не рассматриваются механизмы набора участников, методы модерации, преобразование результатов в гипотезы или тестирование на соответствие требованиям доступности, которое представляет собой аудит на соответствие критериям, а не исследование удобства использования.
Сейчас интервью с модерацией с помощью ИИ занимают промежуточное положение между модерируемыми и немодерируемыми интервью, позиционируясь как сочетание обоих подходов. Мы не видели опубликованных сравнительных исследований, соответствующих уровню исследований, упомянутых здесь. Пока таких исследований не появится, рассматривайте сессию с модерацией с помощью ИИ как немодерируемое тестирование с более качественным сценарием и не позволяйте ей принимать решения, зависящие от квалифицированных вопросов.
FAQ
Действительно ли пяти участников достаточно? В среднем, пять человек обнаруживают около 85% проблем в рамках одного процесса, но худший из 100 тестов Фолкнера, проведенных с участием пяти человек, выявил 55%. Это приемлемо для прототипа, но недостаточно для чего-либо, что вы собираетесь выпустить в продажу.
Могу ли я провести модерируемое исследование удаленно? Да, и для большинства задач, связанных с разработкой продуктов, это необходимо. Модерация подразумевает присутствие исследователя, а не присутствие в помещении. Вы теряете контекст окружающей среды и увеличиваете охват аудитории.
Сколько участников мне нужно, чтобы определить процент завершения? Это выходит за рамки возможностей модерируемого исследования. Сначала определите, какую разницу вам нужно выявить — для разделения 70% и 85% требуется совершенно другая выборка, чем для разделения 30% и 80% — затем рассчитайте необходимый размер выборки и ожидайте, что четверть участников будет отброшена.
Действительно ли немодерируемое тестирование выявляет меньше проблем, чем модерируемое? Анализ записанных немодерируемых сессий, проведенный исследователем, выявляет сопоставимый набор поведенческих проблем, но не дает объяснений. Показатель «половина проблем» относится к форматам самоотчета, где никто не смотрит сессию.
Нужно ли нам получать явное согласие для записи сессии? Вне зависимости от выбранного метода, вам потребуется законное основание и четкое уведомление, а в Турции вопрос о передаче за границу рассматривается отдельно от вопроса о регистрации.
Какой должна быть продолжительность немодерируемого набора заданий? Обычно это занимает от 15 до 20 минут. Более длинные сценарии увеличивают отсев участников и поощряют именно тех, кого вы хотите отсеять.
Работать с нами
Если решение зависит от результатов исследований, и вы не уверены, какой из этих трех вариантов поможет его принять, мы можем обсудить с вами план исследования — метод, размер выборки, набор участников и оформление документов по передаче данных. См. Сервисы пользовательских исследований Switas.
Источники
- Фолкнер, Л. (2003). Помимо предположения о пяти пользователяхМетоды исследования поведения, 35(3), 379–383.
- Нильсен, Дж. (19 марта 2000 г.). Почему тестирование достаточно всего 5 пользователейNielsen Norman Group.
- ИзмерениеU. Могут ли пользователи самостоятельно сообщать о проблемах с удобством использования? - резюмируя Castillo (1998), Bruun et al. (2007), Андреасен и др. (2009).
- Дуглас, Эвелл и Брауэр (14 марта 2023 г.). Качество данных в онлайн-исследованиях с участием людей. PLOS ONE.
- Борьба с ботами и некачественными данными (11 апреля 2026 г.). Качество и количество, 60(4).
- Кишисел Верилери Корума Куруму, Yurt Dışına Aktarım — Закон 6698, ст. 9, с изменениями, внесенными Законом 7499 (OG 32487, 12 марта 2024 г.; вступил в силу 1 июня 2024 г.).
