Немодерируемые исследования

Немодерируемые исследования — это пользовательские исследования, проводимые без присутствия модератора, в ходе которых участники самостоятельно выполняют задания и отвечают на вопросы, руководствуясь письменными инструкциями, предоставляемыми через платформу тестирования. Сессии обычно записываются, фиксируя действия на экране, клики, а часто и аудиосопровождение и видео с веб-камеры, а результаты анализируются впоследствии.

Главные преимущества — масштабируемость, скорость и стоимость. Если в модерируемом исследовании может участвовать восемь человек в течение двух недель, то в немодерируемом исследовании можно собрать пятьдесят и более сессий за один день, при этом затраты на одного участника значительно ниже, а участники распределены по часовым поясам и географическим регионам. Это меняет возможности применения исследований: становится возможным проводить рутинные тесты, сравнивать несколько вариантов дизайна, включать различные сегменты рынка и получать количественные показатели, такие как процент успешных результатов и время выполнения задачи, с размерами выборки, обеспечивающими реальную точность.

Компромисс заключается в потере адаптивного подхода к задаванию вопросов. Модератор замечает путаницу и спрашивает, почему, уточняет неожиданный комментарий, перенаправляет участника, неправильно понявшего задание, и распознает, когда произошло что-то интересное, не входившее в план. Ничего из этого недоступно без модерации. Участники, неправильно истолковывающие инструкцию, предоставляют непригодные данные, участники, столкнувшиеся с технической неполадкой, просто покидают эксперимент, а интересное поведение остается необъясненным, потому что некому было спросить об этом.

Это определяет, для чего подходит данный метод. Немодерируемая работа хорошо справляется с целенаправленными, четко определенными задачами с ясными критериями успеха, сравнительными исследованиями, бенчмаркингом и отслеживанием во времени, а также количественными исследованиями первого клика, тестирования дерева решений и предпочтений. Она плохо подходит для поисковых исследований в незнакомых проблемных областях, для сложных многоэтапных сценариев, требующих подготовки, для деликатных тем и для всего, где цель состоит в понимании мотивации, а не в наблюдении за поведением.

Разработка заданий и инструкций имеет гораздо большее значение, чем в модерируемой работе, поскольку инструкции представляют собой весь протокол и не могут быть уточнены. Задания должны быть однозначными, сформулированными на языке участника, а не интерфейса, достаточно реалистичными, чтобы вызывать реальное поведение, и достаточно короткими, чтобы удерживать внимание. Пилотный раунд с небольшим количеством участников, исключительно для выявления неоднозначных формулировок, предотвращает большую часть потерь, которые в противном случае возникают, когда поступает пятьдесят сессий, отвечающих на немного отличающийся от задуманного вопрос.

Сами записи часто являются наиболее ценным результатом работы, но при этом и наиболее игнорируемым. Количественный анализ, показывающий, что тридцать процентов участников не справились с заданием, убедителен на абстрактном уровне, в то время как двухминутный ролик, в котором реальный человек явно выражает недовольство конкретным экраном, меняет решения. Создание короткого видеоролика с основными моментами из немодерируемых сессий занимает час и неизменно приносит больше пользы для привлечения ресурсов на исправление ошибок, чем любой отчет. Эти же ролики также полезны для формирования общего понимания внутри команды, поскольку люди, внедряющие исправление, редко читают анализ, но всегда видят, как клиент борется с тем, что они сами разработали.

Качество участников также требует активного управления. Участники панели, прошедшие множество исследований, формируют привычки, отличающиеся от привычек реальных пользователей, а вопросы для отбора легко могут быть использованы в корыстных целях людьми, стремящимися к получению вознаграждения. Необходимы отбор на основе проверяемого поведения, а не самоотчета, проверка внимания во время сессии и ручная проверка записей перед включением их в анализ. На практике большинство зрелых пользовательское исследование Программы намеренно используют оба режима: немодерируемый для измерения, сравнения и рутинной проверки в больших масштабах, и модерируемый для исследовательской работы, где понимание причин важнее, чем подсчет частоты, при этом оба режима приводят к принятию одних и тех же решений. дизайн продукта процесса.