Перед перерисовкой меню выберите сортировку карточек, проверку дерева или проверку первого клика.

Собственный набор данных Optimal Workshop, полученный из миллионов задач по тестированию деревьев, содержит записи 70% задач успешно выполняются после правильного первого клика и 24% — после неправильного.Первый выбранный человеком тег определяет большую часть результата. Однако это число не говорит о том, какое исследование следует провести. Команды используют сортировку карточек, когда у них уже есть меню, и сомневаются только в формулировках, тестируют структуру, словарь которой никогда не проверялся, а затем спорят о результатах, которые никогда не могли бы решить вопрос. Это руководство предназначено для UX-руководителей, менеджеров по продуктам и команд CRO, имеющих проблемы с навигацией и ограниченный бюджет на исследования. К концу вы сможете сопоставить решение о навигации с одним из трех методов, определить размер исследования, установить пороговое значение для сбора данных и указать, что результат не может доказать.

Эти три метода отвечают на три разных вопроса.

Метод сортировки карточек является генеративным. Вы раздаете людям элементы контента и позволяете им группировать и давать названия группам. Он показывает, как ваша аудитория разделяет предметную область и какие слова она использует. Он не может сказать, работает ли конкретное меню, потому что в исследовании нет конкретного меню.

Тестирование древовидной структуры носит оценочный характер. Вы сводите предлагаемую иерархию к текстовым меткам, даете людям задание и наблюдаете за их действиями. Это позволяет определить, можно ли найти структуру и какая ветвь «поглотит» людей. Как отмечает NN/g, в режиме «только текст» намеренно исключаются размещение, цвет и изображения, что позволяет изолировать качество меток и структуры.

Тестирование первого клика имеет более узкую направленность. Один экран, одна задача, один зафиксированный клик. Оно позволяет с первого взгляда определить, правильно ли отображается точка входа, и ничего не говорит о том, что происходит на два уровня ниже.

Распространенная ошибка — запуск неправильного инструмента. «Никто не может найти политику возврата» — это не вопрос для сортировки карточек. «Мы не знаем, имеет ли значение слово „Решения“ для покупателей» — это не вопрос для проверки дерева решений, проверка дерева решений лишь подтвердит вашу догадку.

Таблица критериев: выбирайте по сути решения, а не по инструменту, на который у вас есть лицензия.

Правила принятия решений

• Отсутствует какая-либо структура, или же структура, в которую никто не верит. Сначала сортировка карточек — открытая, если вам нужна лексика, закрытая, если верхний уровень фиксирован и вопрос только в размещении.
• Две предлагаемые структуры и встреча, которая не закончится. Оба метода проверяют дерево. Из всех трех только один позволяет разрешить структурный спор числовым результатом.
• Трафик подъезжает, но следующий клик неверен. Протестируйте этот экран с первого клика. Не перестраивайте архитектуру, чтобы исправить одну метку.
• Аналитика уже показывает, где происходит сбой в работе системы. Пропустить этап обнаружения. Проверить дерево на наличие уязвимой ветви, затем проверить метку замены при первом щелчке.
• Новый рынок или язык. Сортировка карточек на этом языке с участием участников этого рынка. Переведённое меню — это непроверенное меню.

Размеры выборки и пороговые значения, которые вы можете обосновать в ходе проверки.

Для сортировки карточек Таллис и Вуд протестировали 168 пользователей и проанализировали случайные подмножества. Корреляция с результатом для всей выборки составила 0.75 при 5 пользователях, 0.90 при 15, 0.93 при 20, 0.95 при 30 и 0.98 при 60. Компания Nielsen интерпретирует это так: 15 — это комфортное количество пользователей для остановки тестирования, 30 — для хорошо финансируемых проектов. Правило пяти пользователей из тестирования юзабилити не применимо — для стабилизации закономерности в генеративном методе необходимо достаточное количество людей.

Для тестирования деревьев NN/g рекомендует использовать не менее 50 участников на каждое дерево для осмысленного сравнения, а также устанавливает пороговые значения, основанные на данных Альберта и Таллиса, полученных в ходе 98 исследований: менее 40% – плохо, 41–60% – удовлетворительно, 61–80% – хорошо, 80–90% – очень хорошо, более 90% – отлично. Согласуйте пороговое значение до просмотра данных. Критически важные задачи — оформление заказа, возврат средств, запись на прием — должны выполняться с результатом не менее 90%; задача, связанная с рекламным просмотром, может выполняться при 70%.

Показатель прямолинейности следует рассматривать наряду с успехом, а не вместо него. Высокий уровень успеха при низкой прямолинейности означает, что люди приходят к цели, блуждая: метка неверна, даже если структура сохраняется. Эта закономерность является наиболее полезным сигналом, который дает тест дерева.

Рабочий пример

Интернет-аптека с разделом "Здоровье" в верхней части страницы и спрятанной под ним статьей поддержки. Приведенные цифры носят иллюстративный характер и не являются данными о клиентах.

1. Тест на древовидную структуру, 60 участников, 8 заданий. «Узнайте, покрывается ли ваш рецепт страховкой». Успех 58%, прямолинейность 22% — средний показатель по группам лекарств, а разница в прямолинейности указывает на соответствие инструкции.
2. Ознакомьтесь с таблицей первого клика. 41% относятся к категории «Здоровье», 33% — к категории «Поддержка», 18% — к категории «Учетная запись»: три правдоподобных варианта означают, что границы категорий не существуют в сознании пользователей.
3. Закрытая сортировка карточек, 20 участниковИспользуя заголовки статей и существующий верхний уровень. Если информация о содержании статей разбросана по трем группам, ошибка заключается в верхнем уровне, а не в формулировке.
4. Перепишите и протестируйте заново. Новое дерево задач, те же 8 заданий, 60 новых участников. Целевой показатель успешности выше 80%, а прямолинейности выше 60%.
5. Проверьте новую метку первым щелчком мыши. На реальной странице перед отправкой. Тест дерева не показал визуального запаха; на рабочей странице запах есть.

[ТРЕБУЮТСЯ ВНУТРЕННИЕ ДАННЫЕ: замените эту иллюстративную последовательность обезличенным тестом дерева Свитаса до/после, включая показатели успешности и прямолинейности, а также количество задач.]

Маркировка на турецком языке и почему региональный аспект не является чисто формальным.

Два фактора затрудняют тестирование этикеток на турецком языке и ряде соседних языков, и оба важны для всех, кто продает товары в этом регионе, а не только из него.

Во-первых, турецкий язык агглютинативен: значение добавляется к основе слова в виде суффиксов, поэтому категория, состоящая из двух коротких слов в английском языке, часто представляет собой одно длинное слово в турецком. Меню, которые помещаются на английском языке, переполняются, и команды исправляют это путем усечения — именно ту переменную, которую измеряет тест дерева. Тестируйте метки на той длине, на которой они будут отображаться фактически.

Во-вторых, в турецком языке четыре символа «i»: пунктирный. İ (U+0130) и i (U+0069), без точек I (U+0049) и ı (U+0131). По турецким правилам, строчными буквами. i карты для İ, Не IТаким образом, поиск без учета регистра, написанный для английского языка, не работает — поиск по слову «iptal» не будет соответствовать сохраненному «IPTAL». Если поиск по сайту, фильтры или навигационная цепочка используют регистр, не зависящий от локали, пользователи получают пустой набор результатов для существующего термина. Исключите это, прежде чем обвинять метку.

Существует также преимущество с точки зрения соответствия требованиям. Критерий успеха WCAG 2.2, 2.4.6, «Заголовки и метки», соответствует уровню AA и требует, чтобы заголовки и метки описывали тему или цель. Метка, получившая 40% положительных результатов, не только свидетельствует о проблеме конверсии, но и является доказательством несоответствия заявленным требованиям.

Эти цифры не доказывают

Наиболее часто цитируемая здесь цифра — 87% успешности выполнения задачи после правильного первого клика против 46% после неправильного, согласно работе Бейли и Вольфсона 2006–2009 годов. К ней следует относиться с осторожностью: собственный, гораздо более обширный набор данных Optimal Workshop показывает 70% и 24% для того же сравнения. Направление одинаковое, но величины существенно разные — и обе корреляции измерены внутри инструмента, а не являются доказательством того, что тест кликов предсказывает поведение на реальном сайте.

В связи с этим Сауро, Скьявоне, Ду и Льюис в 2023 году провели исследование с участием 130 человек, сравнивая первые клики по статическим изображениям с кликами по реальным сайтам: поведение было схожим, средняя абсолютная разница по областям активности составляла около 6%. Они также заявили, что не измеряли успешность выполнения последующих задач, и что адаптивные макеты и всплывающие меню привели к реальным расхождениям. Честно говоря, тесты кликов воспроизводят то, куда люди кликают, а не предсказывают, завершат ли люди работу.

Тестирование с помощью деревьев имеет аналогичную оговорку. Курич, Демчак и Крайчович сравнили три варианта тестирования с помощью деревьев с высокоточными прототипами той же архитектуры на 180 участниках и 1,800 задачах, и варианты не совпали друг с другом; вариант с видимым деревом наиболее точно отражал поведение прототипа, а метрики обратного поиска значительно отличались. Если ваш инструмент отображает дерево иначе, чем то, которое использовалось в качестве эталона, эталон не будет перенесен.

Где это происходит сбой

• Сайты, занимающие доминирующее положение в поисковой выдаче. Если большинство сессий начинается с поля поиска, вы оптимизируете путь, которым пользуется мало людей. В первую очередь проверьте долю сессий, связанных с поисковым событием.
• Персонализированная навигация. При тестировании древовидной структуры предполагается одна фиксированная иерархия. Если меню различается в зависимости от сегмента, вы тестируете вымышленную структуру.
• Очень малочисленные популяции. В сегментах B2B и клинической аудитории часто не удается обеспечить участие 50 квалифицированных человек. В отчете следует указывать количество участников, а не проценты, и обязательно это отмечать.
• Ни один из трех тестов не проверяет понимание прочитанного. Они оценивают обнаруженное, а не понимание после обнаружения. Для этого необходимо тестирование удобства использования.
• Ничто из этого не измеряет выручку. Решение проблемы с навигацией — это гипотеза для эксперимента, а не проверенное средство. Внедряйте его после тестирования.

Часто задаваемые вопросы

Можно ли провести сортировку карточек и анализ дерева решений на одних и тех же участниках?

Не в рамках одной сессии. Сортировка обучает людей вашей модели, поэтому они затем находят то, что недоступно для новых посетителей. Набирайте отдельные группы или делайте перерыв в несколько недель.

Сколько участников мне нужно для сортировки карточек?

Значение 15 дает корреляцию 0.90 с результатами, полученными на полной выборке данных Таллиса и Вуда, а 30 — 0.95. Ниже 15 закономерность нестабильна. Превышение значения 30 дает очень мало пользы за такие затраты.

Действительно ли для проведения теста деревьев необходимо 50 участников?

Для количественного сравнения двух деревьев — да, это рекомендация NN/g. Для одного дерева, где вам нужно найти только явно поврежденные ветви, 20-30 ветвей позволят выявить наиболее проблемные, но сообщат количество, а не проценты.

Что считается успешным прохождением теста?

Примите решение до начала забега. Используйте шкалы Альберта и Таллиса в качестве базовых: выше 80% — очень хорошо, 61–80% — хорошо, ниже 40% — плохо. Поднимите планку до 90% для задач, связанных с деньгами, лекарствами или законными правами.

Успех высок, но прямолинейность низка. Что мне нужно исправить?

Важно название, а не структура. Люди после изучения информации попадают в нужное место, а это значит, что категория существует в их модели, но ваша формулировка об этом не указывает. Перепишите название и повторно протестируйте те же задачи.

Устраняет ли инструмент на основе ИИ необходимость в участии пациентов?

Эти методы не подходят. Они измеряют убеждения и действия конкретной популяции; предположение модели об этой популяции — это гипотеза, а не данные. Используйте модели для более быстрого составления заданий и кластеризации открытых вопросов.

Следующий шаг

Если у вас есть спор о навигации, который аналитика не может разрешить, самое дешевое решение — это проверка дерева на обеих структурах-кандидатах с заранее согласованными пороговыми значениями. Напишите задачи, установите параметры и запустите — или пусть мы это сделаем и вручит вам упорядоченный список сломанных веток.

Источники

• Якоб Нильсен, «Сортировка карточек: сколько пользователей нужно протестировать», Nielsen Norman Group, 2004.
• Том Таллис и Ларри Вуд, «Сколько пользователей достаточно для исследования сортировки карточек?», UPA 2004.
• Пейдж Лаубхаймер, «Тестирование деревьев. Часть 2: интерпретация результатов», Nielsen Norman Group, 19 января 2024 г.
• Самхита Танкала, Сортировка карточек против тестирования деревьев решений, Nielsen Norman Group, 23 февраля 2024 г.
• Nielsen Norman Group, Tree Testing: Оценка меток и категорий меню.
• Оптимальный семинар: правильные первые клики приводят к трехкратному увеличению успешности выполнения задач, 13 апреля 2015 г.
• Джефф Сауро, Уилл Шиавоне, Дэвид Ду и Джим Льюис, Предсказывают ли клики на реальном сайте результаты тестирования?, MeasuringU, 21 марта 2023 г.
• Эдуард Курич, Петер Демчак и Матус Крайчович, Валидация информационной архитектуры: межметодологическое сравнение вариантов тестирования деревьев и пользовательского тестирования прототипов, Информационные и программные технологии 183, июль 2025 г.
• W3C, Понимание критерия успеха 2.4.6: Заголовки и метки, WCAG 2.2
• Tex Texin, Интернационализация турецкого языка: Турецкая буква I с точкой и без точки