Уровень успеха задачи

Показатель успешности выполнения задачи — это доля участников, которые правильно выполнили заданную задачу. Это наиболее фундаментальный показатель удобства использования, поскольку он измеряет, действительно ли интерфейс делает то, что от него требуется, и по отношению к нему все остальное, включая удовлетворенность, скорость и эстетические предпочтения, является второстепенным. Продукт, который нравится людям, но которым они не могут пользоваться, не является успешным продуктом.

Для измерения этого показателя необходимо заранее определить, что считается успехом, и это определение определяет ценность всего последующего. Бинарная система оценки фиксирует завершение или неудачу, что подходит для задач с однозначным конечным результатом, таких как совершение покупки. Уровни успеха учитывают частичное завершение, фиксируя, завершил ли человек задачу самостоятельно, с трудом, с помощью или потерпел неудачу. Важно, чтобы критерий был установлен до начала работы, поскольку решение о том, был ли результат учтен впоследствии, приводит именно к изменению интерпретации, которое призван предотвратить данный показатель.

Этот показатель обладает необычайной убедительностью для заинтересованных сторон, поскольку он конкретен. Сообщение о том, что четверо из десяти участников не смогли найти политику возврата товаров или что половина не завершила регистрацию на телефоне, передает информацию таким образом, который недоступен качественному описанию. Кроме того, его легко перевести в коммерческий контекст, поскольку уровень неудач в выполнении критически важной для получения дохода задачи может быть напрямую связан с потерянными транзакциями, и именно эта связь обычно обеспечивает выделение ресурсов для исправления ситуации.

При интерпретации результатов необходимо тщательно учитывать размер выборки. В исследованиях юзабилити обычно участвует от пяти до двенадцати человек, что подходит для выявления проблем, но приводит к очень неточным показателям: два случая неудачи из восьми соответствуют широкому диапазону истинных значений. Представление процента от такой выборки как оценки генеральной совокупности завышает результаты исследования, а честное представление данных включает в себя как абсолютные значения, так и проценты. В тех случаях, когда точный показатель действительно важен, подходящими инструментами являются немодерируемое тестирование в больших масштабах или инструментальная аналитика работающего продукта.

Качество метрики зависит от выбранных задач. Задачи, отражающие реальные задачи, сформулированные на языке пользователей и помещенные в реалистичный сценарий, дают значимые результаты. Задачи, написанные на языке самого интерфейса, измеряют соответствие слов. Задачи, искусственно ограниченные или такие, которые ни один реальный пользователь не стал бы выполнять, дают результаты, которые выглядят строгими, но ничего не значат. Выбор правильных задач, как правило, требует предварительного знания реальных целей пользователей, полученного из аналитики, данных службы поддержки или предыдущих качественных исследований.

Сравнение показателей успешности с эталонным показателем требует тщательного анализа того, что этот эталон представляет собой. Опубликованные данные о среднем времени выполнения задач в разных исследованиях получены на основе совершенно разных продуктов, задач и групп участников, и сравнение конкретного показателя с ними дает очень мало оснований. Более полезными являются внутренние сравнения: одна и та же задача измеряется до и после изменения, одна и та же задача измеряется в разных сегментах или на разных устройствах, или одна и та же задача сравнивается с конкурентом, протестированным в идентичных условиях. Сравнение с конкурентом особенно убедительно для заинтересованных сторон, поскольку очевидный разрыв в выполнении задачи, которую клиенты выполняют регулярно, сложнее игнорировать, чем абстрактную проблему удобства использования.

Показатель успешности наиболее полезен в сочетании с причинами неудач, поскольку показатель отражает серьезность проблем, а наблюдение указывает на причину. Такое сочетание является стандартной практикой в ​​данной области. пользовательское исследование программа, и полученный в результате приоритетный список задач с высокой вероятностью сбоев обычно является наиболее обоснованным исходным материалом для плана по устранению проблем, разработанного в рамках программы. UX-аудит, потому что он ранжирует проблемы по измеримому влиянию на реальные цели, а не по экспертному мнению об их серьезности.