Четири начина за определяне на размера на проучване за използваемост и кога правилото за петима потребители е нарушено

Някой от вашия екип казва, че петима потребители са достатъчни. Цитира модел от 1993 г. и не цитира неговия параметър. В проучване на Лора Фолкнър от 2003 г., произволно изтеглени петима участници от група от 60 души са открили между 55% ​​и 99% от известните проблеми в един и същ интерфейс, със същите задачи и един и същ модератор. Броят, който получавате, зависи от това кой влиза в системата.

Това ръководство е за изследователи, продуктови мениджъри и CRO ръководители, които трябва да защитят дадено число за набиране на участници, преди да започне проучване. До края ще можете да изберете един от четирите метода за оразмеряване, да посочите предположението, на което се основава, и да кажете какво ви носи вашето число в обхвата на проблема. То няма да ви каже да тествате повече хора. То ще ви каже кога пет е защитим отговор и кога е предположение.

Откъде идва числото от петима потребители

Нилсен и Ландауер моделираха откриването на проблеми като N x (1 - (1 - p)^n): с N проблеми в дизайна, p вероятността всеки отделен участник да се сблъска с даден проблем, и n участниците, делът на проблемите, които откривате, е 1 - (1 - p)^nТе измериха средно p от 0.31 в целия си набор от данни. При p = 0.31, петима участници достигат покритие от 84.4%. Оттук идва и твърдението, че „петима потребители откриват 85% от проблемите“.

При преразказа са пропуснати две неща. Първо, закръгляването: при p = 0.31 са необходими шестима участници, за да се преодолеят 85%, а не пет. Второ, и по-важно, p не е константа от природата. Вирзи е измерил 0.32, Луис е измерил 0.16 на различна система, а Спул и Шрьодер са открили сериозни проблеми, които все още са се появявали след десетки участници в задачи за електронна търговия с отворен край. Честната версия на твърдението е условна. Ето какво откриват петима, десетима и двадесет участници при четири нива на възникване на проблеми:

Прочетете долния ред преди следващата си среща за планиране. Проблемите, които провалят плащането, обикновено не са тези, в които се спъват четирима от петима души. Те са били решени преди години.

Метод 1: фиксирани пет, повтарящи се често

Пусни пет участника, поправи каквото откриеш, пусна още пет при следващата компилация. Аргументът на Нилсен никога не е бил, че пет е статистически достатъчно. Той е бил, че маргиналният потребител е по-ценен от маргиналния. проучване.

Използвайте го, когато: Вие работите върху дизайн, който все още се променя всяка седмица, интерфейсът е достатъчно нов, че повечето проблеми са често срещани (високо p) и всъщност можете да изпращате корекции между рундовете.

Неуспешно е, когато: проучването е еднократен одит, който няма да повторите, констатациите отиват до заинтересованите страни, които ще третират „не открихме нищо друго“ като доказателство за качество, или продуктът е зрял и останалите проблеми са редки по дефиниция.

Метод 2: размер от цел за откриване

Обърнете модела. Изберете необходимото покритие (P) и очакваната честота на поява (p), след което решете уравнението. n = ln(1 - P) / ln(1 - p).

Използвайте го, когато: Проучването има цел за съответствие, правна или начална цел и е необходимо да декларирате покритието писмено или когато търсите специфичен клас нискочестотни повреди, като например път за възстановяване след грешки.

Неуспешно е, когато: Нямате основание за p. Избирането на 0.31, защото това е публикуваната средна стойност, е същото предположение като избирането на пет, носейки формула като костюм.

Метод 3: оценете p от първия си кръг, след което преоразмерете

Това е методът, който използваме по подразбиране, защото той замества предположението с вашите собствени данни.

1. Проведете първоначален кръг от пет задачи. Запишете всяка отделна задача и отбележете кои участници са я решили.
2. Изчислете наблюдаваното p като средна стойност на (участници, които са се справили със задачата / участници, които са избягали) за всички отделни задачи.
3. Дефлирайте го. Малките начални извадки систематично надценяват p, защото проблемите, с които се е сблъсквал само един човек, са тези, с които все още не сте се сблъсквали. Херцум и Якобсен са документирали това инфлиране. Практическа корекция е да се премахнат проблемите, наблюдавани от точно един участник, от числителя при повторна оценка.
4. Въведете дефлираното p в таблицата по-горе при вашата цел за покритие и наберете разликата.

Точки на вземане на решения: ако дефлираното p е над 0.25, спрете на пет до осем и изразходвайте останалата част от бюджета за второ проучване на различен поток. Ако е между 0.10 и 0.25, удължете до 12 до 18. Ако е под 0.10, вашите задачи вероятно са твърде отворени или вашият сегмент е твърде широк и добавянето на участници няма да реши нито едното, нито другото. Преразгледайте обхвата, преди да наемете отново участници.

Неуспешно е, когато: Не можете да набирате участници постепенно или проучването се модерира от различни хора в различните кръгове, което променя какво се регистрира като отделен проблем.

Метод 4: размер по поведенчески сегмент

Моделът приема една популация. Повечето продукти в този регион нямат такава. Турски търговец на дребно, който продава на вътрешния пазар, през граница в ЕС и в Персийския залив, има поне три групи с различни ментални модели, различни очаквания за плащане и в случая с Персийския залив - интерфейс от дясно наляво. Насоките на Nielsen тук са от 3 до 4 участници на група при две групи и 3 на група при три или повече. Това е долна граница, а не цел, и означава, че „проучване с пет потребители“ в три сегмента всъщност са три проучвания с ниска степен на ефективност.

Две правила, които си струва да се приложат, преди да напишете скрининга:

• Сегментирайте по поведение, а не по демографски данни. Купувачите за първи път и купувачите, които повтарят покупката си, се сблъскват с различни проблеми. На възраст 25-34 и 35-44 години обикновено не се сблъскват с тях.
• Отнасяйте се към потребителите на помощни технологии като към отделен сегмент, ако продавате в ЕС. Европейският закон за достъпност се прилага за услугите за електронна търговия, насочени към потребителите, от 28 юни 2025 г. и проба само за зрящи не може да ви каже дали спазвате изискванията. Участниците, използващи екранен четец и само клавиатура, се сблъскват с проблем, с който никой друг участник с отлично зрение не би се сблъскал.

Кой метод е подходящ за вашето проучване

Работен пример

Този пример е илюстративен, а не клиентски случай. Да речем, че оразмерявате проучване за плащане за средно голям турски търговец на модни стоки, само вътрешен трафик, редизайнът вече е активен. Метод 1 не е наличен, защото дизайнът е доставен, а Метод 2 се нуждае от приложение, което нямате, така че: Метод 3 е засят от Метод 4.

Два поведенчески сегмента, пазаруване от гост и повторни купувачи, влезли в системата, с по четирима участници във всеки. Първият кръг генерира 19 отделни проблема, 11 от които са видени от точно един участник. Суровото p е 0.28; след премахване на единичните случаи от числителя, то пада до около 0.17. При цел от 90% покритие и p = 0.17 таблицата показва 14. Имате 8, така че набирате още 6, претеглени към сегмента с по-малко открития.

Общо: 14 участници, с писмено обяснение за броя. [INTERNAL DATA NEEDED: observed p values from Switas's own e-commerce checkout studies, to replace the illustrative 0.17 with a benchmark range by vertical.]

Къде се разпада това

Биномиалният модел приема, че проблемите са независими и че p е стабилно между участниците. Нито едно от двете не е вярно. Един объркващ етикет причинява три неуспеха надолу по веригата, а участник, който владее свободно моделите на потребителския интерфейс на пазара, се сблъсква с различен набор от проблеми от този, който не е такъв. Третирайте числата по-горе като инструменти за планиране, а не като измервания. Уулрич, Коктън и Колин твърдят, че едно-единствено p представя погрешно популация, съставена от подгрупи.

Това ръководство също не обхваща:

• Количествен бенчмаркинг. Ако искате процент на успех на задачата с доверителен интервал, вие отговаряте на различен въпрос. Планирайте поне 20 участници, а за кратки интервали повече.
• Сортиране на карти и тестване на дървета. Нилсен препоръчва поне 15 на потребителска група. Математиката за откриване на проблеми не е приложима.
• Проследяване на погледа. Около 39 участници за стабилни топлинни карти.
• A/B тестове. Размерът на извадката е статистическа сила на показателя за конверсия, а не на откриването на проблема. Различна формула, различна логика.

Още едно ограничение, което си струва да се спомене: дизайнът на задачата отмества p по-далеч от n. Петима участници в ясна, реалистична задача ще надминат дванадесет участници в неясна. Ако разговорът ви за оразмеряване е по-дълъг от разговора ви за писане на задачата, съотношението е грешно.

Често задавани въпроси

Правилото за петима потребители грешно ли е?
Не, то е условно. Задържа се при процент на възникване на проблеми близо до 0.31 и цел за покритие близо 85%. Извън тези условия, то не постига резултати под очакванията и нищо в оригиналната работа не твърди друго.

Как да преценя p, преди да съм изпълнил каквото и да било?
В повечето случаи не можете, затова съществува Метод 3. Ако трябва да познаете, използвайте 0.30 за нов или силно променен интерфейс и 0.15 за зрял такъв, след което коригирайте след първия рунд.

Променя ли се числото модерираното спрямо немодерираното тестване?
Не е математиката, но променя какво се счита за проблем. Немодерираните сесии са склонни да пропускат причината за неуспеха, което завишава броя на отделните проблеми и намалява наблюдаваното ви p.

Ами ако мога да наема само петима души?
Изпълнете пет опита и докладвайте честно за обхвата, вместо да представяте списъка с проблеми като пълен. Посочете кои сегменти не сте обхванали. Необхватно проучване с посочени ограничения е полезно; необхватно проучване, представено като изчерпателно, не е.

Необходими ли са ми повече участници за тестване на достъпността?
Нуждаете се от различни участници. Потребителите на помощни технологии са отделен поведенчески сегмент със собствен праг от 3 до 4, а не допълнение към съществуваща извадка.

Могат ли генерираните от изкуствен интелект синтетични участници да заменят част от тази извадка?
Те могат да ви помогнат да репетирате задачи и скринингови тестове. Те не могат да дадат процент на възникване на проблеми, защото p е свойство на реално поведение в реална популация. Не поставяйте синтетични сесии в знаменателя.

Същата математика важи ли за продуктите на B2B или публичния сектор?
Математиката е валидна. Набирането на персонал не е валидно. Тесните B2B и публичният сектор често се ограничават до шест или осем достъпни участници, като в този случай се посочва ограничението като ограничение на проучването, вместо да се преструва, че броят е бил избран.

Изпълнете това в следващото си проучване

Вземете изследването, което ще представите, запишете кой от четирите метода използвате и предполагаемата стойност, и ги включете в плана на изследването. Ако нито един от тях не оцелее след записване, това е констатацията. Ако предпочитате оразмеряването, скринингът и дизайнът на сегментите да се извършват вместо вас, Говорете със Свитас за следващия си кръг от изследвания.

Източници

• Nielsen, J. и Landauer, TK (1993). Математически модел за откриване на проблеми с използваемостта. INTERCHI '93, 206-213.
• Faulkner, L. (2003). Отвъд предположението за петима потребители: ползи от увеличените размери на извадките при тестване на използваемостта. Behavior Research Methods, Instruments, & Computers, 35(3), 379-383.
• Spool, J. и Schroeder, W. (2001). Тестване на уебсайтове: петима потребители са далеч от достатъчно. CHI '01 Extended Abstracts.
• Сауро, Дж. Кратка история на магическото число 5 в тестването за използваемост. MeasuringU.
• Sauro, J. Размери на извадките за проучвания на използваемостта: универсален подход не е подходящ за всички. MeasuringU.
• Nielsen, J. Защо е необходимо да тествате само с 5 потребители. Nielsen Norman Group.
• Nielsen, J. Колко тестови потребители участват в проучване за използваемост? Nielsen Norman Group.
• Директива (ЕС) 2019/882 относно изискванията за достъпност на продукти и услуги (Европейски акт за достъпността), резюме в EUR-Lex.