Повечето екипи избират метод за тестване на използваемостта въз основа на бюджет или навик, след което откриват, че сесиите не могат да отговорят на въпроса, който ги е подтикнал. Методът не е въпрос на вкус; той се определя от решението, което се опитвате да вземете. Това ръководство ви дава начин, основан на вземането на решение, да избирате между модерирано, немодерирано и асинхронно тестване: размерът на извадката, който всяко от тях поддържа, реалността на разходите и качеството на данните за всяко от тях, както и правилата за пренос на данни, които ограничават избора в Турция и ЕС. То е за продуктови, UX и CRO екипи, които провеждат няколко проучвания годишно и не могат да си позволят да пропилеят нито едно. Първо калибровъчно число: в проучване на Лора Фолкнър от 2003 г. случайни извадки от петима потребители са открили средно 85.5% от известните проблеми, но най-лошото привличане на петима потребители е открило 55%.
Трите метода, дефинирани достатъчно точно, за да могат да се сравнят
Модерирано. Изследователят и участникът са заедно в сесията, лично или по телефона. Изследователят задава задачи, наблюдава и сондира. Резултат: наблюдавано поведение плюс обяснение.
Немодерирано, записано. Участникът работи самостоятелно, изпълнявайки предварително зададена задача, докато платформа заснема екрана, кликванията и обикновено звука. По-късно изследовател анализира записите. Резултат: поведение без обяснение.
Асинхронен самоотчет. Участникът работи самостоятелно и записва какво се е объркало — дневник, формуляр за обратна връзка, анотирана задача. Записът не се анализира. Резултат: собствен разказ на участника.
Обединяването на тези три понятия в „модерирано срещу немодерирано“ е начинът, по който една широко повтаряща се цифра се прилага погрешно. Констатацията, че потребителите съобщават за приблизително половината от проблемите, наблюдавани от обучен изследовател, идва от проучвания със самооценка, където участниците сами документираха проблемите. Това е факт за асинхронния самоотчет, а не за записаните немодерирани сесии, анализирани от изследовател. Когато някой каже, че немодерираните сесии откриват половината от проблемите, попитайте кое от двете има предвид.
Започнете с решението, а не с метода
Запишете изречението, което искате да можете да кажете, когато проучването приключи, след което намерете реда.
| Решението, което трябва да вземете, за да затворите | Доказателства, които го затварят | Начин на доставка |
|---|---|---|
| Защо хората се отказват на тази стъпка? | Поведение плюс обосновката зад него | Модератор |
| Разбира ли се изобщо тази концепция? | Разбирането, проверено със собствените думи на потребителя | Модератор |
| Това работи ли с екранен четец? | Наблюдавана употреба от хора, които използват по един дневно | Модератор |
| Могат ли хората да изпълнят задача X без чужда помощ? | Процент на завършване с доверителен интервал | Немодерирано, записано |
| Кое оформление създава по-малко грешки? | Сравнителен показател при размер на извадката, който може да ги раздели | Немодерирано, записано |
| Как изглежда една седмица реална употреба? | Повтарящи се записи през дните | Асинхронен дневник |
| Коя промяна ни носи повече пари? | Експеримент на живо върху реален трафик | Нито едно от трите - проведете A/B тест |
Последният ред е по-важен, отколкото изглежда. Тестването за използваемост ви казва дали даден интерфейс може да се използва и къде се проваля, а не ефектът от промяната върху приходите. Проучване с участието на пет души, помолено да отговори на въпрос, свързан с бизнес показатели, е грешен инструмент и отговорът му няма да оцелее при контакт с фунията за продажби.
Екранът с четири въпроса
Ако таблицата не съдържа вашия въпрос, изпълнете ги по ред. Първото „да“ е решаващо.
- Трябва ли да се питате „защо“, докато това се случва? Модерирано. Не можете да дооборудвате сонда върху запис.
- Участникът се нуждае ли от идентификационни данни, пясъчник, помощна технология или устройство, което вие предоставяте? Модерирано. Немодерираните платформи се справят добре с публичен прототип, а с затворена среда - зле.
- Нуждаете ли се от число с прикачен доверителен интервал? Немодерирано. Осем модерирани сесии водят до процент на завършване с толкова широк интервал, че не може да отдели 50% от 90%.
- Поведението обхваща ли повече от едно заседание? Асинхронно. Включването в екипа през седмицата или прекратяването и възобновяването на резервация няма да се побере в 60-минутна сесия.
Размер на извадката: какво може да поддържа всеки метод
Правилото „пет потребители са достатъчни“ идва от Статията на Якоб Нилсен от 2000 г. и е валидно само за средно ниво, за откриване на проблеми, в един поток. Фолкнер е провел 60 участници в приложение за отчитане на работното време, каталогизирал е 45 проблема, след което е преизвадил 100 произволни групи от всеки размер. Разпределението е това, което всички забравят.
| Потребители | Среден процент открити проблеми | Най-лошата проба от 100 тегления |
|---|---|---|
| 5 | 85.5% | 55% |
| 10 | 94.7% | 82% |
| 20 | 98.4% | 95% |
| 30 | 99.0% | 97% |
| 50 | 100% | 98% |
Четете го като декларация за риск, а не като цел. Пет сесии обикновено разкриват по-голямата част от това, което не е наред, и приблизително едно изпълнение на всеки двадесет ви оставя с убеждението, че един счупен поток е добре - приемливо за прототип, лошо за поръчка, която предстои да изпратите. Нашето работно разпределение: 5 до 8 модерирани сесии за откриване на един поток, 10 до 12, когато се разклонява по сегмент или устройство, 30 или повече немодерирани, когато резултатът е оценка, а не списък с проблеми.
Цена и календар: къде всъщност отиват парите
Модерираните разходи са най-вече календарът на изследователя - планиране, неявявания, сесията, след това анализ. Немодерираните разходи са най-вече прекомерно набиране на участници, защото плащате за участници, които отхвърляте, а този процент на отхвърляне е по-висок, отколкото повечето бюджети предполагат.
В Сравнение на пет изследователски платформи в PLOS ONE от 2023 г. (N = 2,729), делът на респондентите, отговарящи на комбинирано изискване за качество, е бил 75.4% за Prolific, 75.1% за CloudResearch, 62.7% за SONA, 59.1% за Qualtrics и 54.2% за MTurk, като цената на висококачествен респондент варира от $1.90 до $8.17. A Проучване от 2026 г. в областта на качеството и количеството е по-суров: от 4,453 участници, дали съгласие, 15.97% са били задържани след проверка, като проверките за внимание са дисквалифицирали 27.13%, докато изричните въпроси за откриване на ботове са хванали само 3.48%.
Така че оразмерете немодерираните проучвания на броя, който трябва да анализирате, разделен на очаквания процент на задържане, и поставете поне един отворен въпрос и една проверка за внимание във всеки скрипт, защото евтините ботове за проверка не работят. Модерираната сесия проверява сама себе си: някой, който се присъединява към разговор и говори с вас в продължение на 45 минути, е, каквото и друго да е вярно, човек.
[НЕОБХОДИМИ ВЪТРЕШНИ ДАННИ: Медианният брой дни на Switas от заявката за набиране на персонал до първата завършена сесия и наблюдаваният от нас процент на отхвърляне на немодерирани проучвания на турски език, за да се заменят данните за общата платформа по-горе.]
Слоят за Турция и ЕС, който може да отмени вашия избор
Немодерирана платформа записва екрана на участника, често гласа и лицето му, и го съхранява в инфраструктура на доставчик, обикновено извън Турция и често извън ЕИП. Това е прехвърляне на лични данни в чужбина и от 1 юни 2024 г. турското законодателство ги насочва чрез фиксиран набор от механизми.
Закон 7499 (Официален вестник 32487, 12 март 2024 г.) пренаписа член 9 от Закон 6698. Предаванията в чужбина вече се нуждаят от решение за адекватно ниво на защита или от посочена предпазна мярка: предварително одобрени обвързващи корпоративни правила, стандартен договор, публикуван от Органа и нотифициран до него, или специално поръчково задължение, което той одобрява. Изключителните основания, включително изричното съгласие, са формулирани за инцидентни, еднократни предавания, каквито не са постоянните изследователски програми. Тъй като Собствена страница на органа Според данните, нито една държава все още не е обявена за адекватна, така че на практика чуждестранна платформа за тестване работи по стандартен договор, който някой трябва да подпише и уведоми.
Правилото, което прилагаме: ако проучването обхваща личния акаунт на участник, реални клиентски данни или информация от специална категория — рутинна практика в здравеопазването и работата в публичния сектор — модерираните сесии върху инфраструктурата, която контролирате, са по-краткият път за съответствие, дори когато немодерираните са по-евтини. За публичен прототип и синтетична задача, платформата е подходяща. Читателите извън Турция ще разпознаят структурата от Глава V от GDPR, с една съществена разлика: няма влязло в сила решение за адекватност, така че няма рамка от типа ЕС-САЩ, на която да се опре.
Преди да резервирате каквото и да било
- Решението е записано и можете да посочите констатацията, която би го променила.
- Методът е взет от таблицата или екрана по-горе, а не от това, което сте изпълнили последния път.
- Размерът на извадката е обоснован спрямо резултата: списък с проблеми или процент.
- Само немодерирано: целевото n разделено на очакваното задържане; скриптът има отворен въпрос и проверка за внимание.
- Само модерирано: задачи, написани така, че участникът да не се нуждае от обяснения; подготвени са анкети, но не се водят.
- Записването, мястото за съхранение, периодът на запазване и механизмът за прехвърляне се уреждат преди назначаването.
- Някой притежава календара за анализи; неанализираните записи са начинът, по който немодерираните проучвания не дават резултат.
Къде се разпада това
Таблицата на Фолкнер е от едно приложение за отчитане на работното време с 45 каталогизирани проблема. Кривите на откриване зависят от това колко е вероятно средностатистическият участник да попадне на средностатистически проблем, а тази вероятност намалява в продукт с много разклоняващи се потоци. Третирайте таблицата като основа за прост поток.
Това ръководство не обхваща механиките за набиране на персонал, техниката на модериране, превръщането на констатациите в хипотези или тестването за съответствие с изискванията за достъпност, което е по-скоро одит спрямо критерии, отколкото проучване за използваемост.
Интервютата, модерирани от изкуствен интелект, сега се намират между модерирани и немодерирани, като се предлагат на пазара като комбиниращи и двете. Не сме виждали публикувани доказателства за сравнение на методи на нивото на цитираните тук изследвания. Докато такива съществуват, третирайте сесията, модерирана от изкуствен интелект, като немодерирано тестване с по-добър сценарий и не позволявайте тя да води до вземане на решение, което зависи от умело проучване.
Често задавани въпроси
Наистина ли петима участници са достатъчни? Средно петима откриват около 85% от проблемите в един поток, но най-лошият от 100-те проби на Фолкнър, включващи пет души, е открил 55%. Разумно за прототип, но слабо за всичко, което ще доставяте.
Мога ли да проведа модерирано проучване дистанционно? Да, и за повечето продуктови проекти би трябвало. Модерирането е свързано с присъствието на изследовател, а не с присъствието на дадена стая. Губите околна среда и печелите обхват.
Колко участници са ми необходими за процент на завършване? Повече, отколкото може да си позволи едно модерирано проучване. Първо определете разликата, която трябва да откриете – отделянето на 70% от 85% изисква много различна извадка от отделянето на 30% от 80% – след това оразмерете я и очаквайте да отхвърлите една четвърт от новобранците.
Немодерираното тестване открива ли по-малко проблеми от модерираното? Записани немодерирани сесии, анализирани от изследовател, откриват сравним набор от поведенчески проблеми, но без обяснения. Цифрата за „половината от проблемите“ се отнася за формати на самооценка, при които никой не гледа сесията.
Необходимо ли е изрично съгласие за запис на сесия? Независимо кой метод изберете, ви е необходимо законно основание и ясно уведомление, а в Турция въпросът за прехвърлянето в чужбина е отделен от въпроса за записването.
Колко дълъг трябва да бъде един немодериран набор от задачи? Обикновено от 15 до 20 минути. По-дългите сценарии увеличават отпадането и възнаграждават точно участниците, които искате да отсеете.
Работете с нас
Ако решението се основава на доказателства и не сте сигурни кой от тези три варианта ще го реши, можем да обхванем проучването заедно с вас – метод, размер на извадката, набиране на персонал и документи за трансфер на данни. Вижте Услуги за потребителско проучване на Switas.
Източници
- Фолкнър, Л. (2003). Отвъд предположението за петима потребителиМетоди за изследване на поведението, 35(3), 379–383.
- Нилсен, Дж. (19 март 2000 г.). Защо е необходимо да тествате само с 5 потребителиНилсен Норман Груп.
- Измерване на U. Могат ли потребителите сами да докладват за проблеми с използваемостта? — обобщаващо Castillo (1998), Bruun et al. (2007), Andreasen et al. (2009).
- Дъглас, Юел и Брауер (14 март 2023 г.). Качество на данните в онлайн изследвания с хораПЛОС ЕДНО.
- Борба с ботове и лоши данни (11 април 2026 г.). Качество и количество, 60(4).
- Kişisel Verileri Koruma Kurumu, Юрта Дишина Актаръм — Закон 6698 чл. 9, изменен със Закон 7499 (OG 32487, 12 март 2024 г.; в сила от 1 юни 2024 г.).
