Сіздің командаңыздағы біреу бес пайдаланушы жеткілікті дейді. Олар 1993 жылғы модельді келтіріп жатыр, бірақ оның параметрін келтірмейді. Лора Фолкнердің 2003 жылғы зерттеуінде 60 адамнан тұратын бес қатысушының кездейсоқ таңдауы белгілі мәселелердің 55%-дан 99%-ға дейінгісін бірдей интерфейсте, бірдей тапсырмалармен және бірдей модератормен анықтады. Сіз алатын сан есіктен кімнің кіретініне байланысты.
Бұл нұсқаулық зерттеу басталмас бұрын жұмысқа қабылдау нөмірін қорғауы керек зерттеушілерге, өнім менеджерлеріне және CRO жетекшілеріне арналған. Соңында сіз төрт өлшем әдісінің бірін таңдай аласыз, оның негізделген болжамын айта аласыз және мәселелік қамтуда нөміріңіз неге ие болатынын айта аласыз. Ол сізге көбірек адамды тексеруді айтпайды. Ол сізге бес жауап қашан қорғалатынын және қашан болжам екенін айтады.
Бес пайдаланушы нөмірі қайдан келеді
Нильсен мен Ландауэр мәселені ашуды былай модельдеді N x (1 - (1 - p)^n): бірге N дизайндағы мәселелер, p кез келген қатысушының берілген мәселеге тап болу ықтималдығы және n қатысушылар, сіз тапқан мәселелердің үлесі 1 - (1 - p)^nОлар деректер жиынтығы бойынша орташа p мәнін 0.31 деп өлшеді. p = 0.31 болғанда, бес қатысушы 84.4% қамтуға жетеді. Міне, осыдан «бес пайдаланушы мәселелердің 85%-ын табады» деген сөз шығады.
Қайта баяндауда екі нәрсе алынып тасталады. Біріншіден, дөңгелектеу: p = 0.31 кезінде бес емес, 85% өту үшін алты қатысушы қажет. Екіншіден, және одан да маңыздысы, p тұрақты емес. Вирзи 0.32, Льюис басқа жүйеде 0.16 өлшеді, ал Спул мен Шредер ондаған қатысушылар ашық электрондық коммерция тапсырмаларынан кейін әлі де күрделі мәселелер туындап жатқанын анықтады. Талаптың шынайы нұсқасы шартты. Міне, бес, он және жиырма қатысушы төрт мәселенің пайда болу жылдамдығында не табады:
| Мәселенің пайда болу жиілігі (p) | 5-мен бірге табылды | 10-мен бірге табылды | 20-мен бірге табылды |
|---|---|---|---|
| 0.31 (Нильсен мен Ландауэр орташа) | 84% | 98% | 99.9% |
| 0.16 (Льюис) | 58% | 83% | 97% |
| 0.10 (сирек кездесетін мәселелер) | 41% | 65% | 88% |
| 0.05 (сирек кездесетін, жоғары ауырлықтағы мәселелер) | 23% | 40% | 64% |
Келесі жоспарлау кездесуіңіздің алдында төменгі жолды оқып шығыңыз. Кассада жұмыс істеуді тоқтататын мәселелер әдетте бес адамның төртеуі қателесіп кететін мәселелер емес. Олар бірнеше жыл бұрын шешілген.
1-әдіс: бесеуін бекітті, жиі қайталанады
Бес қатысушыны қосыңыз, тапқаныңызды түзетіңіз, келесі құрастыруда тағы бесеуін қосыңыз. Нильсеннің дәлелі ешқашан бес статистикалық тұрғыдан жеткілікті деген емес. Ол шекті пайдаланушы шекті пайдаланушыдан аз құнды деген болатын. оқу.
Оны келесі жағдайларда пайдаланыңыз: Сіз апта сайын өзгеріп отыратын дизайнды қайталап жатырсыз, интерфейс көптеген мәселелер жиі кездесетіндей жаңа (жоғары p) және сіз іс жүзінде раундтар арасында түзетулер жібере аласыз.
Ол келесі жағдайларда сәтсіздікке ұшырайды: зерттеу - қайталанбайтын бір реттік аудит, нәтижелер мүдделі тараптарға жіберіледі, олар «біз басқа ештеңе таппадық» деп сапа дәлелі ретінде қарастырады немесе өнім жетілген және қалған мәселелер анықтама бойынша сирек кездеседі.
2-әдіс: ашу мақсатынан алынған өлшем
Модельді төңкеріңіз. Қажетті қамтуды (P) және күтілетін пайда болу жиілігін (p) таңдаңыз, содан кейін есепті шығарыңыз n = ln(1 - P) / ln(1 - p).
| Қамту мақсаты | р = 0.31 | р = 0.16 | р = 0.10 | р = 0.05 |
|---|---|---|---|---|
| 85% | 6 | 11 | 19 | 37 |
| 90% | 7 | 14 | 22 | 45 |
| 95% | 9 | 18 | 29 | 59 |
Оны келесі жағдайларда пайдаланыңыз: Зерттеудің сәйкестік, заңдылық немесе іске қосу мақсаты бар және сіз жазбаша түрде немесе қатені қалпына келтіру жолы сияқты төмен жиілікті ақаулардың белгілі бір класын іздеген кезде қамтуды көрсетуіңіз керек.
Ол келесі жағдайларда сәтсіздікке ұшырайды: сізде p үшін ешқандай негіз жоқ. Жарияланған орташа мән болғандықтан 0.31 таңдау формуланы костюм ретінде киіп, бес таңдаумен бірдей болжам.
3-әдіс: бірінші раундтан p мәнін бағалаңыз, содан кейін өлшемін өзгертіңіз
Бұл біз әдепкі бойынша қолданатын әдіс, себебі ол болжамды сіздің жеке деректеріңізбен ауыстырады.
- Бастапқы бес раундты өткізіңіз. Әрбір нақты есепті жазып, қай қатысушылар оны орындағанын белгілеңіз.
- Барлық әртүрлі есептер бойынша (мәселені шешкен қатысушылар / қатысушылар жүгірген) орташа мәні ретінде байқалған p мәнін есептеңіз.
- Оны азайтыңыз. Бастапқы шағын үлгілер p мәнін жүйелі түрде асыра бағалайды, себебі тек бір адам ғана кездесетін мәселелер - сіз әлі кездестірмеген мәселелер. Герцум мен Якобсен бұл инфляцияны құжаттады. Практикалық түзету - қайта бағалау кезінде дәл бір қатысушы көрген мәселелерді алымнан алып тастау.
- Жоғарыдағы кестеге қамту мақсатына жеткенде төмендетілген p мәнін енгізіп, айырмашылықты есептеңіз.
Шешім қабылдау нүктелері: егер төмендетілген p 0.25-тен жоғары болса, бестен сегізге дейін тоқтап, бюджеттің қалған бөлігін басқа ағынның екінші зерттеуіне жұмсаңыз. Егер ол 0.10 мен 0.25 аралығында болса, 12-ден 18-ге дейін кеңейтіңіз. Егер ол 0.10-нан төмен болса, сіздің тапсырмаларыңыз тым ашық немесе сегментіңіз тым кең болуы мүмкін, және қатысушыларды қосу екеуін де шешпейді. Қайта жалдамас бұрын ауқымын қайта қарастырыңыз.
Ол келесі жағдайларда сәтсіздікке ұшырайды: Сіз біртіндеп тарта алмайсыз немесе зерттеуді әртүрлі адамдар әртүрлі раундтарда модерациялайды, бұл нақты мәселе ретінде тіркелетін нәрсені өзгертеді.
4-әдіс: мінез-құлық сегменті бойынша өлшем
Модель бір популяцияны қарастырады. Бұл аймақтағы өнімдердің көпшілігінде ондай популяция жоқ. Ішкі нарықта, ЕО-ға және Парсы шығанағына шекара арқылы сататын түрік бөлшек саудагерінде кем дегенде үш топ бар, олардың ой-өрісі әртүрлі, төлем күтулері әртүрлі және Парсы шығанағы жағдайында оңнан солға интерфейс бар. Nielsen компаниясының нұсқаулығы бойынша, екі топта әр топқа 3-4 қатысушы және үш немесе одан да көп топқа 3 қатысушыдан қатысушы болуы керек. Бұл мақсат емес, төменгі деңгей, және бұл үш сегмент бойынша «бес пайдаланушылық зерттеу» шын мәнінде үш әлсіз зерттеу екенін білдіреді.
Скрининг жазбас бұрын қолдануға тұрарлық екі ереже:
- Демографиялық емес, мінез-құлық бойынша сегменттеу. Алғаш рет сатып алушылар мен қайта сатып алушылар әртүрлі қиындықтарға тап болады. 25-34 және 35-44 жас аралығында әдетте мұндай қиындықтар болмайды.
- Егер сіз ЕО-ға сатсаңыз, көмекші технологияны пайдаланушыларды өз сегменті ретінде қарастырыңыз. Еуропалық қолжетімділік туралы заң 2025 жылдың 28 маусымынан бастап тұтынушыға бағытталған электрондық коммерция қызметтеріне қолданылып келеді, және тек көру қабілеті бар үлгі сіздің бұл талапты орындайтыныңызды немесе орындамайтыныңызды айта алмайды. Экран оқу құралы мен пернетақтаны пайдаланатын қатысушылар көру қабілеті нашар қатысушылардың ешқайсысы кездестірмейтін мәселелер тобын анықтайды.
Сіздің зерттеуіңізге қай әдіс сәйкес келеді
| Егер бұл рас болса | пайдалану | Әдеттегі n |
|---|---|---|
| Апта сайынғы итерация, дизайн әлі де өзгеріп отырады | 1 әдісі | Әр раундта 5 |
| Жазбаша қамту талабы бар бір реттік аудит | 2 әдісі | 11-29 |
| Сіз толқындармен жалдай аласыз және ең арзан қорғалатын нөмірді қалауыңыз мүмкін | 3 әдісі | 5, содан кейін өлшемін өзгертіңіз |
| Екі немесе одан да көп әртүрлі мінез-құлық топтары | 4 әдісі | Әр топта кемінде 3-4 адам |
| Сізге мәселелер тізімі емес, сенімділік аралығы бар метрика қажет | Бұлардың ешқайсысы | 20+ (төменде қараңыз) |
Жұмыс үлгісі
Бұл мысал клиенттік жағдай емес, иллюстрациялық. Айталық, сіз орта нарықтағы түрік сән дүкенінің өлшемін есептеп жатырсыз, тек ішкі трафик, қайта жобалау қазірдің өзінде іске қосылған. 1-әдіс шығарылды, себебі дизайн жіберілді, ал 2-әдіс сізде жоқ қосымшаны қажет етеді, сондықтан: 3-әдіс 4-әдіспен таңдалды.
Екі мінез-құлық сегменті, қонақтардың тапсырысы және жүйеге кірген қайта сатып алушылар, әрқайсысы төрт қатысушы. Бірінші раундта 19 түрлі есеп шығарылады, оның 11-ін дәл бір қатысушы көреді. Шикі p 0.28-ге тең; алымнан синглтондарды алып тастағаннан кейін ол шамамен 0.17-ге дейін төмендейді. 90% қамту мақсаты және p = 0.17 болғанда кестеде 14 деп көрсетілген. Сізде 8 бар, сондықтан сіз жұқа нәтижелер бар сегментке қарай салмақталған тағы 6 есепті жинайсыз.
Барлығы: 14 қатысушы, санның жазбаша себебі көрсетілген. [INTERNAL DATA NEEDED: observed p values from Switas's own e-commerce checkout studies, to replace the illustrative 0.17 with a benchmark range by vertical.]
Бұл қай жерде бұзылады
Биномдық модель мәселелердің тәуелсіз және p қатысушылар арасында тұрақты деп болжайды. Екеуі де дұрыс емес. Бір шатастыратын белгі үш кейінгі сәтсіздікке әкеледі, ал нарықтық интерфейс үлгілерін еркін меңгерген қатысушы басқа қатысушыларға қарағанда басқа мәселелер жиынтығына тап болады. Жоғарыдағы сандарды өлшемдер емес, жоспарлау құралдары ретінде қарастырыңыз. Вулрич, Коктон және Колтонның барлығы бір p кіші топтардан тұратын популяцияны бұрмалайды деп тұжырымдады.
Бұл нұсқаулық сонымен қатар мыналарды қамтымайды:
- Сандық бенчмаркинг. Егер сіз сенімділік аралығы бар тапсырманың сәттілік көрсеткішін қаласаңыз, сіз басқа сұраққа жауап бересіз. Кем дегенде 20 қатысушыны, ал қысқа аралықтарға одан да көп қатысушыны жоспарлаңыз.
- Карталарды сұрыптау және ағаштарды сынау. Nielsen әрбір пайдаланушы тобына кемінде 15-тен ұсынады. Мәселені анықтау математикасы қолданылмайды.
- Көзді бақылау. Тұрақты жылу карталарына шамамен 39 қатысушы.
- A/B сынақтары. Үлгі өлшемі конверсия метрикасында статистикалық қуат бар, мәселені анықтау емес. Басқа формула, басқа логика.
Атауға тұрарлық тағы бір шектеу: тапсырма дизайны p-ны n-ге қарағанда алға жылжытады. Айқын, шынайы тапсырмадағы бес қатысушы он екі қатысушыдан айқын емес тапсырмадағыдан асып түседі. Егер сіздің өлшем туралы әңгімеңіз тапсырма жазу туралы әңгімеңізден ұзағырақ болса, арақатынас дұрыс емес.
FAQ
Бес пайдаланушы ережесі дұрыс емес пе?
Жоқ, бұл шартты. Ол мәселенің пайда болу деңгейі шамамен 0.31 және қамту мақсаты шамамен 85% құрайды. Бұл шарттардан тыс ол жеткіліксіз нәтиже береді және түпнұсқа жұмыста басқаша айтылған жоқ.
Кез келген тапсырманы орындамас бұрын p мәнін қалай бағалаймын?
Көбінесе сіз мұны істей алмайсыз, сондықтан 3-әдіс бар. Егер сіз болжауыңыз керек болса, жаңа немесе қатты өзгертілген интерфейс үшін 0.30 және жетілген интерфейс үшін 0.15 пайдаланыңыз, содан кейін бірінші айналымнан кейін түзетіңіз.
Модерацияланған және модерацияланбаған тестілеу санды өзгерте ме?
Математика емес, бірақ ол мәселе ретінде не саналатынын өзгертеді. Модерацияланбаған сессиялар сәтсіздіктің себебін байқамай қалуға бейім, бұл әртүрлі мәселелердің санын көбейтеді және байқалған p мәнін төмендетеді.
Егер мен тек бес адамды ғана жұмысқа ала алсам ше?
Бесінші тапсырманы орындаңыз және мәселелер тізімін толық деп хабарлаудың орнына, қамтуды шынайы түрде хабарлаңыз. Қай сегменттерді қамтымағаныңызды айтыңыз. Көрсетілген шектеулері бар шағын зерттеу пайдалы; толық деп ұсынылған шағын зерттеу пайдалы емес.
Қолжетімділік сынағына көбірек қатысушылар қажет пе?
Сізге әртүрлі қатысушылар қажет. Көмекші технологияны пайдаланушылар – бұл өздерінің 3-тен 4-ке дейінгі деңгейдегі жеке мінез-құлық сегменті, бұл бар үлгіге қосымша емес.
Жасанды интеллект арқылы жасалған синтетикалық қатысушылар осы үлгінің бір бөлігін алмастыра ала ма?
Олар сізге тапсырмалар мен скринингтерді қайталауға көмектесе алады. Олар мәселенің пайда болу жылдамдығын шығара алмайды, себебі p - нақты популяциядағы нақты мінез-құлықтың қасиеті. Синтетикалық сеанстарды бөлгішке қоспаңыз.
Дәл осындай есептеулер B2B немесе мемлекеттік сектор өнімдеріне де қолданыла ма?
Математика есептейді. Жалдау есептемейді. B2B және мемлекеттік сектордың тар сегменттері көбінесе алты немесе сегіз қолжетімді қатысушымен шектеледі, бұл жағдайда шектеу сан таңдалған деп болжаудың орнына зерттеудің шектеуі ретінде көрсетіледі.
Келесі зерттеуіңізде осыны іске қосыңыз
Қысқаша сипаттайтын зерттеуіңізді жүргізіңіз, қолданып жатқан төрт әдістің қайсысын және болжап отырған p мәнін жазып алыңыз және екеуін де зерттеу жоспарына енгізіңіз. Егер екеуі де жазылмаса, онда бұл қорытынды. Егер сіз өлшемдерді, іріктеуді және сегменттерді жобалауды өзіңіз үшін жасағыңыз келсе, келесі зерттеу кезеңіңіз туралы Свитаспен сөйлесіңіз.
Дереккөздер
- Nielsen, J. және Landauer, TK (1993). Қолдануға ыңғайлылық мәселелерін табудың математикалық моделі. INTERCHI '93, 206-213.
- Фолкнер, Л. (2003). Бес пайдаланушы туралы болжамнан тыс: пайдалану ыңғайлылығын тексерудегі үлгі өлшемдерінің ұлғаюының артықшылықтары. Мінез-құлықты зерттеу әдістері, құралдары және компьютерлер, 35(3), 379-383.
- Спул, Дж. және Шредер, В. (2001). Веб-сайттарды тестілеу: бес пайдаланушы жеткілікті емес. CHI '01 кеңейтілген тезистері.
- Сауро, Дж. Қолдануға жарамдылықты тексерудегі сиқырлы 5 санының қысқаша тарихы. MeasurementU.
- Сауро, Дж. Қолдануға ыңғайлылықты зерттеуге арналған үлгі өлшемдері: бір өлшем бәріне сәйкес келмейді. ӨлшеуU.
- Nielsen, J. Неліктен тек 5 пайдаланушымен тестілеу керек. Nielsen Norman Group.
- Nielsen, J. Қолдануға ыңғайлылықты зерттеуде қанша тест пайдаланушысы бар? Nielsen Norman Group.
- Өнімдер мен қызметтерге арналған қолжетімділік талаптары туралы 2019/882 (ЕО) директивасы (Еуропалық қолжетімділік туралы заң), EUR-Lex қысқаша мазмұны.
