Optimal Workshop-тың миллиондаған ағаш тәрізді тест тапсырмаларынан, жазбаларынан алынған жеке деректер жиынтығы Дұрыс бірінші рет басқаннан кейін тапсырманың 70% сәттілігі және қате басқаннан кейін 24%Адам таңдаған алғашқы белгі нәтиженің көп бөлігін қамтиды. Бұл сан сізге қай зерттеуді жүргізу керектігін айтпайды. Командалар мәзірі бар және тек сөз тіркесіне күмәнданған кезде картамен сұрыптайды, сөздігі ешқашан тексерілмеген құрылымды ағаш сынағынан өткізеді, содан кейін мәселені ешқашан шешпейтін нәтижелер туралы дауласады. Бұл нұсқаулық навигация мәселесі және бекітілген зерттеу бюджеті бар UX жетекшілеріне, өнім менеджерлеріне және CRO командаларына арналған. Соңында сіз навигация шешімін үш әдістің біріне сәйкестендіріп, зерттеудің көлемін анықтап, деректерді жинамас бұрын өту шегін белгілеп, нәтиже нені дәлелдей алмайтынын айта аласыз.
Үш әдіс үш түрлі сұраққа жауап береді
Карталарды сұрыптау генеративтік болып табылады. Сіз адамдарға мазмұн элементтеріңізді бересіз және оларға топтарды топтастыруға және атауға мүмкіндік бересіз. Бұл сізге аудиторияңыздың доменді қалай бөлетінін және қандай сөздерді қолданатынын көрсетеді. Ол сізге белгілі бір мәзірдің жұмыс істейтінін немесе істемейтінін айта алмайды, себебі зерттеуде мәзір жоқ.
Ағашты тестілеу бағалау болып табылады. Сіз ұсынылған иерархияны тек мәтіндік белгілерге ауыстырасыз, адамдарға тапсырма бересіз және олардың қайда баратынын бақылайсыз. Ол сізге құрылымның табыла алатынын және қай тармақ адамдарды жұтып қоятынын айтады. NN/g атап өткендей, тек мәтіндік параметр орналастыруды, түсті және кескіндерді әдейі алып тастайды, сондықтан ол белгі мен құрылым сапасын оқшаулайды.
Бірінші рет басу арқылы тестілеу тарырақ. Бір экран, бір тапсырма, бір жазылған басу. Ол сізге кіру нүктесінің бір қарағанда дұрыс оқылатынын көрсетеді және екі деңгей төменде не болатыны туралы ештеңе айтпайды.
Қате нұсқаны іске қосу жиі кездесетін сәтсіздік. «Қайтару саясатын ешкім таба алмайды» деген сұрақ картаны сұрыптау емес. «Біз «Шешімдердің» сатып алушылар үшін қандай да бір мағынасы бар-жоғын білмейміз» деген сұрақ ағашты тексеру сұрағы емес — ағашты тексеру тек сіздің болжамыңызды өлшейді.
Критерийлер кестесі: лицензиясы бар құралға емес, шешімге сүйене отырып таңдаңыз
| критерий | Картаны сұрыптау | Ағашты сынау | Бірінші рет басу арқылы тестілеу |
|---|---|---|---|
| Сұраққа жауап береді | Адамдар бұл мазмұнды қалай топтастырып, атайды? | Адамдар осы құрылымнан заттар таба ала ма? | Кіру нүктесі бір қарағанда дұрыс оқыла ма? |
| түрі | Генеративті | Бағалаушы, сандық | Бағалаушы, сандық |
| Бар құрылым қажет | Жоқ | Иә, кем дегенде жоба нұсқасы | Иә, экран немесе сым қаңқасы |
| Әдеттегі қатысушылар | Ең аз дегенде 15, жоғары ставкалар үшін 30 | Сандық оқу үшін әр ағаш үшін 50+ | Әр экран нұсқасы үшін 50+ |
| Негізгі көрсеткіштер | Келісім және бірге пайда болу, белгілеу жиілігі | Табыс деңгейі, тікелей әрекет, бірінші рет басу, уақыт | Бірінші рет басу дәлдігі, басылған жылудың таралуы |
| Сіз әрекет ете алатын шығыс | Кандидат санаттары және пайдаланушы сөздігі | Сынған бұтақтар мен белгілердің рейтингтік тізімі | Бір жапсырма немесе орналасу таңдауы бойынша шешім |
| Қай жерде адастырады | Жеке адамдар әртүрлі топтасады; шешім қабылдау үшін пайымдау қажет | Көрнекі иіс жоқ, сондықтан ол нашар орналасуды жақсы көрсетеді | Қалпына келтіруді елемейді; қате бірінші рет басу әрқашан жоғалған тапсырма емес |
Шешім қабылдау ережелері
- Ешқандай құрылым жоқ немесе ешкім сенбейтін құрылым. Алдымен картаны сұрыптау — егер сөздік қоры қажет болса, ашық, егер жоғарғы деңгей бекітілген болса және тек орналасуы ғана сұрақ туындаса, жабық.
- Екі кандидат құрылымы және аяқталмайтын кездесу. Ағаштың екеуін де тексеріңіз. Бұл құрылымдық аргументтің санмен шешілетін үшеуінің жалғызы.
- Трафик келіп жатыр, бірақ келесі шерту дұрыс емес. Экранды бірінші рет басу арқылы тексеріңіз. Бір белгіні түзету үшін архитектураны қайта құрмаңыз.
- Аналитика адамдардың қай жерде төмендейтінін көрсетеді. Анықтауды өткізіп жіберіңіз. Ағып жатқан бұтақты ағаштан тексеріңіз, содан кейін алдымен ауыстыру белгісін тексеріңіз.
- Жаңа нарық немесе тіл. Сол нарық қатысушыларымен сол тілдегі карталарды сұрыптау. Аударылған мәзір тексерілмеген мәзір болып табылады.
Шолуда қорғай алатын үлгі өлшемдері мен шектері
Карталарды сұрыптау үшін Туллис пен Вуд 168 пайдаланушыны тексеріп, кездейсоқ ішкі жиындарды талдады. Толық үлгі нәтижесімен корреляция 5 пайдаланушыда 0.75, 15 пайдаланушыда 0.90, 20 пайдаланушыда 0.93, 30 пайдаланушыда 0.95 және 60 пайдаланушыда 0.98 болды. Нильсен былай деп жазады: 15 - тоқтату ыңғайлы жер, 30 - жақсы қаржыландырылған жобалар үшін. Пайдалануға жарамдылықты тексеруден алынған бес пайдаланушы ережесі өзгермейді - генеративті әдіс үлгіні тұрақтандыру үшін жеткілікті адамдарды қажет етеді.
Ағаштарды сынау үшін NN/g ағаштарды мағыналы салыстыру үшін әр ағашқа 50 немесе одан да көп қатысушыны ұсынады және 98 зерттеу бойынша Альберт пен Туллистің топтарынан өту шегін белгілейді: 40%-дан төмен нашар, 41–60% орташа, 61–80% жақсы, 80–90% өте жақсы, 90%-дан жоғары өте жақсы. Деректерді көрмес бұрын шекті деңгеймен келісіңіз. Маңызды тапсырмалар — кассадан өту, ақшаны қайтару, кездесуге жазылу — 90%-дан өтуі керек; жарнамалық шолу тапсырмасы 70%-ға дейін жұмыс істей алады.
Табыстың орнына емес, тікелейлікті қатар оқыңыз. Төмен тікелейлікпен жоғары табыс адамдардың адасу арқылы келуін білдіреді: құрылым сақталғанымен, белгі дұрыс емес. Бұл үлгі - ағаш сынағы шығаратын ең пайдалы сигнал.
Жұмыс үлгісі
"Денсаулық" тақырыбындағы жоғары деңгейлі тауары және оның астында қосымша мақаласы жасырылған онлайн дәріхана. Сандар клиент деректері емес, иллюстрациялық деректер.
- Ағаш сынағы, 60 қатысушы, 8 тапсырма. «Рецептіңіз қамтылғанын біліңіз». Табыс 58%, тікелей әсер 22% — жолақтарда орташа, ал тікелей әсер саңылауы жапсырманы көрсетеді.
- Бірінші рет басу кестесін оқыңыз. 41% «Денсаулық» бөліміне, 33% «Қолдау» бөліміне, 18% «Есептік жазба» бөліміне: үш ықтимал үй санат шекарасы пайдаланушылардың ойында емес екенін білдіреді.
- Жабық картамен сұрыптау, 20 қатысушы, мақала тақырыптарын және қолданыстағы жоғарғы деңгейді пайдаланып. Егер қамту элементтері үш топқа шашыраңқы болса, жоғарғы деңгей қате, сөз тіркесі емес.
- Қайта жазып, қайта сынақтан өткізіңіз. Жаңа ағаш, бұрынғы 8 тапсырма, 60 жаңа қатысушы. Мақсатқа жету 80%-дан жоғары және тікелейлік 60%-дан жоғары.
- Жаңа жапсырманы бірінші рет басу арқылы сынап көріңіз жеткізу алдында нақты бетте. Ағаш сынағында көрнекі иіс болған жоқ; нақты бетте бар.
[ІШКІ ДЕРЕКТЕР ҚАЖЕТ: бұл иллюстрациялық тізбекті табыс пен тікелейлік көрсеткіштерін және тапсырмалар санын қоса алғанда, бұрын/кейін анықталмаған Switas ағаш сынағымен ауыстырыңыз.]
Түрік тіліндегі жапсырмалар және неге аймақтық жағдай косметикалық емес
Түрік тілінде және бірнеше көршілес тілдерде жапсырмаларды тестілеуді қиындататын екі нәрсе бар, және екеуі де тек сол аймақтан емес, сол аймаққа сауда жасайтын кез келген адам үшін маңызды.
Біріншіден, түрік тілі агглютинативті: мағынасы жұрнақтар ретінде түбірге жиналады, сондықтан ағылшын тілінде екі қысқа сөзден тұратын санат түрік тілінде көбінесе бір ұзын сөз болады. Ағылшын тіліне сәйкес келетін мәзірлер толып кетеді және топтар оны қысқарту арқылы түзетеді — бұл ағаш сынағы өлшейтін айнымалы. Сынақ белгілерін олар іс жүзінде көрсететін ұзындықта тексеріңіз.
Екіншіден, түрік тілінде төрт I таңбасы бар: нүктелі İ (U+0130) және i (U+0069), нүктесіз I (U+0049) және ı (U+0131). Түрік ережелері бойынша, кіші әріптермен i карталарға İемес, I, сондықтан ағылшын тілінде жазылған әріптердің регистріне сезімтал емес сәйкестендіру сәтсіз аяқталады — "iptal" іздеуі сақталған "IPTAL"-ға сәйкес келмейді. Егер сайт іздеуі, сүзгі чиптері немесе нан үгіндісі жергілікті тілге жатпайтын бас әріп шақыруынан өтсе, пайдаланушылар бар термин үшін бос нәтиже жинағын алады. Белгіні кінәламас бұрын, оны алып тастаңыз.
Сәйкестік артықшылығы да бар. WCAG 2.2 Табыс критерийі 2.4.6, Тақырыптар мен белгілер, AA деңгейі болып табылады және тақырыптар мен белгілердің тақырыпты немесе мақсатты сипаттауын талап етеді. 40% табыстылықпен тексерілген белгі тек конверсия мәселесі ғана емес; бұл сәйкестік туралы талапқа қарсы дәлел болып табылады.
Бұл сандар нені дәлелдемейді
Мұнда ең көп келтірілген көрсеткіш - дұрыс бірінші рет шертуден кейінгі тапсырманың 87% сәттілігі, ал қате шертуден кейінгі 46%. Мұны мұқият қарастырыңыз: Optimal Workshop-тың өзіндік әлдеқайда үлкен деректер жиынтығы бірдей салыстыру үшін 70% және 24% береді. Бір бағытта, айтарлықтай әртүрлі шамалар - және екеуі де құрал ішінде өлшенген корреляциялар, шерту сынағы тікелей сайттың әрекетін болжайтынының дәлелі емес.
Осыған байланысты Сауро, Скиавоне, Ду және Льюис 2023 жылы 130 қатысушыны статикалық кескіндердегі алғашқы шертулерді тікелей сайттармен салыстырды: мінез-құлық ұқсас болды, ыстық нүкте аймақтары бойынша орташа абсолютті айырмашылық шамамен 6% болды. Олар сондай-ақ тапсырманың кейінгі ағынының сәттілігін өлшемейтіндіктерін және бейімделетін орналасулар мен апаратын мәзірлер нақты сәйкессіздіктерді тудыратынын мәлімдеді. Шынайы мәлімдеме бойынша, шерту тесттері адамдардың аяқтайтынын болжайтынын емес, адамдар басқан жерде қайталанады.
Ағашты тестілеуде параллель ескерту бар. Курич, Демчак және Крайкович 180 қатысушы мен 1,800 тапсырма бойынша ағашты тестілеудің үш нұсқасын бірдей архитектураның жоғары дәлдіктегі прототиптерімен салыстырды, және нұсқалар бір-бірімен сәйкес келмеді; ағаштан көрінетін нұсқа прототиптің әрекетін ең жақын бақылады, ал кері бағыттау көрсеткіштері айтарлықтай ерекшеленді. Егер сіздің құралыңыз ағашты эталоннан алынғаннан басқаша көрсетсе, эталон берілмейді.
Бұл қай жерде бұзылады
- Іздеуде басым сайттар. Егер сеанстардың көпшілігі іздеу өрісінде басталса, сіз аз адам пайдаланатын жолды оңтайландырып жатырсыз. Алдымен іздеу оқиғасымен сеанстардың үлесін тексеріңіз.
- Жекелендірілген навигация. Ағаш тестілеуі бір бекітілген иерархияны болжайды. Егер мәзір сегмент бойынша өзгеше болса, сіз көркем шығарманы тексеріп жатырсыз.
- Өте аз популяциялар. B2B және клиникалық аудиториялар көбінесе 50 білікті қатысушыны қамтамасыз ете алмайды. Есеп пайыздық мөлшерге емес, есепке алынады және солай деп айту керек.
- Үш тесттің ешқайсысын түсінбедім. Олар табылған нәрсені бағалайды, ал табылған кездегі түсінікті емес. Бұл үшін пайдалануды тексеру қажет.
- Оның ешқайсысы кірісті өлшемейді. Навигациялық түзету - бұл дәлелденген көтеру емес, эксперимент үшін гипотеза. Оны сынақтан кейін жіберіңіз.
Жиі Қойылатын Сұрақтар
Бір қатысушыларға картаны сұрыптау және ағаш сынағын өткізе аламын ба?
Бір сессияда емес. Сұрыптау адамдарға сіздің моделіңізді үйретеді, сондықтан олар жаңа келуші таппайтын нәрселерді табады. Бөлек топтарды тартыңыз немесе арасында бірнеше апта қалдырыңыз.
Картаны сұрыптау үшін қанша қатысушы қажет?
Он бес саны Таллис пен Вуд деректеріндегі толық үлгі нәтижесімен 0.90 корреляциясын, ал 30 саны 0.95 корреляциясын береді. 15-тен төмен үлгі тұрақсыз. 30-дан асып кету құнына өте аз корреляция береді.
Ағаш сынағы үшін шынымен 50 қатысушы қажет пе?
Екі ағашты сандық салыстыру үшін, иә, бұл NN/g ұсынысы. Тек айқын сынған бұтақтарды тапқыңыз келетін бір ағаш үшін 20-дан 30-ға дейін ең нашар қылмыскерлер анықталады, бірақ есеп пайыздық көрсеткіштерден гөрі есептеледі.
Емтиханнан өтудің сәттілік көрсеткіші қандай болып саналады?
Жүгіру алдында шешім қабылдаңыз. Әдепкі бойынша Альберт пен Туллис жолақтарын пайдаланыңыз: 80%-дан жоғары - өте жақсы, 61–80%-дан төмен - нашар, ал 40%-дан төмен - нашар. Ақшаға, дәрі-дәрмекке немесе заңды құқыққа байланысты тапсырмалар үшін межені 90%-ға дейін көтеріңіз.
Табыс жоғары, бірақ тікелейлік төмен. Нені түзетуім керек?
Құрылым емес, белгі. Адамдар зерттегеннен кейін дұрыс жерге жетіп жатыр, бұл санат олардың моделінде бар екенін, бірақ сіздің сөз тіркестеріңіз оны білдірмейтінін білдіреді. Белгіні қайта жазып, сол тапсырмаларды қайта тексеріңіз.
Жасанды интеллект құралы қатысушыларға деген қажеттілікті жоя ма?
Бұл әдістерге арналмаған. Олар белгілі бір популяцияның не сенетінін және не істейтінін өлшейді; модельдің сол популяция туралы болжамы деректер емес, гипотеза болып табылады. Тапсырмаларды жобалау және ашық белгілерді жылдам топтастыру үшін модельдерді пайдаланыңыз.
Келесі қадам
Егер сізде навигациялық дәлелді аналитика шеше алмаса, ең арзан шешім - екі кандидат құрылымында да алдын ала келісілген шектері бар ағаш сынағы. Тапсырмаларды жазыңыз, жолақтарды орнатыңыз және оны іске қосыңыз - немесе оны бізге іске қосыңыз және сізге сынған бұтақтардың рейтингтік тізімін береді.
Дереккөздер
- Якоб Нильсен, Картаны сұрыптау: қанша пайдаланушыны тексеру керек, Nielsen Norman Group, 2004
- Том Туллис және Ларри Вуд, Карталарды сұрыптауды зерттеу үшін қанша пайдаланушы жеткілікті?, UPA 2004
- Пейдж Лаубхаймер, Ағаштарды сынау 2-бөлім: Нәтижелерді түсіндіру, Nielsen Norman тобы, 2024 жылғы 19 қаңтар
- Самхита Танкала, Карталарды сұрыптау және ағаштарды тестілеу, Nielsen Norman тобы, 2024 жылғы 23 ақпан
- Nielsen Norman тобы, Ағашты сынау: Мәзір белгілері мен санаттарын бағалау
- Оңтайлы семинар, дұрыс алғашқы шертулер тапсырманың 3 есе жоғары табысына әкеледі, 2015 жылғы 13 сәуір
- Джефф Сауро, Уилл Скиавоне, Дэвид Ду және Джим Льюис, Клик тесттері тікелей сайттағы шертулерді болжай ма?, MeasuringU, 21 наурыз 2023 ж.
- Эдуард Курич, Питер Демчак және Матус Крайчович, Ақпараттық архитектураны тексеру: ағаш тестілеу нұсқаларын және пайдаланушы прототипін тестілеуді әдіснамалық тұрғыдан салыстыру, Ақпараттық және бағдарламалық технологиялар 183, 2025 жылғы шілде
- W3C, Табыс критерийін түсіну 2.4.6: Тақырыптар мен белгілер, WCAG 2.2
- Текс Тексин, Түрік тілін халықаралықтандыру: нүктелі және нүктесіз түрік I әрпі
