Көптеген топтар бюджет немесе әдет бойынша пайдалануды тексеру әдісін таңдайды, содан кейін сессиялар оларды тудырған сұраққа жауап бере алмайтынын анықтайды. Әдіс талғам мәселесі емес; ол сіз жабуға тырысып жатқан шешіммен белгіленеді. Бұл нұсқаулық сізге модерацияланған, модерацияланбаған және асинхронды тестілеу арасында таңдау жасаудың бірінші жолын ұсынады: әрқайсысы қолдайтын үлгі мөлшері, әрқайсысының құны мен деректер сапасының шындығы және Түркия мен ЕО-да таңдауды шектейтін деректерді беру ережелері. Бұл жылына бірнеше зерттеу жүргізетін және біреуін босқа өткізуге мүмкіндігі жоқ өнім, UX және CRO топтарына арналған. Алдымен калибрлеу саны: Лора Фолкнердің 2003 жылғы зерттеуінде бес пайдаланушының кездейсоқ үлгілері белгілі мәселелердің орташа есеппен 85.5%-ын тапты, бірақ бес пайдаланушының ең нашар таңдауы 55%-ды құрады.
Салыстыру үшін жеткілікті дәл анықталған үш әдіс
Модерацияланған. Зерттеуші мен қатысушы сессияға бірге, жеке немесе қоңырау арқылы қатысады. Зерттеуші тапсырмалар қояды, бақылайды және зерттейді. Қорытынды: бақыланған мінез-құлық және түсініктеме.
Модерацияланбаған, жазылып алынған. Қатысушы сценарий бойынша тапсырмалар жиынтығын жеке өзі орындайды, ал платформа экранды, шертулерді және әдетте аудионы жазып алады. Зерттеуші жазбаларды кейінірек талдайды. Қорытынды: түсіндірмесіз мінез-құлық.
Асинхронды өзіндік есеп беру. Қатысушы жалғыз жұмыс істейді және не дұрыс емес екенін жазады — күнделік зерттеуі, кері байланыс нысаны, аннотацияланған тапсырма. Ешқандай жазба талданбайды. Шығарылым: қатысушының өз есебі.
Осы үшеуін «модерацияланған және модерацияланбаған» деп бөлу - кеңінен қайталанатын бір санның дұрыс қолданылмауының себебі. Пайдаланушылар білікті зерттеуші байқаған мәселелердің шамамен жартысын хабарлайды деген қорытынды... өзіндік есеп беру зерттеулері, мұнда қатысушылар мәселелерді өздері құжаттады. Бұл зерттеуші талдаған модерацияланбаған сессиялардың жазылуы емес, асинхронды өзін-өзі есепке алу туралы факт. Біреу модерацияланбаған мәселелердің жартысын табады десе, олар екеуінің қайсысын айтып тұрғанын сұраңыз.
Әдістен емес, шешімнен бастаңыз
Зерттеу аяқталғаннан кейін айтқыңыз келетін сөйлемді жазып, содан кейін жолды табыңыз.
| Жабу туралы шешім | Оны жабатын дәлелдер | әдіс |
|---|---|---|
| Неліктен адамдар бұл қадамнан бас тартады? | Мінез-құлық және оның артындағы себеп | Модерацияланған |
| Бұл ұғым жалпы түсінікті ме? | Пайдаланушының өз сөзімен түсіндірілген түсінік | Модерацияланған |
| Бұл экран оқу құралымен жұмыс істей ме? | Күніне бір рет қолданатын адамдардың қолдануы байқалды | Модерацияланған |
| Адамдар X тапсырмасын көмексіз орындай ала ма? | Сенiмдiлiк аралығы бар аяқтау жылдамдығы | Модерацияланбаған, жазылған |
| Қай орналасу қателіктерді аз шығарады? | Оларды ажырата алатын үлгі өлшеміндегі салыстырмалы метрика | Модерацияланбаған, жазылған |
| Нақты пайдаланудың бір аптасы қандай болады? | Күндер бойы қайталанатын жазбалар | Асинхронды күнделік |
| Қай өзгеріс бізге көбірек ақша әкеледі? | Нақты көлік қозғалысы бойынша тікелей эксперимент | Үшеуінің ешқайсысы емес — A/B сынағын өткізбеңіз |
Соңғы жол көрінгеннен гөрі маңыздырақ. Пайдалануға жарамдылықты тексеру интерфейсті пайдалануға болатынын және оның қай жерде істен шығатынын көрсетеді, өзгерістің кіріс әсерін емес. Бизнес-метрикалық сұрақты шешу үшін сұралған бес адам қатысқан зерттеу дұрыс емес құрал болып табылады және оның жауабы воронкамен байланыста болмайды.
Төрт сұрақтан тұратын экран
Егер кестеде сіздің сұрағыңыз болмаса, оларды ретімен орындаңыз. Бірінші «иә» шешеді.
- Бұл болып жатқанда «неге» деп сұрау керек пе? Модерацияланған. Зондты жазбаға қайта орнату мүмкін емес.
- Қатысушыға тіркелгі деректері, сынақ ортасы, көмекші технология немесе сіз ұсынатын құрылғы қажет пе? Модерацияланған. Модерацияланбаған платформалар қоғамдық прототипті жақсы өңдейді, ал жабық ортаны нашар өңдейді.
- Сізге сенімділік аралығы бекітілген сан қажет пе? Модерацияланбаған. Сегіз модерацияланған сеанс 50%-дан 90%-ға дейін бөле алмайтындай үлкен интервалмен аяқтау жылдамдығын қамтамасыз етеді.
- Мінез-құлық бір отырыстан артық уақытты ала ма? Асинхронды. Бір апта ішінде тіркелу немесе бас тартылып, қайта жаңартылған брондау 60 минуттық сессияға сәйкес келмейді.
Үлгі көлемі: әрбір әдіс нені қолдай алады
«Бес пайдаланушы жеткілікті» ережесі мынадан шыққан Якоб Нильсеннің 2000 жылғы мақаласы және мәселені анықтау үшін орташа есеппен бір ағында ғана сақталады. Фолкнер уақыт кестесі қосымшасында 60 қатысушыны іске қосты, 45 есепті каталогтады, содан кейін әр өлшемде 100 кездейсоқ топты қайта іріктеді. Бөлінуді бәрі ұмытып кетеді.
| пайдаланушылар | Табылған мәселелердің орташа пайызы | 100 ұтыс ойынындағы ең нашар үлгі |
|---|---|---|
| 5 | 85.5% | 55% |
| 10 | 94.7% | 82% |
| 20 | 98.4% | 95% |
| 30 | 99.0% | 97% |
| 50 | 100% | 98% |
Оны мақсат ретінде емес, тәуекел туралы мәлімдеме ретінде оқыңыз. Бес сеанс әдетте не дұрыс емес екенін анықтайды, және шамамен жиырма сеанстың біреуі сізді бұзылған ағынның жақсы екеніне сендіреді — прототип үшін қолайлы, ал жібергелі жатқан төлем үшін жаман. Біздің жұмыс бөлінісі: бір ағынды анықтау үшін 5-тен 8-ге дейін модерацияланған сеанстар, сегмент немесе құрылғы бойынша тармақталған кезде 10-нан 12-ге дейін, жеткізілетін нәтиже мәселелер тізімі емес, жылдамдық болған кезде модерацияланбаған 30 немесе одан да көп сеанстар.
Құны және күнтізбесі: ақшаның іс жүзінде қайда кететіні
Орташаланған шығындар көбінесе зерттеушінің күнтізбесінен тұрады — кесте құру, келмеу, сессия, содан кейін талдау. Орташаланбаған шығындар көбінесе шамадан тыс тарту болып табылады, себебі сіз бас тартқан қатысушылар үшін ақы төлейсіз және бұл бас тарту деңгейі көптеген бюджеттер болжағаннан жоғары.
Ішінде 2023 жылғы PLOS ONE бес зерттеу платформасын салыстыру (N = 2,729), жалпы сапа стандартына сай келетін респонденттердің үлесі Prolific-те 75.4%, CloudResearch-те 75.1%, SONA-да 62.7%, Qualtrics-те 59.1% және MTurk-те 54.2% құрады, жоғары сапалы респондентке шаққандағы шығын $1.90-нан $8.17-ге дейін болды. A Сапа және сан бойынша 2026 жылғы зерттеу қатаңырақ: келісім берген 4,453 қатысушының 15.97%-ы скринингтен кейін сақталды, назар аударуды тексеру 27.13%-ды дисквалификациялады, ал боттарды анықтауға қатысты нақты сұрақтар тек 3.48%-ды ғана қамтыды.
Сонымен, модерацияланбаған зерттеулердің көлемін талдау қажет санды күтілетін есте сақтау деңгейіне бөліп, әр сценарийге кем дегенде бір ашық сұрақ пен бір назар аударуды тексеріңіз, себебі арзан бот экрандары жұмыс істемейді. Модерацияланған сессия өзін-өзі экрандайды: қоңырауға қосылып, сізбен 45 минут сөйлескен адам, басқаша айтқанда, адам болып табылады.
[ҚАЖЕТТІ ІШКІ ДЕРЕКТЕР: Switas жұмысқа қабылдау туралы қысқаша ақпараттан бастап бірінші сессия аяқталғанға дейінгі орташа күндер және жоғарыдағы жалпы платформа көрсеткіштерін ауыстыру үшін түрік тіліндегі модерацияланбаған зерттеулер бойынша біздің байқаған скринингтік тексерулер көрсеткіші.]
Сіздің таңдауыңызды жоққа шығара алатын Түркия мен ЕО қабаты
Модерацияланбаған платформа қатысушының экранын, көбінесе дауысы мен бет-әлпетін жазып алады және оны әдетте Түркиядан тыс және көбінесе ЕЭА-дан тыс жеткізуші инфрақұрылымында сақтайды. Бұл жеке деректерді шетелге беру болып табылады және 2024 жылдың 1 маусымынан бастап Түркия заңы оларды белгіленген механизмдер жиынтығы арқылы жібереді.
7499 Заң (32487 ресми газеті, 2024 жылғы 12 наурыз) 6698 Заңның 9-бабын қайта жазды. Шетелге аударымдар енді жеткіліктілік туралы шешімді немесе тізімделген қорғанысты қажет етеді: алдын ала бекітілген міндетті корпоративтік ережелер, Орган жариялаған және оған хабарланған стандартты келісімшарт немесе ол бекіткен тапсырыс бойынша жасалған міндеттеме. Ерекше негіздер, соның ішінде нақты келісім, кездейсоқ, қайталанбайтын аударымдар үшін жасалады - бұл тұрақты зерттеу бағдарламасы емес. Биліктің жеке парақшасы жазбаларға сәйкес, ешбір ел әлі жеткілікті деп жарияланбаған, сондықтан іс жүзінде шетелдік тестілеу платформасы біреудің қол қоюы және хабарлауы тиіс стандартты келісімшарт бойынша жұмыс істейді.
Біз қолданатын ереже: егер зерттеу қатысушының жеке шотын, нақты тұтынушы деректерін немесе арнайы санаттағы ақпаратты – денсаулық сақтау және мемлекеттік сектордағы жұмыстағы күнделікті деректерді – қамтыса, сіз басқаратын инфрақұрылым бойынша модерацияланған сессиялар модерацияланбаған кезде арзанырақ болған кезде де қысқа сәйкестік жолы болып табылады. Қоғамдық прототип және синтетикалық тапсырма үшін платформа жолы жақсы. Түркиядан тыс оқырмандар GDPR V тарауындағы құрылымды таниды, бірақ бір ерекшелігі бар: жеткіліктілік туралы шешім күшіне енбейді, сондықтан сүйенуге болатын ЕО-АҚШ стиліндегі құрылым жоқ.
Бірдеңені брондамас бұрын
- Шешім жазылған, және сіз оны өзгертетін тұжырымды атай аласыз.
- Әдіс соңғы рет іске қосқаннан емес, кестеден немесе жоғарыдағы экраннан алынған.
- Іріктеме көлемі нәтижеге негізделген: мәселелер тізімі немесе тариф.
- Тек модерацияланбаған: мақсат n күтілетін сақтау көлеміне бөлінеді; сценарийде ашық сұрақ және назар аударуды тексеру бар.
- Тек модерацияланған: қатысушыға түсіндірме қажет емес етіп жазылған тапсырмалар; дайындалған, бірақ жетекші емес сұрақтар.
- Жазба, сақтау орны, сақтау мерзімі және ауыстыру механизмі жұмысқа қабылдау алдында келісілді.
- Талдау күнтізбесі біреудің қолында; талданбаған жазбалар модерацияланбаған зерттеулердің ештеңе бермейтінін көрсетеді.
Бұл қай жерде бұзылады
Фолкнер кестесі 45 каталогталған есебі бар бір уақыт кестесі қолданбасынан алынған. Ашу қисықтары орташа қатысушының орташа есепке жету ықтималдығына байланысты және бұл ықтималдық көптеген тармақталған ағындары бар көбейтіндіде төмендейді. Кестені қарапайым ағын үшін еден ретінде қарастырыңыз.
Бұл нұсқаулықта жалдау механикасы, модерациялау техникасы, нәтижелерді гипотезаларға айналдыру немесе қолжетімділік сәйкестігін тексеру қарастырылмаған, бұл пайдалану ыңғайлылығын зерттеу емес, критерийлерге сәйкес аудит болып табылады.
Жасанды интеллект модерацияланған сұхбаттар қазір модерацияланған және модерацияланбаған сұхбаттардың арасында орналасқан, екеуін де біріктіретін сұхбат ретінде жарнамаланады. Біз мұнда келтірілген зерттеулердің стандартына сәйкес әдістерді салыстырудың жарияланған дәлелдерін көрген жоқпыз. Ол пайда болғанға дейін, жасанды интеллект модерацияланған сессияны жақсы сценарийі бар модерацияланбаған тестілеу ретінде қарастырыңыз және оның білікті зерттеуге тәуелді шешім қабылдауына жол бермеңіз.
FAQ
Бес қатысушы шынымен жеткілікті ме? Орташа есеппен бесеуі бір ағындағы мәселелердің шамамен 85%-ын табады, бірақ Фолкнердің 100 бес адамнан тұратын сынамасының ішіндегі ең нашарсы 55%-ын тапты. Прототип үшін қолайлы, жіберетін кез келген нәрсе үшін жұқа.
Модерацияланған зерттеуді қашықтан жүргізе аламын ба? Иә, және көптеген өнім жұмыстары үшін сіз мұны істеуіңіз керек. Модерация бөлме туралы емес, зерттеушінің қатысуы туралы. Сіз қоршаған орта контекстін жоғалтып, қамту мүмкіндігіне ие боласыз.
Аяқтау деңгейі үшін қанша қатысушы қажет? Модерацияланған зерттеудің мүмкіндігінен де көп нәрсе бар. Алдымен анықтауыңыз керек айырмашылықты анықтаңыз — 70%-ды 85%-дан бөлу үшін 30%-ды 80%-дан бөлу үшін мүлдем басқа үлгі қажет — содан кейін оны өлшеп, жаңадан келгендердің төрттен бір бөлігін алып тастауды күтіңіз.
Модерацияланбаған тестілеу модерацияланған тестілеуге қарағанда аз проблемаларды анықтай ма? Зерттеуші талдаған модерацияланбаған жазылған сеанстар мінез-құлық проблемаларының ұқсас жиынтығын тапты, бірақ ешқандай түсініктемелер жоқ. «Мәселелердің жартысы» саны ешкім сеансты көрмейтін өзін-өзі есеп беру форматтарына қатысты.
Сеансты жазу үшін бізге нақты келісім қажет пе? Қай әдісті таңдасаңыз да, сізге заңды негіз және анық ескерту қажет, ал Түркияда шетелге көшу мәселесі тіркеу сұрағынан бөлек.
Модерацияланбаған тапсырмалар жиынтығы қанша уақытқа созылуы керек? Әдетте 15-20 минут. Ұзақ сценарийлер қатысушылардың қатысуын азайтады және сіз іріктегіңіз келетін қатысушыларды марапаттайды.
Бізбен жұмыс істеңіз
Егер шешім дәлелдемелерге сүйеніп қабылданса және сіз осы үшеуінің қайсысы мәселені шешетініне сенімді болмасаңыз, біз сізбен бірге зерттеуді қамти аламыз — әдіс, үлгі көлемі, іріктеу және деректерді беру құжаттары. Қараңыз. Switas пайдаланушыларды зерттеу қызметтері.
Дереккөздер
- Фолкнер, Л. (2003). Бес пайдаланушы туралы болжамнан тысМінез-құлықты зерттеу әдістері, 35(3), 379–383.
- Нильсен, Дж. (2000 жылғы 19 наурыз). Неліктен тек 5 пайдаланушымен тестілеу керекNielsen Norman тобы.
- ӨлшеуU. Пайдаланушылар пайдалану мәселелері туралы өздері хабарлай ала ма? — қорытындылай келе Castillo (1998), Bruun et al. (2007), Andreasen және т.б. (2009).
- Дуглас, Эвелл және Брауэр (2023 жылғы 14 наурыз). Интернеттегі адам субъектілерін зерттеудегі деректер сапасы. PLOS ONE.
- Боттармен және жаман деректермен күресу (2026 жылғы 11 сәуір). Сапа және сан, 60(4).
- Kişisel Verileri Koruma Kurumu, Киіз үй дышына актарым — 7499 Заңымен өзгертілген 6698 Заңының 9-бабы (OG 32487, 2024 жылғы 12 наурыз; 2024 жылғы 1 маусымда күшіне енеді).
