Кедергі ешқашан сұхбат болған емес
Жасанды интеллект және пайдаланушыларды зерттеу туралы әрбір мақала бірдей басталады: зерттеу баяу, ал жасанды интеллект оны жылдамдатады. Бұл тұжырымдама қате емес, бірақ дүйсенбі таңертең нені өзгерту керектігін шешкен кезде пайдасыз болатындай дәл емес.
Міне, дәлірек нұсқасы. Модерацияланған сұхбатты жүргізу алпыс минутты алады және әрқашан солай болады, себебі адам алпыс минут сөйлесуі керек. Бұрын төрт күн бәрін жасайтын. айналасында оны транскрипциялау, белгілеу, үш қатысушының үш түрлі сөздік қорында бірдей нәрсені айтқан сәтін табу және оны өнім менеджері спринт аяқталғанға дейін әрекет ете алатын нәрсеге айналдыру.
Уақыт осылай өтті, дәл осы жерде тілдік модельдер күшті. Олар мәтінге қарағанда үлгіні сәйкестендіреді. Зерттеу синтезі - мәтінге қарағанда үлгіні сәйкестендіру мәселесі. Сәйкестік шынайы.
Бірақ оларды синтезде жақсы ететін қасиет оларды қауіпті етеді. Үлгілерді табатын модель, олардың бар-жоғына қарамастан, үлгілерді табады және өзі ойлап тапқан үлгілерді сол үлгілермен бірдей сенімді тізілімде сипаттайды. Зерттеулерде сенімді қате тақырып тақырыптың жоқтығынан да жаман, себебі дұрыс емес тақырып құрылады.
Демек, мәселе олай емес болсын пайдаланушыларды зерттеуде жасанды интеллектті пайдалану. Барлығы қазірдің өзінде солай істейді. Сұрақ процестің қай бөліктерін тапсыратыныңызда, нәтижеге сенбес бұрын нені тексеретініңізде және нені автоматтандырудан мүлдем бас тартатыныңызда. Бұл мақала осы туралы.
Жасанды интеллект шын мәнінде өз орнын қай жерде табады
Біз жасанды интеллектті зерттеу процесін бір ғана шешім ретінде қарастырмай, кезең-кезеңімен салыстырамыз. Әр түрлі кезеңдердің тәуекел профильдері өте әртүрлі.
| кезең | Қандай AI жақсы жұмыс істейді | Не қателеседі | Біздің ережеміз |
|---|---|---|---|
| Жұмысқа қабылдау және іріктеу | Скрининг жасау, скрининг жауаптарындағы қарама-қайшы жауаптарды анықтау, кәсіби жауап берушілерді белгілеу | Белсенді қатысушылар үшін шамадан тыс сүзгілер; сізге ең қажет ашуланған пайдаланушыларды іріктейді | Тек көмекші. Соңғы комиссия құрамын адам мақұлдайды. |
| Талқылау нұсқаулығы | Зерттеу сұрағынан алғашқы жобаны жасау, қосымша зерттеулерді ұсыну, жетекші сұрақтарды тексеру | Бұрын белгілі нәрсені тексеретін жалпы нұсқаулықтарды шығарады | Жоба үдеткіші. Зерттеуші кем дегенде жартысын қайта жазады. |
| Модерация | Нақты уақытта жазбалар жасау, тікелей тегтеу, адам модераторына зондтар ұсыну | Сыпайы өтірік алдындағы тартынуды, ыңғайсыздықты немесе үзілісті оқи алмаймын | Ешқашан автономды емес. Адам модераторына арналған қолдау құралы. |
| транскрипциясы | Спикерді бөлу, уақыт белгісін қою, бірінші ретті тазалау | Түрік транскрипциясының дәлдігі домен жаргонының, бренд атауларының және кодты ауыстырудың арқасында күрт төмендейді | Автоматтандырыңыз, содан кейін дыбыспен 10% дәлдікпен тексеріңіз. |
| Кодтау және тегтеу | Қолданыстағы код кітапшасын жүздеген транскрипцияларға жылдамдықпен үнемі қолдану | Корпус ортасында жаңа кодтарды ойлап табу; әртүрлі мәселелерді бір ыңғайлы белгіге біріктіру | Адам жасаған, бекітілген код кітабымен автоматтандырыңыз. |
| синтез | Топтастыру, қатысушылар арасындағы үлгілерді анықтау, алғашқы әңгімені жазу | Жиілікті маңыздылықпен шатастырады; қарсы қатысушыны жайбарақат етеді | Тек жоба нұсқасы. Әрбір тақырып жіберілмес бұрын бастапқы дереккөзге негізделген. |
| Үздіксіз кері байланыс талдауы | Қолданба дүкеніне шолулар, қолдау билеттері, NPS сөздіктері, чат журналдары ешбір команда қолмен оқи алмайтын көлемде | Сезімді бағалау сарказм мен мәдени жанамалықты нашар бағалайды | Іріктеу тексерулері бар жоғары құнды автоматтандыру. |
| Артефакт ғимараты | Тексерілген деректерден алынған тұлғалар, саяхат карталары, мүмкіндік ағаштары | Аз немесе жоқ дәлелдерден сенімді артефактілер шығарады | Тек тексерілген зерттеулерден алынған, ешқашан модельдің әлем туралы білімінен алынған емес. |
Сол кестедегі екі жол қалғандарының қосындысынан қымбатырақ.
Масштабты кодтау. Егер сізде адам жазған код кітабы болса, оны 40 транскриптке үнемі қолдану - бұл ережелерді сақтауға негізделген жұмыс үлгілерінің сенімді түрі. Қалпына келтіруге болатын уақыттың көп бөлігі осында өтеді.
Үздіксіз кері байланыс талдауы. Көптеген компаниялар пайда болғаннан бері ешкім оқымаған мыңдаған қолданба дүкендерінің шолуларына, қолдау билеттеріне және сауалнама сөздіктеріне сүйенеді. Бұл бүкіл салада жасанды интеллектті қолданудың ең жоғары кірістілігі мен ең төменгі тәуекелі, себебі сіз жүргізіліп жатқан зерттеулердің орнын баса алмайсыз - сіз лақтырылып жатқан деректерді оқисыз. Біз мұны егжей-тегжейлі қарастырамыз... Жасанды интеллект пайдаланушы пікірлерін іс-әрекетке жарамды өнім түсініктеріне қалай айналдыра алады.
Біз ұстап тұрған төрт сәтсіздік режимі
Бұл теориялық тәуекелдер емес. Олар нақты жобаларда қателіктерге әкелетін нақты тәуекелдер, оларды қаншалықты жиі кездестіретініміздің шамамен кему ретімен.
1. Жиілікті маңыздылық ретінде жасыру
Модельден жиырма сұхбатты қорытындылауын сұраңыз, сонда ол ең жиі айтылғандарды алға тартады. Бірақ зерттеудің құндылығы әдетте модальды жауапта емес. Ол ағынды толығымен тастап кеткен бір қатысушыда, немесе бірдей шешімді өз бетінше сипаттаған екеуінде, немесе басқалар талқылаған қадамға ешқашан жете алмаған сегментте.
Кассалық зерттеуді қорытындылайтын модель жеткізу құнының ашықтығы бірнеше рет көтерілгенін айтады. Бұл сізге сатып алуды аяқтаған екі қатысушының екеуі де жүйеге кіргенін айтпайды — бұл нақты нәтиже және корпуста тек жоқ ретінде көрсетіледі.
Біздің чекіміз: біз азшылықтың ұстанымын ашық сұраймыз. «Қай қатысушы пайда болған консенсуспен келіспеді және олар не деді?» Егер модель біреуін атай алмаса, біз қысқаша мазмұнды келісімнің дәлелі ретінде емес, толық емес деп қарастырамыз.
2. Еркін ойлап табу
Модельдер қатысушының айтқанына дәл ұқсайтын, оны айтпаған қатысушыға жатқызатын дәйексөздер жасайды. Жиі емес. Жиі жеткілікті. Ал қателік тексергенде көрінбейді, себебі ойдан шығарылған дәйексөз нақты дәйексөзге қарағанда жақсырақ оқылады — нақты адамдар үзінділермен сөйлейді.
Біздің чекіміз: Клиенттік декаға жеткен әрбір дәйексөз транскрипция сілтемесін және уақыт белгісін қамтиды. Егер оны бастапқы аудиодан табу мүмкін болмаса, ол жіберілмейді. Бұл механикалық ереже, шешім емес, себебі мұнда шешім дәл сәтсіздікке ұшырайды.
3. Сикофантикалық синтез
Модельге гипотезаны, содан кейін деректеріңізді беріңіз, сонда синтез сіздің гипотезаңызды растайды. Оған қарама-қарсы гипотезамен бірдей деректерді беріңіз, сонда синтез оны растайды. Бұл консалтингтік контекстегі ең қымбат сәтсіздік режимі, себебі ол клиенттің сізді жалдау себебін жоққа шығара отырып, дәл қалаған нәтижені береді.
Біздің чекіміз: Синтездеу тапсырмалары ешқашан гипотезаны қамтымайды. Модель корпус пен зерттеу сұрағын алады, басқа ештеңені. Гипотезаны тексергіміз келгенде, оны бөлек, қарсыласушы өтінім ретінде іске қосамыз: «осы корпустан ең күшті дәлелдерді табыңыз». қарсы келесі талап."
4. Синтетикалық пайдаланушылар
Ең сенімді түрде сатылатын және ең аз қорғалатын қолданба: модельденген қатысушыларды генерациялау және адамдар орнына олармен сұхбаттасу. Ол сенімді транскрипттерді тез жасайды, ал сенімділік дәл мәселе болып табылады. Интернетте оқытылған модель сізге қандай тұлға екенін айтады. сияқты естіледі, бұл мұндай адамдар туралы қалай жазылғанының қысқаша мазмұны, сіздің формаңызды тексеру үшінші әрекетте олардың мекенжайын қабылдамаған кезде олардың қалай әрекет ететіні емес.
Синтетикалық пайдаланушылар бір мақсатта пайдалы: нақты қатысушыны жұмсамас бұрын талқылау нұсқаулығын жаттықтыру. Біз оларды сол үшін пайдаланамыз. Біз оларды дәлел ретінде пайдаланбаймыз және олардың нәтижелерін зерттеу нәтижелері ретінде есеп бермейміз. Егер жеткізуші сізге адами қатысушылары жоқ зерттеу бағдарламасын ұсынса, олар сізге бұрыннан сенетін нәрсені растаудың өте қымбат әдісін сатады.
Біздің жұмыс протоколымыз
Бұл идеалдандырылған емес, нақты тізбек.
1. Адамдар алдымен код кітабын жазады. Кез келген модель транскриптке тимес бұрын, зерттеуші үш-бес сұхбатты оқып, кодтау шеңберін қолмен жасайды. Бұл шеңбер жалпы UX таксономиясынан емес, осы зерттеудің деректерінен алынған. Төмендегі барлық нәрсе өзінің сапасын осы қадамнан мұра етеді, сондықтан біз бұл қадамды ешқашан қыспаймыз.
2. Модель жақтауды және тек жақтауды қолданады. Код кітапшасы түзетілді, жұмыс барысында жаңа санаттар жоқ. Модель кадр қамтымайтын нәрсеге тап болған кезде, оны сәйкестендіруді мәжбүрлеудің орнына жіктелмеген деп белгілейді. Жіктелмеген үйінді көбінесе бүкіл жұмыстың ең қызықты нәтижесі болып табылады.
3. 15% үлгіні екі рет кодтаңыз. Дәл сол транскрипттер адаммен және модельмен тәуелсіз кодталады, және біз келіспеушілік деңгейін өлшейміз. 10%-дан төмен болса, біз жалғастырамыз. 20%-дан жоғары болса, және код кітабы қате, модель емес — біз бірінші қадамға ораламыз. Келіспеушілік деңгейі кадрдағы диагностика болып табылады, және оны осылай өңдеу бізге оны құрал-жабдықтардағы сапа қақпасы ретінде қарастырудан гөрі көбірек үнемдеуге мүмкіндік берді.
4. Тапсырмада ешқандай гипотезасыз синтез жобасы. Модель корпус пен зерттеу сұрағын алады. Ол кластерлер мен алғашқы әңгімені жасайды.
5. Бақылау рұқсаты. Жобадағы әрбір талап уақыт белгілерімен кемінде екі қатысушымен байланыстырылады. Ізін таба алмайтын талаптар жойылады, жұмсартылмайды. Дәл бір қатысушы қолдайтын талап бірыңғай бақылау ретінде белгіленеді, бұл заңды және көбінесе хабарлауға тұрарлық нәрсе, бірақ тақырып ретінде емес.
6. Мінез-құлық деректеріне қатысты триангуляция. Айтылған мінез-құлық пен байқалған мінез-құлық үнемі алшақтайды. Біз сұхбат нәтижелерін клиентке бірдеңе жеткенге дейін сессия жазбаларымен және жылу картасының деректерімен - ашулы шертулер, өшіп қалған шертулер, төмендеу нүктелерімен - салыстырамыз. Қатысушылар сүзгі жақсы деп айтқан кезде және жазбаларда сүзгіден бас тартқандары көрсетілгенде, жазбалар жеңіске жетеді. Мінез-құлық деректері баяндаудың қаншалықты үйлесімді болғанына мән бермейтіндіктен, жасанды интеллектке негізделген сапалы жұмыстың байқалмауы да мүмкін.
7. Ұсынысты адам жазады. Зерттеу нәтижелерін көмек арқылы жинауға болады. Бұл ұйымда, осы шектеулермен және осы жол картасымен олар туралы не істеу керектігі - сұхбаттарға қатысқан адамның шешімі.
Біз автоматтандырмайтын нәрселер
Қысқа тізім, және біз оны берік ұстанамыз.
- Әлсіз немесе қиналған пайдаланушылармен сұхбаттарды модерациялау. Денсаулық сақтау, қаржылық қиындықтар, қолжетімділікті зерттеу. Модератордың жұмысы ішінара қамқорлық міндеті болып табылады және ол басқа біреуге берілмейді.
- Ұсыныс. Жетінші қадамды қараңыз.
- Қолжетімділікті бағалау. Автоматтандырылған құралдар — соның ішінде біздің WCAG аудит құралы — WCAG мәселелерінің шамамен үштен бірін анықтайды. Қалғандары көмекші технологияны пайдаланып қолмен тексеруді қажет етеді. Толық автоматтандырылған қамтуды талап ететін кез келген сатушы аудит емес, сканерлеуді сипаттайды.
- Нені зерттемеу керектігін шешу. Зерттеудің көп бөлігінің көлемін анықтау - зерттеу құндылығының көп бөлігі жасалатын немесе жойылатын жер, және бұл қорытындылау міндеті емес, стратегиялық әңгіме.
Түрік тіліндегі зерттеулер туралы ескертпе
Жасанды интеллект көмегімен жүргізілген зерттеулер бойынша жарияланған нұсқаулықтардың көпшілігі ағылшын тілінде жазылған және тексерілген, ал өнімділік айырмашылығы нақты және аз талқыланған.
Түрік транскрипциясы бренд атаулары, сектор жаргоны және Стамбул өнім және электрондық коммерция топтарында мүлдем қалыпты болып табылатын ағылшын-түрік код ауыстыруы айналасында айтарлықтай нашарлайды. Сезім жіктемесі түрік жанамалығын нашар өңдейді — елеулі шағым алдындағы сыпайылық көбінесе ағылшын тілінде оқытылған жіктеуіш үшін бейтарап немесе оң болып оқылады. Агглютинативті морфология сонымен қатар ашық сауалнама деректеріне кілт сөз жиілігі тәсілдерінің нашар есептелетінін білдіреді, себебі бір ұғым он екі флекцияланған формада пайда болады, токенизатор байланыссыз деп қарастырады.
Практикалық салдары: транскрипцияны тексеру көрсеткішін ағылшын тілі үшін пайдаланатын 10%-дан жоғары көтеріңіз, түрік корпустарында автоматтандырылған сезімге ешқашан тәуелсіз сигнал ретінде сенбеңіз және кез келген жіктегішті қолмен белгіленген түрік үлгісінде оның көлемі бойынша нәтижесіне сенбес бұрын тексеріңіз. Біз дәл осы себепті өз тексеру жинағымызбен жұмыс істейміз.
Оның жұмыс істеп тұрғанын қалай білуге болады
Жылдамдық - дұрыс емес өлшем. Әркім жылдамдайды; мәселе шығыс шындықпен байланыста бола ма, жоқ па деген сұрақта. Біз іс жүзінде бақылайтын үш өлшем:
Түсінікті өмір сүру деңгейі. Зерттеу есебінде келтірілген нәтижелердің қанша пайызы алты айдан кейін де жарамды деп саналды? Бұл өлшеуге ыңғайсыз және әрбір ыңғайсыздыққа тұрарлық.
Адам-модель арасындағы келіспеушілік деңгейі. Жоғарыдағы үшінші қадамнан бастап. Уақыт өте келе бақылап отырыңыз. Келіспеушіліктің артуы әдетте зерттеу саласының ауысқанын, ал кодтар кітабының ауыспағанын білдіреді.
Соңғы сұхбаттан бастап бірінші тексерілетін гипотезаға дейінгі уақыт. Бұл шынымен де жасанды интеллекттің қолданатын саны. Егер бұрын синтез сегіз күнге созылса, қазір екі күн қажет болса, бұл тоқсанына екі қосымша тәжірибе циклі дегенді білдіреді — бұл нақты бизнес-жоспар, және бұл жақсы жағдай. Көптеген сатушылар бұлай істемейді.
Тереңірек бару
Бұл мақала шолу болып табылады. Төрт қосымша мақала жеке кезеңдерді егжей-тегжейлі қарастырады:
- Жасанды интеллектпен деректерге негізделген пайдаланушы тұлғаларын құру — үлгілік алғышарттардан гөрі расталған дәлелдерден тұлғалық артефактілерді құру
- Деректерден шешімдерге дейін: жасанды интеллект пайдаланушы зерттеулерінің синтезін қалай жеңілдете алады — терең синтез сатысы
- Жасанды интеллект пайдаланушы пікірлерін іс-әрекетке жарамды өнім түсініктеріне қалай айналдыра алады — шолулар, билеттер және NPS сөздіктері ауқымды түрде
- Жасанды интеллектке негізделген пайдаланушыларды зерттеу арқылы өнімді табуды жеңілдету — мұның бәрін ашылу циклінде қолдану
Жиі Қойылатын Сұрақтар
Жасанды интеллект пайдаланушы сұхбаттарын толығымен алмастыра ала ма? Жоқ. Ол сұхбаттарға қатысты кейбір жұмыстарды – транскрипция, кодтау, бірінші өту синтезін – алмастыра алады және сізге жақсырақ сұхбаттарға дайындалуға көмектеседі. Ол адамдардың қалай әрекет ететіні туралы дәлелдер келтіре алмайды, себебі олардың мінез-құлқына қол жеткізе алмайды. Модельденген қатысушылар сізге мұндай адамдардың мәтінде қалай сипатталатынын айтады, бұл мүлдем басқа нәрсе және көбінесе адастырады.
Жасанды интеллект көмегімен жүргізілген зерттеулер қанша уақытты үнемдейді? Біздің тәжірибемізде үнемдеу толығымен дерлік синтез бен кодтауға шоғырланған, мұнда ол айтарлықтай. Далалық жұмыс, жалдау және мүдделі тараптардың үйлесімі өзгеріссіз қалады. Модерацияланған зерттеу үшін нақты күтілетін нәрсе - далалық жұмыстан кейінгі кезең айтарлықтай қысқарады, ал жобаның жалпы ұзақтығы әлдеқайда аз қысқарады, себебі далалық жұмыс әрқашан ұзақ полюс болды.
Синтетикалық пайдаланушылар ешқашан заңды ма? Талқылау нұсқаулықтарына арналған жаттығу құралы және сауалнама тұжырымдамасын қысыммен тексеру тәсілі ретінде, иә. Зерттеу нәтижесінің дәлелі ретінде, жоқ. Айырмашылық маңызды: бірі - дайындық құралы, екіншісі - зерттеу белгісі бар жалған деректер.
Ең үлкен тәуекел қандай? Сенімді, еркін, қате нәтиже – және атап айтқанда, команда бұрыннан сенген нәрсеге сәйкес келетін нұсқасы. Жасанды дәйексөздер бақылау ережелерімен ұсталады. Сикофантикалық синтез қиынырақ, себебі ол барлығы қанағаттанатын нәтиже береді. Жалғыз сенімді қорғаныс – гипотезаны синтездеу жолынан бөліп, айқын қарсыласушылыққа жол беру.
Түрік тілінде жасанды интеллект көмегімен жүргізілген зерттеулер де солай жұмыс істей ме? Қалыпты емес. Транскрипция дәлдігі, сезімдерді жіктеу және кілт сөздердің жиілік әдістерінің барлығы түрік тілінде ағылшын тіліне қарағанда нашарлайды. Ол қолдануға жарамды және біз оны күнделікті қолданамыз, бірақ ол жоғары үлгілеу жиілігін, тексерілген жіктеуіштерді және тілді оқитын зерттеушіні қажет етеді.
Зерттеу процесіңіз бойынша екінші пікір алғыңыз келе ме?
Егер сіз жасанды интеллект көмегімен зерттеу жүргізіп жатсаңыз және сіздің зерттеу нәтижелеріңіз мұқият тексеруден өте алатынын немесе өтпейтінін білгіңіз келсе немесе нені автоматтандыру және нені қорғау керектігін шешіп жатсаңыз, біз сіздің ағымдағы процесіңізді қарап шығып, тәуекелдің қай жерде екенін анық айтамыз.
