A szűk keresztmetszet sosem az interjú volt
Minden mesterséges intelligenciáról és felhasználói kutatásról szóló cikk ugyanúgy kezdődik: a kutatás lassú, a mesterséges intelligencia felgyorsítja. Ez a megfogalmazás nem helytelen, de elég pontatlan ahhoz, hogy haszontalan legyen, amikor hétfő reggel azon gondolkodsz, hogy mit is változtass valójában.
Íme a pontosabb változat. Egy moderált interjú lebonyolítása hatvan percig tart, és mindig is így fog történni, mert az embernek hatvan percig kell beszélnie. Ami régen négy napig tartott, az minden volt... körül ez – átírás, címkézés, annak a pillanatnak a megtalálása, amikor három résztvevő ugyanazt mondta három különböző szókincsben, és ennek olyanná alakítása, amin egy termékmenedzser cselekedhet a sprint lezárása előtt.
Itt múlt el az idő, és pontosan itt erősek a nyelvi modellek. Mintaillesztők a szöveg felett. A kutatási szintézis egy mintaillesztési probléma a szöveg felett. Az illeszkedés valós.
De ugyanaz a tulajdonság, ami jóvá teszi őket a szintézisben, veszélyessé is teszi őket benne. Egy olyan modell, amely mintákat talál, akkor is megtalálja a mintákat, függetlenül attól, hogy léteznek-e vagy sem, és a feltalált mintákat pontosan ugyanolyan magabiztos hangnemben írja le, mint a létező mintákat. A kutatásban egy magabiztos rossz téma rosszabb, mint a semmilyen téma, mert a rossz téma épül fel.
Tehát a kérdés nem az vajon hogy mesterséges intelligenciát használjunk a felhasználói kutatásban. Már mindenki ezt teszi. A kérdés az, hogy a folyamat mely részeit adjuk át, mit ellenőrizünk, mielőtt megbízunk a kimenetben, és mit utasítunk el egyáltalán automatizálni. Erről szól ez a cikk.
Ahol a mesterséges intelligencia valóban kiérdemli a helyét
A mesterséges intelligenciát szakaszról szakaszra vizsgáljuk a kutatási folyamat során, ahelyett, hogy egyetlen döntésként kezelnénk. A különböző szakaszok kockázati profilja nagyon eltérő.
| Színpad | Amit a mesterséges intelligencia jól csinál | Mi romlik el | A mi szabályunk |
|---|---|---|---|
| Toborzás és szűrés | Szűrők szerkesztése, ellentmondásos válaszok kiszűrése a szűrőkérdésekben, a valószínűsíthetően professzionális válaszadók megjelölése | Túlzott szűrés az artikulált résztvevők számára; kiszűri azokat a frusztrált felhasználókat, akikre a leginkább szüksége van | Csak asszisztens. Egy ember hagyja jóvá a végső panelt. |
| Vitaindító | A kutatási kérdés első vázlatának elkészítése, további vizsgálatok javaslata, vezető kérdések ellenőrzése | Általános útmutatókat készít, amelyek tesztelik a már ismert dolgokat | Vázlatgyorsító. A kutató legalább a felét átírja. |
| Előadás | Valós idejű jegyzetelés, élő címkézés, vizsgálatok javaslata egy emberi moderátornak | Nem tudom értelmezni a habozást, a kellemetlenséget vagy a szünetet egy udvarias hazugság előtt | Soha nem autonóm. Támogató eszköz emberi moderátor számára. |
| Átírás | Hangszóróelválasztás, időbélyegzés, első menetes tisztítás | A török átírás pontossága meredeken csökken a domain zsargon, a márkanevek és a kódváltás miatt | Automatizálj, majd 10%-ot szúrópróbaszerűen ellenőrizz hanganyaggal. |
| Kódolás és címkézés | Egy meglévő kódkönyv következetes alkalmazása több száz átiraton gyorsasággal | Új kódok kitalálása a korpusz közepén; a különböző problémák egyetlen kényelmes címkébe foglalása | Automatizáljon egy rögzített, ember által írt kódkönyvvel. |
| Szintézis | Csoportosítás, a résztvevők közötti mintázatok felszínre hozatala, az első narratíva megfogalmazása | Összekeveri a gyakoriságot a fontossággal; elsimítja az ellenvéleményt megfogalmazó résztvevőt. | Csak vázlat. Minden téma nyomon követhető a forrásig, mielőtt kiküldenék. |
| Folyamatos visszajelzés-elemzés | App Store-értékelések, támogatási jegyek, NPS szó szerinti összefoglalók, csevegési naplók olyan hangerővel, amit egyetlen csapat sem tud manuálisan elolvasni. | A hangulatpontozás rosszul értelmezi a szarkazmust és a kulturális indirektséget | Nagy értékű automatizálás mintavételes ellenőrzésekkel. |
| Műtárgyépítés | Personák, utazási térképek, lehetőségfák validált bemenetekből | Hihető műtermékeket hoz létre vékony vagy hiányzó bizonyítékokból | Kizárólag ellenőrzött kutatásokból, soha nem a modell világismeretéből. |
A táblázat két sora többet ér, mint a többi együttvéve.
Létrehozott kódolás. Ha van egy ember által írt kódkönyved, akkor annak 40 átiraton keresztüli következetes alkalmazása pontosan az a fajta fárasztó, szabályokat követő munkamodell, amelyben a megbízhatóság mérhető. Valójában itt van a legtöbb helyreállítható idő.
Folyamatos visszajelzés-elemzés. A legtöbb vállalat több ezer alkalmazásbolti értékelésre, támogatási kérésre és kérdőív-szövegre támaszkodik, amelyeket senki sem olvasott el, mióta megjelentek. Ez a mesterséges intelligencia legnagyobb megtérülésű, legalacsonyabb kockázatú felhasználása az egész szakterületen, mivel nem olyan kutatásokat helyettesít, amelyek folyamatban voltak, hanem olyan adatokat olvas, amelyeket kidobtak. Ezt részletesen tárgyaljuk a következő cikkben: Hogyan alakíthatja át a felhasználói visszajelzéseket a mesterséges intelligencia hasznos termékinformációkká?.
A négy hibamód, amit folyton észreveszünk
Ezek nem elméleti kockázatok. Ezek azok a konkrét dolgok, amelyek valódi projekteknél mennek félre, nagyjából csökkenő sorrendben aszerint, hogy milyen gyakran észleljük őket.
1. A gyakoriság fontosságnak álcázva
Kérj meg egy modellt, hogy összegezzen húsz interjút, és az kiemeli a leggyakrabban elhangzottakat. A kutatás értéke azonban általában nem a modális válaszban rejlik. Hanem abban az egy résztvevőben, aki teljesen kihagyta a folyamatot, vagy abban a két résztvevőben, akik ugyanazt a kerülőutat írták le egymástól függetlenül, vagy abban a szegmensben, amely soha nem jutott el ahhoz a lépéshez, amelyet mindenki más megbeszélt.
Egy fizetési tanulmányt összefoglaló modell azt mutatja, hogy a szállítási költségek átláthatósága ismételten felmerült. Azt viszont nem, hogy a vásárlást befejező két résztvevő már be volt jelentkezve – ami a tényleges megállapítás, és a korpuszban csak hiányzásként jelenik meg.
A mi csekkünk: explicit módon rákérdezünk a kisebbségi álláspontra. „Melyik résztvevő nem értett egyet a kialakuló konszenzussal, és mit mondott?” Ha a modell nem tud egyet sem megnevezni, akkor az összefoglalást hiányosnak tekintjük, nem pedig az egyetértés bizonyítékának.
2. Folyékony találmány
A modellek olyan idézeteket hoznak létre, amelyek pontosan úgy hangzanak, mint amit egy résztvevő mondott volna, egy olyan résztvevőnek tulajdonítva, aki nem mondta ki. Nem gyakran. Elég gyakran. És a hiba láthatatlan a vizsgálat során, mert egy kitalált idézet jobban olvasható, mint egy valódi – a valódi emberek töredékesen beszélnek.
A mi csekkünk: Minden, az ügyfél által használt idézethez tartozó szövegrészhez tartozik egy átirathivatkozás és egy időbélyeg. Ha az idézet nem található meg a forráshanganyagban, akkor nem kerül kiküldésre. Ez egy mechanikus szabály, nem ítélkezési felhívás, mert pontosan az ítélkezés az, ami itt kudarcot vall.
3. Szűzpárti szintézis
Adj egy modellt, egy hipotézist, majd egy adatot, és a szintézis alátámasztja a hipotézisedet. Add meg ugyanazokat az adatokat az ellenkező hipotézissel, és a szintézis alátámasztja azt. Ez a legdrágább kudarcmód a tanácsadási kontextusban, mert pontosan azt a terméket hozza létre, amit az ügyfél szeretett volna, miközben tönkreteszi az okot, amiért téged választott.
A mi csekkünk: A szintéziskérdések soha nem tartalmazzák a hipotézist. A modell a korpuszt és a kutatási kérdést kapja, semmi mást. Amikor egy hipotézist tesztelni akarunk, azt külön, kontradiktórius menetként futtatjuk le: „keressük meg a legerősebb bizonyítékot ebben a korpuszban”. ellen a következő állítást."
4. Szintetikus felhasználók
A legmagabiztosabban forgalmazott és legkevésbé védhető alkalmazás: szimulált résztvevők generálása és velük való interjúkészítés emberek helyett. Gyorsan hihető átiratokat készít, és pontosan a hihetőség a probléma. Egy interneten betanított modell megmondja, hogy mit jelent egy személyiség. úgy hangzik, mint, ami egy összefoglaló arról, hogyan írnak róluk – nem pedig arról, hogyan viselkednek, amikor az űrlapérvényesítés harmadszorra is elutasítja a címüket.
A szintetikus felhasználók egy dologra hasznosak: arra, hogy begyakorolják a vitaindítót, mielőtt egy valódi résztvevővel foglalkoznánk. Erre használjuk őket. Nem használjuk őket bizonyítékként, és nem jelentjük az eredményüket kutatási eredményként. Ha egy beszállító olyan kutatási programot kínál, amelyben nincsenek emberi résztvevők, akkor egy nagyon drága módszert kínál arra, hogy megerősítse azt, amiben már amúgy is hiszünk.
A munkaprotokollunk
Ez a tényleges sorrend, nem egy idealizált.
1. Az emberek először a kódkönyvet írják. Mielőtt bármelyik modell hozzáérne egy átirathoz, a kutató három-öt interjút olvas át, és kézzel építi fel a kódolási keretet. A keret a jelen tanulmány adataiból származik, nem egy általános UX-taxonómiából. Minden további folyamat ettől a lépéstől örökli a minőségét, ezért ezt a lépést soha nem tömörítjük.
2. A modell alkalmazza a keretet, és csak a keretet. Javított kódkönyv, nincsenek új kategóriák futás közben. Amikor a modell valami olyasmibe ütközik, amit a keret nem fed le, akkor azt osztályozatlanként jelöli meg, ahelyett, hogy illesztést kényszerítene ki. A osztályozatlan halom gyakran a teljes futás legérdekesebb kimenete.
3. Kódoljon duplán egy 15%-os mintát. Ugyanazokat az átiratokat kódolja egy ember és egy modell egymástól függetlenül, és mérjük az eltérési arányt. 10% alatt folytatjuk. 20% felett a kódkönyv hibás, nem a modell – visszatérünk az első lépéshez. Az eltérési arány a keret diagnosztikája, és ha így kezeljük, az többet takarított meg nekünk, mint ha a szerszámozás minőségi jelzőjeként kezelnénk.
4. Szintézisvázlat hipotézis nélkül a feladatban. A modell korpuszt és kutatási kérdést kap. Klasztereket és egy első narratívát hoz létre.
5. Nyomonkövethetőségi engedély. A tervezetben szereplő minden egyes igény legalább két résztvevőhöz kapcsolódik, időbélyeggel ellátva. A nem nyomon követhető igényeket törlik, nem pedig lágyítják. A pontosan egy résztvevő által támogatott igényt egyetlen megfigyelésként címkézik, ami jogos és gyakran értékes dolog a jelentésben – de nem témaként.
6. Trianguláció viselkedési adatokkal. A kimondott és a megfigyelt viselkedés folyamatosan eltér. Mielőtt bármi is eljutna az ügyfélhez, összevetjük az interjúk eredményeit a felvételekkel és a hőtérkép adataival – dühös kattintások, halott kattintások, lemorzsolódási pontok. Amikor a résztvevők azt mondják, hogy a szűrő rendben van, és a felvételek azt mutatják, hogy elhagyják a szűrőt, a felvételek nyernek. Itt a legvalószínűbb, hogy a mesterséges intelligencia által vezérelt kvalitatív munka is megbukik, mivel a viselkedési adatok nem törődnek azzal, hogy mennyire koherens a narratíva.
7. Egy ember írja az ajánlást. Az eredmények segítséggel összegezhetők. Hogy mit tegyünk ezekkel ebben a szervezetben, ezekkel a korlátokkal és ezzel az ütemtervvel, azt valakinek a megítélése dönti el, aki részt vett az interjúkon.
Amit nem automatizálunk
Rövid a lista, és mi szilárdan tartjuk magunkat hozzá.
- Interjúk moderálása sebezhető vagy bajba jutott felhasználókkal. Egészségügy, anyagi nehézségek, akadálymentesítési kutatás. A moderátor feladata részben a gondossági kötelezettség, és ez nem delegálható.
- Az ajánlás. Lásd a hetedik lépést.
- Akadálymentesítési értékelés. Automatizált szerszámok – beleértve a sajátunkat is WCAG audit eszköz – a WCAG-problémák nagyjából egyharmadát elhárítja. A többi manuális tesztelést igényel segítő technológiával. Bármelyik szállító, aki teljes automatizált lefedettséget állít, egy szkennelést ír le, nem pedig egy auditot.
- Annak eldöntése, hogy mit ne kutassunk. A hatókör meghatározása az a pont, ahol a legtöbb kutatási érték létrejön vagy megsemmisül, és ez egy stratégiai beszélgetés, nem pedig egy összefoglaló feladat.
Megjegyzés a török nyelvű kutatásról
A mesterséges intelligenciával támogatott kutatásról szóló publikált útmutatók többsége angol nyelven íródott és validált, a teljesítménybeli különbség pedig valós és kevéssé tárgyalt.
A török átírás észrevehetően leromlik a márkanevek, az ágazati zsargon és az isztambuli termék- és e-kereskedelmi csapatokban teljesen megszokott angol-török kódváltás környékén. A hangulatbesorolás rosszul kezeli a török indirektséget – a komoly panaszt megelőző udvarias védekezés gyakran semlegesnek vagy pozitívnak tűnik egy túlnyomórészt angol nyelven képzett osztályozó számára. Az agglutinatív morfológia azt is jelenti, hogy a nyitott végű felmérési adatok kulcsszó-gyakorisági megközelítései jelentősen alulszámolnak, mivel egyetlen fogalom tucatnyi ragozott alakban jelenik meg, amelyet a tokenizer nem kapcsolódóként kezel.
Gyakorlati következmények: emeld az átírási szúrópróbaszerű ellenőrzések arányát az angol nyelv esetében használt 10% fölé, soha ne hagyatkozz önálló jelzésként az automatizált véleményekre a török korpuszokban, és validálj minden osztályozót egy kézzel címkézett török mintán, mielőtt nagy mennyiségben megbíznál a kimenetében. Pontosan ezért futtatunk egy saját validációs készletet.
Hogyan lehet megállapítani, hogy működik-e
A sebesség nem a megfelelő mérőszám. Mindenki gyorsabb lesz; a kérdés az, hogy a kimenet túléli-e a valósággal való érintkezést. Három mérést követünk nyomon valójában:
Az átlátás túlélési aránya. Egy kutatási jelentésben szereplő megállapítások hányadát tekintették még hat hónappal később is érvényesnek? Ez kényelmetlen mércével mérve, és minden kellemetlenséget megér.
Emberi-modell nézeteltérés aránya. A fenti harmadik lépésből. Kövesse nyomon az idő múlását. A növekvő nézeteltérések általában azt jelentik, hogy a kutatási terület eltolódott, a kódkönyv pedig nem.
Az utolsó interjútól az első tesztelhető hipotézisig eltelt idő. Ennyit mozgat valójában a mesterséges intelligencia. Ha a szintézis korábban nyolc napot vett igénybe, most pedig kettőt, az negyedévente két plusz kísérleti ciklust jelent – ami a tényleges üzleti indoklás, és ez jó is. Egyszerűen nem így van a legtöbb gyártó.
Mélyebbre menni
Ez a cikk az áttekintés. Négy kiegészítő rész részletesen ismerteti az egyes szakaszokat:
- Adatvezérelt felhasználói személyiségek létrehozása mesterséges intelligenciával — személyiségtényezők építése validált bizonyítékokból, nem pedig modell-előzményekből
- Az adatoktól a döntésekig: Hogyan egyszerűsítheti a mesterséges intelligencia a felhasználói kutatások szintézisét? — a szintézis szakasza részletesen
- Hogyan alakíthatja át a felhasználói visszajelzéseket a mesterséges intelligencia hasznos termékinformációkká? — vélemények, jegyek és NPS szó szerinti elemzése nagy mennyiségben
- A termékfelfedezés egyszerűsítése mesterséges intelligencia által vezérelt felhasználói kutatással — mindezt egy felfedezési cikluson belül alkalmazva
Gyakran Ismételt Kérdések
Teljesen helyettesítheti a felhasználói interjúkat a mesterséges intelligencia? Nem. Helyettesítheti az interjúkkal járó munka egy részét – átírás, kódolás, első lépéses szintézis –, és segíthet jobb interjúk elkészítésében. Nem tud bizonyítékokat generálni az emberek viselkedéséről, mert nincs hozzáférése a viselkedésükhöz. A szimulált résztvevők elmondják, hogyan írják le ezeket az embereket a szövegben, ami más dolog, és gyakran félrevezető.
Mennyi időt takarít meg valójában a mesterséges intelligencia által támogatott kutatás? Tapasztalataink szerint a megtakarítás szinte teljes egészében a szintézisre és a kódolásra koncentrálódik, ahol jelentős. A terepmunka, a toborzás és az érdekelt felek összehangolása változatlan. Egy moderált tanulmány esetében reális elvárás, hogy a terepmunka utáni szakasz jelentősen lerövidül, míg a teljes projekt időtartama sokkal kevésbé csökken – mivel a terepmunka mindig is a hosszú távú projekt volt.
Legálisak-e valaha is a szintetikus felhasználók? Vitaindító anyagok próbájaként és a kérdőív megfogalmazásának tesztelésére igen. Kutatási eredmények bizonyítékaként nem. A különbségtétel fontos: az egyik egy felkészülési segédlet, a másik pedig egy kutatási címkével ellátott, kitalált adat.
Mi a legnagyobb kockázat? Magabiztos, gördülékeny, hibás kimenet – és különösen annak az a verziója, amelyik egyezik azzal, amit a csapat már korábban is hitt. A kitalált idézeteket a nyomonkövethetőségi szabályok sértik. A képmutató szintézis nehezebb, mert olyan eredményt hoz létre, amellyel mindenki elégedett. Az egyetlen megbízható védekezés a hipotézis elválasztása a szintézis promptjától, és egy explicit ellentétes megközelítés futtatása.
A mesterséges intelligencia által támogatott kutatás törökül is ugyanolyan jól működik? Nem magától értetődő. Az átírás pontossága, a hangulatelemzés és a kulcsszó-gyakorisági módszerek mind gyengébbek a török nyelven az angolhoz képest. Használható, és naponta használjuk, de magasabb mintavételi arányt, validált osztályozókat és egy nyelvet olvasó kutatót igényel.
Szeretne egy második véleményt a kutatási folyamatáról?
Ha mesterséges intelligenciával támogatott kutatást végez, és szeretné tudni, hogy eredményei kiállják-e a vizsgálatot – vagy éppen azon gondolkodik, hogy mit automatizáljon és mit védjen –, akkor áttekintjük jelenlegi folyamatát, és világosan elmondjuk, hol rejlik a kockázat.
