AI in gebruikersonderzoek: wat werkt, wat niet werkt en waar trekken we de grens?

Het knelpunt was nooit het interview.

Elk artikel over AI en gebruikersonderzoek begint op dezelfde manier: onderzoek is traag, AI maakt het snel. Die formulering is niet onjuist, maar wel zo onnauwkeurig dat hij nutteloos is wanneer je op maandagochtend moet beslissen wat je daadwerkelijk moet veranderen.

Hier is de meer accurate versie. Een gemodereerd interview duurt zestig minuten en dat zal altijd zo blijven, omdat iemand zestig minuten aan het woord moet zijn. Wat vroeger vier dagen duurde, was alles. rond Het ging erom te transcriberen, te taggen, het moment te vinden waarop drie deelnemers hetzelfde zeiden in drie verschillende woordenschatten, en dat om te zetten in iets waar een productmanager mee aan de slag kon voordat de sprint werd afgesloten.

Daar is de tijd naartoe gegaan, en dat is precies waar taalmodellen sterk in zijn. Ze herkennen patronen in tekst. Onderzoekssynthese is een probleem van patroonherkenning in tekst. De overeenkomst is reëel.

Maar diezelfde eigenschap die ze goed maakt in synthese, maakt ze er ook gevaarlijk in. Een model dat patronen vindt, zal patronen vinden, ongeacht of ze bestaan ​​of niet, en het zal de patronen die het zelf heeft bedacht, beschrijven met precies dezelfde zelfverzekerde toon als de patronen die er wel zijn. In onderzoek is een zelfverzekerd verkeerd thema erger dan geen thema, omdat het verkeerde thema dan verder wordt uitgewerkt.

De vraag is dus niet of Het gebruik van AI in gebruikersonderzoek is alomtegenwoordig. Iedereen doet het al. De vraag is welke onderdelen van het proces je uitbesteedt, wat je controleert voordat je de resultaten vertrouwt, en wat je absoluut weigert te automatiseren. Daar gaat dit artikel over.

Waar AI zijn plaats daadwerkelijk verdient

We brengen AI in kaart ten opzichte van het onderzoeksproces, fase voor fase, in plaats van het als één enkele beslissing te beschouwen. De verschillende fasen hebben zeer verschillende risicoprofielen.

Twee rijen in die tabel zijn meer waard dan de rest bij elkaar.

Programmeren op grote schaal. Als je een codeboek hebt dat door een mens is geschreven, is het consequent toepassen ervan op 40 transcripten precies het soort saaie, regelvolgende werk waar modellen betrouwbaar in zijn. Dit is waar de meeste terugwinbare tijd verloren gaat.

Continue feedbackanalyse. De meeste bedrijven beschikken over duizenden app-reviews, supporttickets en enquêteantwoorden die sinds hun aankomst door niemand zijn gelezen. Dit is de meest rendabele en minst risicovolle toepassing van AI binnen de hele sector, omdat je geen bestaand onderzoek vervangt, maar data leest die anders weggegooid zou worden. We behandelen dit uitgebreid in een eerder artikel. Hoe AI gebruikersfeedback kan omzetten in bruikbare productinzichten.

De vier soorten storingen die we steeds weer tegenkomen.

Dit zijn geen theoretische risico's. Het zijn concrete zaken die in de praktijk misgaan bij echte projecten, in ongeveer aflopende volgorde van hoe vaak we ze ontdekken.

1. Frequentie vermomd als belangrijkheid

Vraag een model om twintig interviews samen te vatten en het zal de meest voorkomende antwoorden benadrukken. Maar de waarde van onderzoek schuilt meestal niet in het meest voorkomende antwoord. Die ligt in de ene deelnemer die het proces volledig verliet, of in de twee die onafhankelijk van elkaar dezelfde oplossing beschreven, of in het segment dat nooit de stap bereikte die iedereen besprak.

Een model dat een onderzoek naar afrekenprocessen samenvat, zal je vertellen dat transparantie over verzendkosten herhaaldelijk ter sprake kwam. Het zal je echter niet vertellen dat de enige twee deelnemers die de aankoop voltooiden, al ingelogd waren – wat de daadwerkelijke bevinding is en wat in de dataset alleen als een afwezigheid wordt weergegeven.

Onze controle: We vragen expliciet naar het standpunt van de minderheid. "Welke deelnemer was het oneens met de zich ontwikkelende consensus, en wat zei diegene?" Als het model geen deelnemer kan noemen, beschouwen we de samenvatting als onvolledig in plaats van als bewijs van overeenstemming.

2. Vloeiende inventiviteit

Modellen produceren citaten die precies klinken alsof een deelnemer ze heeft gezegd, maar die vervolgens worden toegeschreven aan een deelnemer die ze niet heeft gezegd. Niet vaak. Maar toch vaak genoeg. En de fout is bij nadere beschouwing onzichtbaar, omdat een verzonnen citaat beter leest dan een echt citaat – echte mensen spreken immers in fragmenten.

Onze controle: Elke quote die in een klantenpresentatie terechtkomt, bevat een transcriptreferentie en een tijdstempel. Als deze niet in de bronaudio te vinden is, wordt de quote niet verzonden. Dit is een mechanische regel, geen subjectieve beoordeling, want juist die subjectiviteit schiet hier tekort.

3. Slijmerige synthese

Geef een model je hypothese en vervolgens je data, en de synthese zal je hypothese ondersteunen. Geef het dezelfde data met de tegenovergestelde hypothese en de synthese zal die ondersteunen. Dit is de meest kostbare manier waarop een consultancybureau faalt, omdat het precies het resultaat oplevert dat de klant wilde, terwijl de reden waarom ze je hebben ingehuurd volledig teniet wordt gedaan.

Onze controle: Synthese-opdrachten bevatten nooit de hypothese. Het model krijgt het corpus en de onderzoeksvraag, verder niets. Wanneer we een hypothese willen testen, voeren we die uit als een aparte, antagonistische stap: "vind het sterkste bewijs in dit corpus". tegen de volgende bewering."

4. Synthetische gebruikers

De meest zelfverzekerd gepromote en minst verdedigbare toepassing: het genereren van gesimuleerde deelnemers en hen interviewen in plaats van echte mensen. Het produceert snel plausibele transcripten, en die plausibiliteit is nu juist het probleem. Een model dat op internet is getraind, vertelt je wat een persona is. klinkt alsDit is een samenvatting van hoe er over zulke mensen wordt geschreven – niet van hoe ze zich gedragen wanneer je formuliervalidatie hun adres bij de derde poging afwijst.

Synthetische gebruikers zijn nuttig voor één ding: het oefenen van een discussiegids voordat je er een echte deelnemer aan koppelt. Daar gebruiken we ze voor. We gebruiken ze niet als bewijsmateriaal en we rapporteren hun resultaten niet als onderzoeksresultaten. Als een aanbieder je een onderzoeksprogramma aanbiedt zonder menselijke deelnemers, verkoopt hij je een zeer dure manier om te bevestigen wat je al gelooft.

Ons werkprotocol

Dit is de werkelijke volgorde, niet een geïdealiseerde.

1. Mensen schrijven eerst het codeboek. Voordat een model een transcriptie verwerkt, leest een onderzoeker drie tot vijf interviews en bouwt handmatig het coderingskader op. Dit kader is gebaseerd op de data van dit onderzoek, niet op een algemene UX-taxonomie. Alles wat daarna volgt, ontleent zijn kwaliteit aan deze stap, en daarom is dit de stap die we nooit comprimeren.

2. Het model gebruikt het kader, en alleen het kader. Vaste codeboek, geen nieuwe categorieën tijdens de uitvoering. Wanneer het model iets tegenkomt dat niet binnen het referentiekader valt, markeert het dit als ongeclassificeerd in plaats van een aanpassing te forceren. De ongeclassificeerde resultaten vormen vaak de meest interessante output van de hele run.

3. Dubbel codeer een steekproef van 15%. Dezelfde transcripten worden onafhankelijk van elkaar door een mens en door het model gecodeerd, en we meten het percentage verschillen. Onder de 10% gaan we verder. Boven de 20% is het codeboek fout, niet het model — dan gaan we terug naar stap één. Het percentage verschillen is een diagnostisch hulpmiddel voor het frame, en door het op die manier te behandelen hebben we meer bespaard dan wanneer we het als een kwaliteitscontrole op de tooling zouden beschouwen.

4. Een conceptversie van een synthese zonder hypothese in de opdracht. Het model ontvangt een corpus en een onderzoeksvraag. Het genereert clusters en een eerste beschrijving.

5. Traceerbaarheid geslaagd. Elke bewering in het concept wordt gekoppeld aan minstens twee deelnemers, met tijdstempels. Beweringen die niet traceerbaar zijn, worden verwijderd, niet afgezwakt. Een bewering die door precies één deelnemer wordt ondersteund, wordt aangeduid als een enkele observatie, wat een legitieme en vaak waardevolle constatering is – maar niet als een thema.

6. Triangulatie aan de hand van gedragsgegevens. Het geuite gedrag en het waargenomen gedrag wijken voortdurend van elkaar af. We vergelijken de bevindingen van interviews met sessieopnames en heatmap-gegevens – klikken uit frustratie, mislukte klikken, afhaakmomenten – voordat we ook maar iets naar een klant sturen. Wanneer deelnemers zeggen dat het filter prima werkt en de opnames laten zien dat ze het filter verlaten, hebben de opnames voorrang. Dit is ook waar AI-gestuurd kwalitatief onderzoek het meest kwetsbaar is, omdat gedragsgegevens geen rekening houden met de coherentie van het verhaal.

7. Een mens schrijft de aanbeveling. Bevindingen kunnen met hulp worden verzameld. Wat er vervolgens mee moet gebeuren binnen deze organisatie, met deze beperkingen en dit stappenplan, is een afweging die gemaakt moet worden door iemand die bij de interviews aanwezig was.

Wat we niet automatiseren

De shortlist is bekend, en daar houden we stevig aan vast.

• Begeleiding van interviews met kwetsbare of in nood verkerende gebruikers. Gezondheidszorg, financiële problemen, onderzoek naar toegankelijkheid. De taak van de moderator bestaat daar deels uit zorgplicht, en die is niet delegerbaar.
• De aanbeveling. Zie stap zeven.
• Toegankelijkheidsbeoordeling. Geautomatiseerde tools — inclusief onze eigen tools WCAG-audittool — detecteert ongeveer een derde van de WCAG-problemen. De rest vereist handmatige tests met behulp van ondersteunende technologie. Elke leverancier die beweert volledig geautomatiseerde dekking te bieden, beschrijft een scan, geen audit.
• Beslissen wat je níét wilt onderzoeken. De verkenningsfase is waar de meeste waarde van onderzoek wordt gecreëerd of vernietigd, en het is een strategisch gesprek, geen samenvattende taak.

Een notitie over onderzoek naar de Turkse taal

De meeste gepubliceerde richtlijnen voor AI-ondersteund onderzoek zijn in het Engels geschreven en gevalideerd, en de prestatiekloof is reëel en wordt onvoldoende besproken.

De transcriptie van het Turks verslechtert merkbaar rond merknamen, vakjargon en de Engels-Turkse code-switching die volkomen normaal is in product- en e-commerce-teams in Istanbul. Sentimentclassificatie gaat slecht om met de indirectheid van het Turks — de beleefde nuance die een serieuze klacht voorafgaat, wordt door een classificator die voornamelijk op Engels is getraind, vaak als neutraal of positief geïnterpreteerd. Agglutinatieve morfologie betekent ook dat benaderingen gebaseerd op trefwoordfrequentie in open enquêtegegevens een sterk onderschatting geven, omdat een enkel concept in wel twaalf verschillende vervoegde vormen voorkomt die de tokenizer als niet-gerelateerd beschouwt.

Praktische consequenties: verhoog het percentage steekproefsgewijze transcriptiecontroles tot boven de 10% die je voor Engels zou gebruiken, vertrouw nooit op geautomatiseerde sentimentanalyse als enige indicator in Turkse corpora, en valideer elke classificator op een handmatig gelabeld Turks voorbeeld voordat je de output ervan op grote schaal vertrouwt. Wij gebruiken om precies deze reden onze eigen validatieset.

Hoe weet je of het werkt?

Snelheid is niet de juiste maatstaf. Iedereen wordt sneller; de vraag is of de output de toets der realiteit doorstaat. Drie aspecten die we daadwerkelijk meten:

Inzicht in de overlevingskans. Van de bevindingen die in een onderzoeksrapport werden gepresenteerd, welk percentage werd zes maanden later nog steeds als geldig beschouwd? Dit is lastig te meten, maar de moeite van het ongemak meer dan waard.

Percentage van de discrepantie tussen mens en model. Vanaf stap drie hierboven. Houd dit in de gaten over tijd. Toenemende meningsverschillen betekenen meestal dat het onderzoeksgebied is veranderd, maar het codeboek niet.

Tijd tussen het laatste interview en de eerste toetsbare hypothese. Dit is het aantal dat AI daadwerkelijk verplaatst. Als synthese vroeger acht dagen duurde en nu twee, betekent dat twee extra experimentcycli per kwartaal – wat de daadwerkelijke businesscase is, en een goede. Alleen is dat niet de case die de meeste leveranciers presenteren.

Dieper gaan

Dit artikel geeft een overzicht. Vier aanvullende artikelen behandelen de afzonderlijke fasen in detail:

• Datagestuurde gebruikerspersona's creëren met kunstmatige intelligentie — het creëren van persona-artefacten op basis van gevalideerd bewijs in plaats van op basis van vooraf vastgestelde modellen
• Van data naar beslissingen: hoe AI de synthese van gebruikersonderzoek kan stroomlijnen — de synthesefase in detail
• Hoe AI gebruikersfeedback kan omzetten in bruikbare productinzichten — recensies, tickets en letterlijke citaten van de NPS op grote schaal
• Het stroomlijnen van productontdekking met behulp van AI-gestuurd gebruikersonderzoek. — en dit alles toepassen binnen een ontdekkingscyclus

Veelgestelde vragen

Kan AI gebruikersinterviews volledig vervangen? Nee. Het kan een deel van het werk rondom interviews vervangen – transcriptie, codering, eerste samenvatting – en het kan je helpen betere interviews voor te bereiden. Het kan echter geen bewijs leveren over hoe mensen zich gedragen, omdat het geen toegang heeft tot hun gedrag. Gesimuleerde deelnemers vertellen je hoe dergelijke mensen in tekst worden beschreven, wat iets anders is en vaak misleidend.

Hoeveel tijd bespaart AI-ondersteund onderzoek nu eigenlijk? Onze ervaring leert dat de besparing zich vrijwel volledig concentreert in de synthese en codering, waar deze aanzienlijk is. Veldwerk, werving en afstemming met belanghebbenden blijven ongewijzigd. Een realistische verwachting voor een gematigd onderzoek is dat de fase na het veldwerk aanzienlijk korter wordt, terwijl de totale projectduur veel minder afneemt – omdat het veldwerk altijd al de langste tijdsinvestering was.

Zijn synthetische gebruikers ooit legitiem? Als oefenmiddel voor discussiegidsen en als manier om de formulering van enquêtes te testen, ja. Als bewijs voor een onderzoeksresultaat, nee. Het onderscheid is belangrijk: het ene is een voorbereidingshulpmiddel, het andere zijn verzonnen gegevens met een onderzoekslabel erop.

Wat is het grootste risico? Zelfverzekerde, vloeiende, maar onjuiste output — en dan met name de versie die overeenkomt met wat het team al geloofde. Verzonnen citaten worden opgespoord door traceerbaarheidsregels. Vleierige synthese is lastiger, omdat het een resultaat oplevert waar iedereen tevreden mee is. De enige betrouwbare verdediging is het scheiden van de hypothese van de syntheseopdracht en het uitvoeren van een expliciete tegentest.

Werkt AI-ondersteund onderzoek net zo goed in het Turks? Niet direct bruikbaar. De nauwkeurigheid van transcriptie, sentimentclassificatie en methoden voor het analyseren van trefwoordfrequentie presteren minder goed in het Turks dan in het Engels. Het is bruikbaar en we gebruiken het dagelijks, maar het vereist een hogere steekproefomvang, gevalideerde classificatiemodellen en een onderzoeker die de taal beheerst.

Wilt u een tweede mening over uw onderzoeksproces?

Als u AI-ondersteund onderzoek uitvoert en wilt weten of uw bevindingen een kritische blik zouden doorstaan, of als u overweegt wat u wilt automatiseren en wat u wilt beschermen, dan bekijken wij uw huidige proces en vertellen we u helder waar de risico's liggen.