Inteligência Artificial na Pesquisa com Usuários: O Que Funciona, O Que Não Funciona e Onde Traçamos a Linha

O gargalo nunca foi a entrevista.

Todo artigo sobre IA e pesquisa de usuários começa da mesma forma: a pesquisa é lenta, a IA a torna rápida. Essa abordagem não está errada, mas é imprecisa o suficiente para ser inútil quando você está decidindo o que realmente mudar na segunda-feira de manhã.

Aqui está a versão mais precisa. Conduzir uma entrevista moderada leva sessenta minutos e sempre levará, porque uma pessoa precisa falar por sessenta minutos. O que antes levava quatro dias era tudo. por aí Isso envolve transcrever, etiquetar, encontrar o momento em que três participantes disseram a mesma coisa em três vocabulários diferentes e transformar isso em algo que um gerente de produto possa usar antes do encerramento do sprint.

Foi aí que o tempo se perdeu, e é exatamente aí que os modelos de linguagem se destacam. Eles são ferramentas de reconhecimento de padrões em textos. A síntese de pesquisas é um problema de reconhecimento de padrões em textos. A adequação é real.

Mas a mesma propriedade que os torna bons em síntese os torna perigosos nessa área. Um modelo que encontra padrões os encontrará independentemente de existirem ou não, e descreverá os padrões que inventou exatamente com o mesmo nível de confiança dos padrões existentes. Em pesquisa, um tema errado convicto é pior do que a ausência de tema, porque o tema errado acaba sendo construído.

Portanto, a questão não é se Usar IA em pesquisas com usuários é algo que todos já fazem. A questão é quais partes do processo você delega, o que você verifica antes de confiar no resultado e o que você se recusa a automatizar completamente. É sobre isso que este artigo trata.

Onde a IA realmente conquista seu espaço

Mapeamos a IA em relação ao processo de pesquisa etapa por etapa, em vez de tratá-la como uma decisão única. Diferentes etapas apresentam perfis de risco muito distintos.

Duas linhas dessa tabela valem mais do que todas as outras juntas.

Programação em grande escala. Se você tem um livro de códigos escrito por um humano, aplicá-lo de forma consistente em 40 transcrições é exatamente o tipo de trabalho tedioso e repetitivo em que os modelos são confiáveis. É aí que reside a maior parte do tempo recuperável.

Análise contínua de feedback. A maioria das empresas possui milhares de avaliações de lojas de aplicativos, chamados de suporte e transcrições de pesquisas que ninguém lê desde que foram criadas. Este é o uso de IA com maior retorno e menor risco em toda a área, porque você não está substituindo pesquisas que estavam sendo feitas — você está lendo dados que estavam sendo descartados. Abordamos isso em detalhes em Como a IA pode transformar o feedback do usuário em insights acionáveis ​​sobre o produto.

Os quatro modos de falha que continuamos detectando

Esses não são riscos teóricos. São os problemas específicos que acontecem em projetos reais, em ordem decrescente de frequência com que os detectamos.

1. Frequência disfarçada de importância

Peça a um modelo para resumir vinte entrevistas e ele destacará o que foi dito com mais frequência. Mas o valor da pesquisa geralmente não está na resposta mais comum. Está naquele participante que abandonou o fluxo completamente, ou nos dois que descreveram a mesma solução alternativa de forma independente, ou no segmento que nunca chegou à etapa discutida por todos os outros.

Um modelo que resume um estudo sobre finalização de compra mostrará que a transparência do custo de envio foi um ponto recorrente. Mas não mostrará que os dois únicos participantes que concluíram a compra já estavam logados — que é a descoberta real, e que aparece no conjunto de dados apenas como uma ausência.

Nossa verificação: Solicitamos explicitamente a posição minoritária. "Qual participante discordou do consenso emergente e o que ele disse?" Se o modelo não puder citar nenhum, consideramos o resumo incompleto, e não como evidência de concordância.

2. Invenção fluente

Os modelos produzem citações que soam exatamente como algo que um participante teria dito, atribuídas a um participante que não as disse. Não com frequência. Com frequência suficiente. E a falha é invisível na análise, porque uma citação fabricada soa melhor do que uma real — pessoas reais falam em fragmentos.

Nossa verificação: Cada citação que chega à apresentação do cliente contém uma referência de transcrição e um registro de tempo. Se não for possível localizá-la no áudio original, ela não é incluída. Esta é uma regra técnica, não uma questão de julgamento, pois é exatamente o julgamento que falha aqui.

3. Síntese bajuladora

Forneça a um modelo sua hipótese e, em seguida, seus dados, e a síntese apoiará sua hipótese. Forneça os mesmos dados com a hipótese oposta e a síntese apoiará essa hipótese. Este é o modo de falha mais custoso em um contexto de consultoria, porque produz exatamente o resultado que o cliente desejava, destruindo o motivo pelo qual ele o contratou.

Nossa verificação: Os prompts de síntese nunca contêm a hipótese. O modelo recebe o corpus e a questão de pesquisa, nada mais. Quando queremos testar uma hipótese, executamos o teste como uma etapa adversária separada: "encontre a evidência mais forte neste corpus". contra a seguinte alegação."

4. Usuários sintéticos

A aplicação mais divulgada com confiança e menos defensável: gerar participantes simulados e entrevistá-los em vez de pessoas reais. Ela produz transcrições plausíveis rapidamente, e a plausibilidade é justamente o problema. Um modelo treinado na internet dirá o que uma persona... soa como, que é um resumo de como essas pessoas são descritas — não de como elas se comportam quando a validação do seu formulário rejeita o endereço delas na terceira tentativa.

Usuários sintéticos são úteis para uma coisa: ensaiar um roteiro de discussão antes de usar um participante real. É para isso que os usamos. Não os utilizamos como evidência e não relatamos seus resultados como descobertas de pesquisa. Se um fornecedor oferece um programa de pesquisa sem participantes humanos, ele está vendendo uma maneira muito cara de confirmar o que você já acredita.

Nosso protocolo de trabalho

Esta é a sequência real, não uma idealizada.

1. Os humanos escrevem o código primeiro. Antes de qualquer modelo analisar uma transcrição, um pesquisador lê de três a cinco entrevistas e constrói manualmente a estrutura de codificação. Essa estrutura deriva dos dados deste estudo, e não de uma taxonomia genérica de UX. Tudo o que vem depois herda a qualidade desta etapa, e é por isso que nunca a comprimimos.

2. O modelo aplica a estrutura, e somente a estrutura. Livro de códigos fixo, sem novas categorias durante a execução. Quando o modelo encontra algo que o quadro não abrange, ele o sinaliza como não classificado em vez de forçar um ajuste. O conjunto de itens não classificados costuma ser o resultado mais interessante de toda a execução.

3. Codifique duas vezes uma amostra de 15%. As mesmas transcrições são codificadas por um humano e pelo modelo de forma independente, e medimos a taxa de discordância. Se for inferior a 10%, prosseguimos. Se for superior a 20%, o problema está no livro de códigos, não no modelo — voltamos ao primeiro passo. A taxa de discordância é um indicador diagnóstico do sistema, e tratá-la dessa forma nos economizou mais do que tratá-la como um critério de controle de qualidade nas ferramentas.

4. Rascunho de síntese sem hipótese no enunciado. O modelo recebe o corpus e a questão de pesquisa. Ele produz agrupamentos e uma primeira narrativa.

5. Aprovação de rastreabilidade. Cada afirmação no rascunho é vinculada a pelo menos dois participantes, com registros de data e hora. Afirmações que não podem ser rastreadas são excluídas, não atenuadas. Uma afirmação apoiada por apenas um participante é rotulada como uma observação única, o que é legítimo e frequentemente valioso para relatar — mas não como um tema.

6. Triangulação com base em dados comportamentais. O comportamento declarado e o comportamento observado divergem constantemente. Verificamos os resultados das entrevistas comparando-os com as gravações das sessões e os dados do mapa de calor — cliques de raiva, cliques inativos, pontos de abandono — antes que qualquer informação chegue ao cliente. Quando os participantes dizem que o filtro está funcionando bem e as gravações mostram que eles o abandonaram, as gravações prevalecem. É também aqui que o trabalho qualitativo baseado em IA tem maior probabilidade de falhar, porque os dados comportamentais não levam em consideração a coerência da narrativa.

7. Um ser humano redige a recomendação. Com auxílio, é possível reunir as informações. O que fazer a respeito delas, nesta organização, com essas restrições e este roteiro, é uma decisão que cabe a quem participou das entrevistas.

O que não automatizamos

Lista restrita, e a mantemos firmemente.

• Moderação de entrevistas com usuários vulneráveis ​​ou em situação de angústia. Assistência médica, dificuldades financeiras, pesquisa sobre acessibilidade. O trabalho do moderador nesses casos envolve, em parte, o dever de cuidar, e isso não é delegável.
• A recomendação. Veja o passo sete.
• Avaliação de acessibilidade. Ferramentas automatizadas — incluindo as nossas próprias. Ferramenta de auditoria WCAG — detecta aproximadamente um terço dos problemas de WCAG. O restante requer testes manuais com tecnologia assistiva. Qualquer fornecedor que alegue cobertura totalmente automatizada está descrevendo uma varredura, não uma auditoria.
• Decidir o que não pesquisar. A definição do escopo é onde a maior parte do valor da pesquisa é criada ou destruída, e trata-se de uma conversa estratégica, não de uma tarefa de sumarização.

Uma nota sobre pesquisa em língua turca

A maior parte das orientações publicadas sobre pesquisa assistida por IA é escrita e validada em inglês, e a lacuna de desempenho é real e pouco discutida.

A transcrição em turco apresenta uma degradação notável em torno de nomes de marcas, jargões específicos do setor e a alternância de códigos entre inglês e turco, que é completamente normal em equipes de produto e comércio eletrônico em Istambul. A classificação de sentimentos lida mal com a indiretividade do turco — a expressão educada que precede uma reclamação séria frequentemente é interpretada como neutra ou positiva por um classificador treinado predominantemente em inglês. A morfologia aglutinativa também significa que as abordagens de frequência de palavras-chave em dados de pesquisas com perguntas abertas subestimam significativamente o número de ocorrências, porque um único conceito aparece em uma dúzia de formas flexionadas que o tokenizador trata como não relacionadas.

Consequências práticas: aumente sua taxa de verificação pontual de transcrições acima dos 10% que você usaria para inglês, nunca confie na análise automática de sentimentos como um sinal isolado em corpora turcos e valide qualquer classificador em uma amostra turca rotulada manualmente antes de confiar em sua saída em grande escala. Executamos nosso próprio conjunto de validação exatamente por esse motivo.

Como saber se está funcionando

Velocidade não é a métrica ideal. Todos ficam mais rápidos; a questão é se o resultado se mantém relevante diante da realidade. Três métricas que realmente monitoramos:

Taxa de sobrevivência do Insight. Das conclusões apresentadas em um relatório de pesquisa, qual proporção ainda era considerada válida seis meses depois? Essa é uma mensuração desconfortável, mas que vale cada segundo de desconforto.

Taxa de discordância entre humanos e modelos. A partir do passo três acima. Acompanhe ao longo do tempo. O aumento da discordância geralmente significa que o domínio da pesquisa mudou, mas o livro de códigos não.

Tempo decorrido entre a última entrevista e a primeira hipótese testável. Este é o número que a IA realmente movimenta. Se a síntese costumava levar oito dias e agora leva dois, isso representa dois ciclos experimentais adicionais por trimestre — que é o argumento comercial real, e é um bom argumento. Só que não é o argumento que a maioria dos fornecedores apresenta.

Indo mais fundo

Este artigo é uma visão geral. Quatro artigos complementares abordam as etapas individuais em detalhes:

• Criação de personas de usuários orientadas por dados com inteligência artificial. — construir artefatos de persona a partir de evidências validadas em vez de modelos predefinidos
• Dos dados às decisões: como a IA pode agilizar a síntese de pesquisas com usuários. — a fase de síntese em profundidade
• Como a IA pode transformar o feedback do usuário em insights acionáveis ​​sobre o produto — avaliações, ingressos e transcrições textuais do NPS em grande escala
• Simplificando a descoberta de produtos com pesquisa de usuários baseada em IA — aplicando tudo isso dentro de um ciclo de descoberta

Perguntas frequentes

Será que a IA pode substituir completamente as entrevistas com usuários? Não. Pode substituir parte do trabalho relacionado a entrevistas — transcrição, codificação, síntese inicial — e pode ajudar a preparar entrevistas melhores. Não pode gerar evidências sobre como as pessoas se comportam, porque não tem acesso ao comportamento delas. Participantes simulados mostram como essas pessoas são descritas em textos, o que é diferente e frequentemente enganoso.

Quanto tempo a pesquisa assistida por IA realmente economiza? Em nossa experiência, a economia se concentra quase que inteiramente na síntese e na codificação, onde é substancial. O trabalho de campo, o recrutamento e o alinhamento das partes interessadas permanecem inalterados. Uma expectativa realista para um estudo moderado é que a fase pós-trabalho de campo se reduza consideravelmente, enquanto a duração total do projeto diminua em muito menos — porque o trabalho de campo sempre foi o aspecto mais demorado.

Usuários de software sintético podem ser considerados legítimos em alguma situação? Como ferramenta de ensaio para roteiros de discussão e como forma de testar a formulação de questionários, sim. Como evidência em uma pesquisa, não. A distinção é importante: um é um auxílio na preparação, o outro são dados fabricados com o rótulo de pesquisa.

Qual é o maior risco? Confiante, fluente, resultado errado — e especificamente a versão que concorda com o que a equipe já acreditava. Citações fabricadas são detectadas pelas regras de rastreabilidade. A síntese bajuladora é mais difícil, porque produz um resultado com o qual todos ficam satisfeitos. A única defesa confiável é separar a hipótese do enunciado da síntese e executar uma análise adversária explícita.

A pesquisa assistida por IA funciona tão bem em turco? Não é uma solução pronta para uso. A precisão da transcrição, a classificação de sentimentos e os métodos de frequência de palavras-chave apresentam desempenho inferior em turco em comparação com o inglês. É utilizável e nós o usamos diariamente, mas requer taxas de amostragem mais altas, classificadores validados e um pesquisador que domine o idioma.

Deseja uma segunda opinião sobre seu processo de pesquisa?

Se você realiza pesquisas com auxílio de IA e quer saber se suas descobertas resistiriam a uma análise rigorosa — ou se está decidindo o que automatizar e o que proteger —, revisaremos seu processo atual e indicaremos claramente onde reside o risco.