Projeto de pesquisa

O planejamento de pesquisas é a prática de construir questionários que meçam o que se propõem a medir, sem introduzir viés por meio de palavras, ordem das perguntas, escalas ou amostragem. Trata-se de uma disciplina metodológica genuína, e a facilidade de criar e distribuir pesquisas com ferramentas modernas mascara a facilidade com que se pode produzir resultados comprovadamente errados.

A formulação da pergunta é a fonte mais comum de erros. Perguntas tendenciosas incorporam uma suposição ou uma resposta preferencial e invariavelmente produzem a resposta que sugerem. Perguntas com dupla interpretação abordam dois assuntos simultaneamente e não podem ser interpretadas. Termos carregados de significado, quantificadores absolutos e jargões desconhecidos distorcem as respostas. Mesmo uma formulação aparentemente neutra altera substancialmente os resultados: perguntar o quão satisfeito alguém está produz respostas diferentes de perguntar o quão insatisfeito, porque a forma como a pergunta é formulada influencia a direção da resposta.

As escalas exigem igual cuidado. O número de pontos, a presença de um ponto médio neutro, a identificação dos extremos e a direção (positiva ou negativa) das respostas influenciam a distribuição das respostas. Escalas desequilibradas, com mais opções positivas do que negativas, inflacionam os resultados. Escalas de concordância são vulneráveis ​​ao viés de aquiescência, a tendência de concordar independentemente do conteúdo, especialmente entre respondentes que respondem rapidamente. A consistência é tão importante quanto a escolha específica, visto que alterar uma escala entre as ondas da pesquisa invalida a tendência que o objetivo da pesquisa é gerar.

Os efeitos da ordem das perguntas são subestimados. As primeiras perguntas influenciam a interpretação das perguntas posteriores, um fenômeno que se torna mais acentuado quando uma pesquisa pergunta sobre atributos positivos específicos antes de solicitar uma avaliação geral. Pesquisas longas resultam em uma queda na qualidade das respostas, pois os respondentes se contentam com a opção que lhes permita concluir a tarefa, fazendo com que as perguntas finais recebam dados sistematicamente piores do que as anteriores. Por esse motivo, perguntas sensíveis ou demográficas são convencionalmente colocadas no final, e qualquer pesquisa que exija mais do que alguns minutos deve esperar uma degradação mensurável na qualidade das respostas.

A amostragem é onde a maioria das pesquisas de mercado falha completamente, e nenhuma formulação cuidadosa compensa essa falha. Uma pesquisa distribuída por e-mail, divulgada em um site ou respondida por qualquer pessoa que opte por responder mede as pessoas que escolheram responder, que são sistematicamente diferentes daquelas que não responderam. Taxas de resposta baixas, na casa de um dígito, são comuns, e os resultados de tais amostras descrevem uma população não representativa e geralmente mais engajada. Apresentar esses resultados como se descrevessem a base de clientes é o erro mais grave na prática de pesquisas comerciais.

O teste piloto é a etapa mais frequentemente ignorada e a que revela os erros mais prejudiciais. Realizar um rascunho da pesquisa com um pequeno grupo de respondentes, idealmente com uma breve conversa posterior sobre como interpretaram cada pergunta, revela ambiguidades que são invisíveis para quem as elaborou. Perguntas que pareciam claras acabam sendo interpretadas de duas maneiras, escalas são compreendidas de forma diferente da pretendida e instruções são completamente ignoradas. Como o custo de um teste piloto é uma fração do custo de aplicar uma pesquisa completa e analisar resultados que se mostram ininterpretáveis, ignorá-lo é uma falsa economia que produz conclusões categóricas a partir de dados que ninguém consegue defender.

A orientação prática que se segue é a de sermos modestos quanto ao que uma pesquisa pode fazer. As pesquisas são boas para medir atitudes e estados autorrelatados em uma amostra, para acompanhar a mesma medida de forma consistente ao longo do tempo e para quantificar temas já identificados por meio de trabalho qualitativo. Elas são ruins para explicar o porquê, para prever comportamentos e para descobrir qualquer coisa que o criador da pesquisa não tenha pensado em perguntar. Dentro de uma pesquisa de usuário Os programas são mais valiosos quando usados ​​após as entrevistas, em vez de antes, para dimensionar padrões já compreendidos, e as considerações de análise e amostragem são normalmente tratadas com o programa. análise de dados função que pondera e ressalva os resultados, em vez de os apresentar como factos diretos.