Diseño de la encuesta

El diseño de encuestas consiste en la elaboración de cuestionarios que midan lo que pretenden medir, sin introducir sesgos mediante la redacción, el orden, las escalas o el muestreo. Se trata de una disciplina metodológica rigurosa, y la facilidad con la que se crean y distribuyen encuestas gracias a las herramientas modernas oculta la facilidad con la que se pueden obtener resultados claramente erróneos.

La formulación de las preguntas es la fuente más común de errores. Las preguntas capciosas implican una suposición o una respuesta preferida y, por lo tanto, generan la respuesta que sugieren. Las preguntas dobles se refieren a dos cosas a la vez y no se pueden interpretar. Los términos tendenciosos, los cuantificadores absolutos y la jerga desconocida distorsionan las respuestas. Incluso una formulación aparentemente neutral altera sustancialmente los resultados: preguntar cuán satisfecho está alguien produce respuestas diferentes a preguntar cuán insatisfecho está, porque el marco de la pregunta predispone la dirección de la respuesta.

Las escalas requieren la misma atención. El número de puntos, la inclusión de un punto medio neutral, el etiquetado de los extremos y la orientación de las respuestas (de positivo a negativo) modifican la distribución de las respuestas. Las escalas desequilibradas, con más opciones positivas que negativas, inflan los resultados. Las escalas de acuerdo son vulnerables al sesgo de aquiescencia, la tendencia a estar de acuerdo independientemente del contenido, especialmente entre los encuestados que responden con rapidez. La coherencia es tan importante como la elección específica, ya que modificar una escala entre oleadas invalida la tendencia que la encuesta pretende generar.

Los efectos del orden de las preguntas suelen subestimarse. Las primeras preguntas condicionan la interpretación de las posteriores, un fenómeno que se agudiza cuando una encuesta pregunta sobre atributos positivos específicos antes de solicitar una valoración general. Las encuestas largas generan respuestas de menor calidad, ya que los encuestados se conforman con lo que les permite completar la tarea, por lo que las preguntas posteriores reciben sistemáticamente peores datos que las anteriores. Por este motivo, las preguntas delicadas o demográficas se suelen colocar al final, y cualquier encuesta que requiera más de unos minutos debería experimentar una degradación considerable.

El muestreo es el punto débil de la mayoría de las encuestas empresariales, y ninguna redacción cuidadosa lo compensa. Una encuesta distribuida a una lista de correo, promocionada en un sitio web o respondida por quien decida participar mide a las personas que optaron por responder, quienes son sistemáticamente diferentes de quienes no lo hicieron. Es común obtener tasas de respuesta muy bajas, y los resultados de dichas muestras describen una población poco representativa y, por lo general, más comprometida. Presentar estos resultados como si describieran a la base de clientes es el error más grave en la práctica de las encuestas comerciales.

La fase piloto es el paso que con mayor frecuencia se omite y el que permite detectar los errores más perjudiciales. Realizar una encuesta piloto con un número reducido de participantes, idealmente seguida de una breve conversación sobre cómo interpretaron cada pregunta, revela ambigüedades que pasan desapercibidas para quien las redactó. Preguntas que parecían claras se interpretan de dos maneras, las escalas se entienden de forma distinta a la prevista y las instrucciones se pasan por alto por completo. Dado que el coste de una prueba piloto es una fracción del coste de realizar una encuesta completa y analizar resultados que resultan ininterpretables, omitirla supone un falso ahorro que produce conclusiones seguras a partir de datos indefendibles.

La guía práctica que sigue es ser modesto sobre lo que una encuesta puede hacer. Las encuestas son buenas para medir actitudes y estados autoinformados en una muestra, para rastrear la misma medida de manera consistente a lo largo del tiempo y para cuantificar temas ya identificados a través del trabajo cualitativo. Son malas para explicar el por qué, para predecir el comportamiento y para descubrir algo que el diseñador no pensó en preguntar. Dentro de una investigación de usuarios El programa es más valioso cuando se utiliza después de las entrevistas en lugar de antes, para dimensionar patrones ya comprendidos, y las consideraciones de análisis y muestreo se manejan normalmente con el análisis de datos Funciona de manera que los resultados se ponderen y se justifiquen, en lugar de presentarse como un hecho sin más.