Дизайн опроса

Разработка анкет — это практика создания опросников, измеряющих то, что они должны измерять, без внесения предвзятости посредством формулировок, порядка, шкал или выборки. Это подлинная методологическая дисциплина, и простота создания и распространения анкет с помощью современных инструментов скрывает, насколько легко получить заведомо неверные результаты.

Наиболее распространенной причиной ошибок является неправильная формулировка вопросов. Наводящие вопросы содержат предположение или предпочтительный ответ и неизменно приводят к именно тому ответу, который они предполагают. Вопросы, содержащие два аргумента одновременно, касаются двух вещей и не поддаются интерпретации. Нагруженные смыслом термины, абсолютные квантификаторы и незнакомый жаргон искажают ответы. Даже, казалось бы, нейтральная формулировка существенно меняет результаты: вопрос о степени удовлетворенности дает иные ответы, чем вопрос о степени неудовлетворенности, поскольку формулировка задает направление ответа.

Шкалы требуют одинаково тщательного подхода. Количество точек, наличие нейтральной средней точки, обозначение конечных точек и направление от положительного к отрицательному — все это влияет на распределение ответов. Несбалансированные шкалы с большим количеством положительных, чем отрицательных вариантов, завышают результаты. Шкалы согласия уязвимы для эффекта согласия, то есть тенденции соглашаться независимо от содержания, особенно среди респондентов, которые быстро меняют свою позицию. Последовательность важна так же, как и конкретный выбор, поскольку изменение шкалы между волнами делает недействительной тенденцию, которую призван выявить опрос.

Эффект порядка вопросов недооценивается. Первые вопросы определяют интерпретацию последующих, и это явление особенно остро проявляется, когда в опросе сначала задаются вопросы о конкретных положительных качествах, а затем уже дается общая оценка. Длинные опросы приводят к снижению качества ответов по мере того, как респонденты удовлетворяют свои требования, выбирая то, что завершает задачу, поэтому ответы на последующие вопросы систематически получают худшие результаты, чем на первые. По этой причине конфиденциальные или демографические вопросы обычно размещают в конце, и любой опрос, занимающий более нескольких минут, должен ожидать измеримого ухудшения качества.

Проблема выбора респондентов является первостепенной в большинстве бизнес-опросов, и никакая тщательная формулировка не может это компенсировать. Опрос, распространяемый по почтовому списку, рекламируемый на сайте или заполняемый теми, кто решил ответить, измеряет тех, кто решил ответить, и эти люди систематически отличаются от тех, кто не ответил. Показатели отклика в пределах нескольких процентов являются обычным явлением, и результаты таких выборок описывают нерепрезентативную и обычно более заинтересованную популяцию. Представление этих результатов так, как будто они описывают всю клиентскую базу, является самой серьезной ошибкой в ​​практике проведения коммерческих опросов.

Пилотное тестирование — это этап, который чаще всего пропускают, и именно он выявляет наиболее серьезные ошибки. Проведение предварительного опроса с небольшим количеством респондентов, в идеале с последующим коротким обсуждением того, как они интерпретировали каждый вопрос, выявляет двусмысленности, невидимые для человека, который их составлял. Вопросы, которые казались ясными, на самом деле интерпретируются по-разному, шкалы понимаются иначе, чем предполагалось, а инструкции полностью игнорируются. Поскольку стоимость пилотного тестирования составляет лишь малую часть стоимости проведения полноценного опроса и анализа результатов, которые оказываются не поддающимися интерпретации, его пропуск — это ложная экономия, приводящая к самоуверенным выводам на основе данных, которые никто не сможет подтвердить.

Следующие практические рекомендации заключаются в том, чтобы скромно оценивать возможности опроса. Опросы хорошо подходят для измерения отношения и самооценки состояния в рамках выборки, для отслеживания одних и тех же показателей с течением времени и для количественной оценки тем, уже выявленных в ходе качественных исследований. Однако они плохо объясняют причины, прогнозируют поведение и выявляют то, о чем разработчик опроса не подумал спросить. В рамках пользовательское исследование В рамках программы они наиболее ценны при использовании после интервью, а не до них, для оценки уже известных закономерностей, а вопросы анализа и выборки обычно решаются совместно с другими участниками. аналитика данных Эта функция позволяет оценивать результаты с учетом возможных ошибок и оговорок, а не представлять их как однозначный факт.