调查设计

调查设计是指构建问卷，使其能够准确测量预期测量的内容，同时避免因措辞、顺序、量表或抽样等因素引入偏差。它是一门严谨的方法论学科，而现代工具使得创建和分发调查问卷变得轻而易举，但这却掩盖了得出明显错误结果的容易程度。

问题措辞是造成误差的最常见原因。引导性问题往往包含某种假设或预设答案，并能可靠地得出与其预期相符的回答。双重问题同时询问两个方面，难以进行解释。带有倾向性的词语、绝对量词和生僻的专业术语都会扭曲回答。即使是看似中性的措辞也会显著影响结果：询问某人有多满意与询问有多不满意会得到不同的答案，因为提问框架会引导回答的方向。

量表的设计同样需要谨慎。选项的数量、是否提供中立的中间点、端点是否标注以及方向是从正到负，都会影响答案的分布。选项过多（正选项多于负选项）的不平衡量表会夸大结果。同意量表容易受到顺从性偏差的影响，即受访者倾向于不顾内容而表示同意，尤其是在快速作答的受访者中。量表的一致性与具体选项同样重要，因为在不同轮次的调查中改变量表会使调查旨在得出的趋势失效。

顺序效应常被低估。前面的问题会影响后面问题的解读，尤其是在调查问卷先询问具体正面属性再要求总体评价时，这种现象更为显著。冗长的调查会导致答案质量下降，因为受访者往往为了完成任务而选择敷衍了事的答案，因此后面的问题获得的数据通常比前面的问题差。出于这个原因，敏感问题或人口统计问题通常会放在最后。任何需要几分钟以上的调查都应该预料到质量会明显下降。

抽样是大多数商业调查的致命缺陷，再怎么精心措辞也无济于事。无论是通过邮件列表分发、网站推广，还是由任何人自愿填写，调查结果都只反映了选择参与调查的人群，而这些人与未参与调查的人群存在系统性差异。低至个位数的回复率十分常见，此类样本的结果描述的是一个不具代表性且通常参与度更高的群体。将这些结果当作客户群体的代表来呈现，是商业调查实践中最严重的错误。

试点是最常被忽略的步骤，也是最能发现致命错误的关键步骤。理想情况下，先对少量受访者进行问卷草稿测试，并在测试后与他们进行简短交流，了解他们对每个问题的理解，这样就能揭示问卷编写者自身难以察觉的歧义。原本看似清晰的问题可能存在两种不同的解读，量表的理解可能与预期不符，甚至可能完全忽略了说明。由于试点成本远低于开展完整调查并分析最终无法解读的结果，因此忽略试点是一种得不偿失的做法，它会导致基于无法支撑的数据得出看似自信的结论。

以下的实用建议是，对调查问卷的功能要保持谦逊。调查问卷擅长测量样本中的态度和自我报告的状态，能够持续追踪同一指标的变化，并量化已通过定性研究识别出的主题。但它们不擅长解释原因、预测行为，也难以发现设计者未曾想到要询问的内容。 用户研究 这些程序在访谈之后而非访谈之前使用时最有价值，可以用来衡量已经了解的模式，而分析和抽样方面的考虑通常由……来处理。 数据分析 其功能是将结果进行加权和限定，而不是直接报告事实。