设计好的调查问卷是一项技术含量极高的专业活动,有的学者的终身成就不过是设计了一份高质量的、广为使用的调查问卷。
美國著名調查研究方法專家福勒在這本十多萬字的小册子中,試圖從專業的角度系統地回答問卷設計的所有問題:
什么是一份好的調查問卷,什么是一個好的調查問題?
如何起草调查问题并在经验的层面上加以评估?
如何在撰写问题时选择合适的措辞,以及如何选择问题的格式?
如何撰写用来收集事实资料的问题,以及如何撰写用来测量主观状态的问题?
什么是“好的”和“坏的”调查问题,以及“坏的”调查问题何以导致了有缺陷的答案?如何对问卷问题进行评估?
對社會科學的研究者和調查工作者而言,本書是非常值得反復閱讀的案頭工具書。
《调查问卷的设计与评估》几乎涵盖了问卷设计的所有问题。比如它具体论述了如何起草调查问题并在经验的层面上加以评估,如何在撰写问题时选择合适的措辞,如何选择问题的格式,等等。该书专门用了两章的篇幅论述了如何撰写用来收集事实资料的问题以及如何撰写用来测量主观状态的问题。书中一一列举了“好的”和“坏的”调查问题的实例,并解释了“坏的”调查问题何以在一定程度上导致了有缺陷的答案。书中还讲解了如何对问卷问题进行评估,如何对问题理解和管理上的一致程度进行有效评估。可以毫不夸张地说,该书是社会科学研究者和调查工作者进行问卷设计的一本实用价值很大的案头参考书。此外,该书也可以帮助调查数据的使用者来正确地评估有关调查数据。
弗洛德·J.福勒(Floyd J.Fowler,Jr.) 美国密歇根大学(University of Michigan)社会心理学博士。自1971年以来为马萨诸塞一波士顿大学调查研究中心的资深研究员,并任该中心主任长达14年之久。福勒博士曾在哈佛公共健康学院教授调查方法7年,目前是达特茅斯医学院的研究人员。他参与了许多调查项目,涵盖了一系列广泛的学科领域,如犯罪、健康、住房、交通、政府服务和宗教等。他的主要研究兴趣是调查研究的误差来源。他最近出版的著作探讨了如何降低与访员有关的误差以及改进调查问题的设计和评估。其主要著作包括:《标准化调查访问》(Standardized Survey Interviewing,与T.W.Mangione合作)、《调查研究方法》(Survey Research Methods,3rd ed.)等。
1 作为测量的问题:概述
什么是好问题
影响测量的“问与答”特征
问题的评估
本书的构架
2 设计问题来收集事实资料
问题的目标
概念和术语的界定
知道答案与记得答案
答案的形式
减少社会想望对答案的影响
结论
3 用来测量主观状态的问题
对人、地、事的描述和评估
测量对观点的回答
测量知识
多项目测量
有关主观状态答案的相对性
结论
4 设计好的调查工具的一般原则
问什么问题
问题的措词
调查问卷的格式
培训受访者
结论
5 问题的预调查评估
专题小组讨论
深度个人访谈
田野预调查
在自填式问卷中调整预调查策略
列表回答
结论
6 评估调查问题的效度
研究相关的类型
用记录来验证
比较替代问题的形式
用一致性作为效度指标
结论
7 问题设计和评估:回顾与结论
有关事实的问题
测量主观状态
测试问题
评估问题的效度
结论
附录
附录A 常见测量的维度
附录B 常见协变量测量
附录C 关于开放式问题
附录D 达成标准化访谈
参考文献
索引
这两个例子又涉及复杂的、技术性定义问题。入室盗窃是一种破开和闯入他人住宅蓄意偷盗的犯罪行为。抢劫是一种靠武力或武力胁迫来夺走他人财物的犯罪行为。当入侵者闯入住宅,主人在家撞见了入侵者,盗窃未遂者就成了抢劫犯。研究者试图用这些定义与受访者进行沟通,好让他们说出是否遭遇了入室盗窃或抢劫,这恐怕没有什么意义。相反,合理的做法是,先让受访者描述亲历事件的相关细节,然后在某些恰当、详细的犯罪类别中登录这些事件。
有时,研究者可以通过询问一系列简短而又具体的问题来做到这一点。比如,当分类取决于入侵者是否被主人撞见时,询问这个具体问题是至关重要的。在其他情况下,研究者也可以让受访者用叙事的形式来回答问题,描述其经历,然后研究者可以用特殊的定义和决策规则在不同的类别中分别登录这些经历。
恰当的问题设计就是要确保在对受访者进行分类或对事件进行统计的时候,研究者和所有受访者都使用了相同的定义。一般来说,研究者倾向于这样来解决问题:先让受访者熟悉研究者所要使用的定义,然后让受访者来进行分类。尽管有时这可能是解决问题的最佳办法,但是好的问题设计通常会尽量减轻受访者的负担。对大多数调查者来说,思考一下他们要用哪些受访者的信息才能完成分类任务,这是一个新的额外步骤。不过,如果调查者能识别哪些简单、容易的问题是受访者能回答出来的(这将为分类提供基础),那么在多数情况下就会有更好的测量。
知道答案与记得答案
一旦问题设计出来,所有受访者都知道所要询问的问题,接下来的议题是受访者是否掌握了答题所需要的信息。问题缺陷可能有三种来源:
1.受访者可能缺乏答题所需要的信息。
2.受访者可能知道这些信息,但很难回想起来。
3.由于问题所需报告的事件发生在过去一段特定的时期内,受访者可能记得这些事件曾发生过,却无法在问题所要求的时间框架中准确地确定这些事件的时间。
受访者知道答案吗
询问受访者不知道答案的问题,这个缺陷经常出现在对受访者的选择上,而不是问题设计本身。许多调查会让特定家庭成员来报告有关全家或其他家庭成员的信息。当选用这种设计时,就有一个关键性问题:其他家庭成员或信息提供者通常是否掌握所需要的信息。
大量研究对自我报告与代理报告进行了比较(Cannell,Marquis, and Laurent,1997;Clarridge and Massagli,1989;Moore,1988;Rodgers and Herzog,1989)。在有些情况下,受访者为他人所做的报告似乎与自我报告一样出色。但是,除非问题涉及公共事件或特征,其他人一般不会知道答案。对所有主题来说,自我报告者往往比代理报告者做得更好。
知识问题更直接地影响了问题设计还有另外一个维度。受访者有时拥有关于某个问题的经验或信息,但缺乏研究者所要的那种形式的信息。医疗诊断便是一例。
……