调查研究过时了吗？——一项关于调查数据收集方法新进展的回顾

原创 杨静、董海军 定量群学

文章题目

New Developments in Survey Data Collection

作者

Mick P. Couper

文章导读

本期推送为一篇文献回顾论文，侧重于对调查数据收集方面最近的方法和技术发展的考察。调查研究正面临着来自社会和技术变革的前所未有的挑战。在此背景下，该文章回顾了调查行业对这些挑战和发展的回应，以增强和扩展调查工具。文章讨论了随机电话号码拨号抽样的减少和基于地址的抽样的增加，以及相应的从电话调查到自我进行(邮件和/或网络)模式的转变，也讨论了非概率抽样方法的兴起，尤其是那些与在线数据收集相关的方法，还回顾了调查的所谓大数据替代方案。最后，文章讨论了一些旨在使调查方法现代化的最新方法和技术趋势。最后结论是，尽管调查研究面临许多重大挑战，但它仍然是收集人口数据和推断人口的一种强有力和灵活的方法。

调查研究面临的挑战

美国国家科学基金会最近委托的一个委员会得出结论，“调查研究正处于十字路口。近年来，追踪公众行为、经历、需求和偏好的信息需求急剧上升....同时，开展高质量调查的挑战是巨大的”(Krosnick et al.，2015：18)。其他人也表达了类似的观点，例如，Smith (2013：218)写道，“越来越多的批评者认为，调查研究的时代已经过去，它应该并将被来自互联网的数据挖掘和各种行政记录的使用相结合所取代。”

首先，几十年来，调查的回复率一直在稳步下降。特别是，近年来电话调查的回复率急剧下降。第二，部分由于努力将回复率保持在以前的水平，调查数据收集的成本——尤其是面对面和电话调查等采访管理模式的成本——持续上升。第三，研究人员指出，不断变化的社会条件是传统调查方法衰落的因素。比如，公民参与减少、社会孤立增加、社会资本减少以及对机构和其他方面的不信任等因素（Putnam，2000）。还与变化中的社会生活方式有关，如女性更多地加入劳动力大军、通勤时间更长、对犯罪的认知增强等。出于同样的原因，来电显示和语音邮件等技术变革使得面试官更难利用电话等传统媒体接触到潜在的回应者。

当然，调查研究面临的挑战可能与调查研究运用的太火有关。比如对调查需求的持续增加，还有传统调查方法的低成本替代品，尤其是在线调查和可选择面板的迅速崛起，刺激了对调查数据的需求，并让更多的人掌握了调查工具，这又反过来导致调查日益商品化(Tourangeau，2007)和市场饱和。大多数调查专业人士都认为，该领域正面临重大挑战，并处于快速转型时期。研究人员对这些发展做出了回应，并开发了新技术，使方法保持最新。文章从以下几个部分逐一描述这些发展。

电话调查

电话调查是近年来经历最大程度动荡的数据收集方式。多年来，RDD（random digit dialing）电话调查一直是调查数据收集的主力。20世纪70年代，RDD电话调查的兴起使正在进行的调查数量迅速增加。电话调查迅速流行起来有几个原因:（a）覆盖率足够高，可以对一般人口进行调查，(b)电话调查比面对面的调查便宜得多，速度也快得多，(c)收集的数据质量大致相当于面对面调查获得的数据质量，(d)美国电话号码系统的结构便利了州和地方一级的调查。但调查答复率的下降对电话调查的影响比任何其他方式都大。皮尤研究中心(Kohut et al.，2012)记录了电话调查联系率从1997年的90%下降到2012年的62%，合作率的类似下降导致回复率从1997年的36%下降到2012年的9%(Buskirk & Dutwin，2016；Dutwin & Lavrakas，2016)。过去几十年的一些相关发展导致了电话调查答复率的急剧下降，并削弱了电话调查在美国的核心作用。

首先，部分原因是随着电话调查的增长，电话营销急剧增加，人们越来越容易(也越来越希望)屏蔽或避免不想要的电话。技术发展和监管行动都使得电话采访者更难与样本人员取得联系，并说服他们在取得联系后参与调查。来电显示和语音邮件的使用改变了人们对来电的反应方式，使人们更难找到他们。考虑到区分手机号码和座机号码的困难，这实际上意味着自动拨号系统不能用于电话调查，从而进一步影响电话调查的效率(Best & Witt，2016)。

第二，移动电话的迅速普及改变了电话调查的范围。越来越多的家庭放弃固定电话，转而采用只使用手机，手机也使得与被抽样的人接触和面谈变得更加困难，因此也更加昂贵。理论上讲，打手机应该会增加与被抽样的人取得联系的机会，因为人们现在即使不在家也能被联系到。然而，在实践中，尽管这些设备几乎无处不在，但用户已经采取了策略和技术来允许容易地访问已知的其他人，同时限制来自未知号码的联系人(例如调查研究组织)。

尽管这些变化正在影响电话调查的进行方式，但这种方法本身并没有消失，关于改进电话调查方法的研究仍在继续(Lepkowski et al.，2008)。研究人员正在寻找利用移动通信工具来增强和扩展调查测量的方法。手机不仅仅是移动电话设备。大多数智能手机都可以通过手机网络或无线网络接入互联网，使用户能够通过语音、短信、电子邮件和各种其他基于应用程序的工具进行通信(同步和异步)。智能手机和电话号码可携带性上升的另一个潜在积极结果是，随着时间的推移，人们可能更倾向于保留相同的号码，从而更容易跟踪或追踪。出于这个原因，一些调查机构正在使用手机与高度流动人口(如移民或难民)保持联系。

在线（web）数据收集

很少有技术能像互联网一样对调查研究产生如此大的影响。网络调查的采用与之前的主要模式变化(电话调查)之间有两个关键的对比。首先，互联网覆盖率过去、现在仍然低于相应的电话覆盖率。哈雷(2016)报告称，2014-2015年，美国成年人的互联网使用率为74.1%。在广泛采用这种方法时，电话覆盖率已经超过90%(Groves et al.，1988)。尽管互联网接入率随着时间的推移稳步增长，但互联网的使用仍然不是普遍的，有互联网接入和没有互联网接入的人之间仍然存在显著差异(所谓的数字鸿沟)。哈雷(2016)报告称，互联网使用存在明显的年龄差异，从18至34岁的85.6%到75岁及以上的32.3%不等。同样，受教育程度较低的个人、穷人、失业者、非公民和少数族裔的互联网使用水平也明显较低(Perrin & Duggan，2015)。第二，相比于电话调查，网络调查没有提供一个扩大到普通人群的抽样方法。其中有两个主要原因:(a)拥有电子邮件地址(或使用电子邮件)并不等同于拥有互联网接入，以及(b)电子邮件地址的相对非结构化格式排除了开发基于电子邮件的类似RDD的方法的可能性。调查研究人员不得不寻找替代方法来选择互联网用户样本，并邀请他们完成在线调查。与RDD的电话调查不同，网络调查主要是一种数据收集方式，并不包含抽样方法。

为了接触到大规模的普通人，而非仅仅是互联网爱好者，Couper (2000a)回顾了网络调查中识别和选择样本的不同方法。包括样本匹配、受访者驱动的采样(RDS)、河流采样、测量墙等(Schonlau & Couper，2016)。然而，基本的抽样问题仍然存在，许多研究人员依赖非概率样本进行在线调查。

为此目前对处理网络调查的框架和抽样问题的方法进行归类，分为两大类:基于概率的方法和非概率的方法。

非概率的方法

网络数据收集的非概率方法已经占据主导地位，尤其是在某些领域，如市场研究和政治民意调查。学术研究人员也越来越多地使用它们，通常是进行大规模调查的唯一负担得起的选择。最常见的非概率网络调查类型是选择加入或访问面板(AAPOR 2010b；Callegaro et al.，2014)。通过各种非概率方法(如横幅广告或在线拦截)招募，并被邀请参与调查，通常以某种形式的报酬(如积分或奖品)作为交换。近年来，对过度饱和、疏忽或欺诈受访者的日益担忧可能减缓了此类面板的增长，但在人口较多的国家还是可以用的。

鉴于对接入面板质量的这些担忧，研究人员提出了几种替代方案。

一种替代方法被称为河流采样(Baker-Prewitt，2010；DiSogra，2008)，包括拦截浏览网络的人，并引导他们进行特定的调查，通常是在几个筛选问题之后。这可以被视为调查招募的一种“抓了就放”的方法。拦截方法的一个变体是所谓的调查墙，以付费墙命名，限制没有订阅的人访问网站内容。调查墙同样为用户提供了在回答简短调查后访问受限材料的途径。最近的一项创新是随机域拦截技术(Seeman et al.，2016)，该技术利用了人们在浏览网页时出错的事实，它将键入错误的网址和断开的网页链接重定向到一个邀请，以完成一项简短的调查，类似的方法正被用于拨打错误的电话号码(Levine et al.，2016)。虽然方法和来源各不相同，但这些方法都依赖于在互联网用户从事另一项活动时拦截他们，并邀请他们参与调查。

样本匹配(Rivers，2007；Vavreck & Rivers，2008)是用于获得代表性样本的另一种方法(Bethlehem，2016)。这种方法不是事后根据人口总数进行调整，而是使用两者都可用的一组辅助变量，将来自大非概率样本(如访问面板)的受访者与来自大概率样本(如美国社区调查或当前人口调查)的受访者进行匹配。然后邀请非概率样本中的匹配案例完成网络调查。

RDS（respondent-driven sampling）也被用来为网络调查招募对象。RDS是一种连锁转介抽样技术，受访者招募其社交网络的成员，通常从研究人员已知的几颗精选“种子”开始。RDS最初是为了利用线下社交网络招募稀有或隐藏人群(如艾滋病毒人群、吸毒者、无家可归者)而开发的(Heckathorn，1997；Gile & Handcock，2010)。

另一个广泛的非概率性网络样本是开放访问调查，邀请发布在网站上，分发到新闻组或列表服务器，或者通过口碑传播，越来越多地通过社交媒体传播。这种招募针对的是特定的利益群体，而不是一般的人群。

研究人员如何使用和报告这些非概率样本存在很大差异。一些人使用调查后调整、配额抽样(Erens et al.，2014)或样本匹配来实现社会人口特征的平衡，而另一些人则没有这样做。有些人在推论时很谨慎，而另一些人对他们的样本相对于普通人群的代表性(O'Donovan & Shave，2007)进行说明。对于学术研究人员来说，非概率在线样本通常是唯一负担得起的选择。这种样本本身并非不正确，但与基于概率的方法相比，它们增加了推理错误的风险，应谨慎使用，并明确讨论可能的推理极限(AAPOR 2010b，2013)。

概率的方法

对于调查一般的人群（非网络即时覆盖者），有两个主要的选择。第一个侧重于基于概率的小组的招募和维护。与非概率(访问或选择加入)小组相反，基于概率的小组的邀请是受控的，初始招募使用各种离线方法(邮件、电话、面对面)完成。大多数小组(如LISS小组、全球信息平台小组、全球知识论坛小组、UAS小组)为非互联网小组成员提供免费计算机和互联网接入，或者为每个受访者(无论互联网接入)提供相同型号的平板电脑，以消除设备或模式影响。解决框架和覆盖问题的第二个主要方法是使用混合模式方法，即将网络数据收集与一种或多种其他模式相结合，以尽量减少每种模式的缺点。

尽管有这些顾虑，网络调查数据收集仍然是一个有吸引力的选择，首先，网络调查比其他数据收集方式更有效(更便宜也更快)。其次，网络调查能够提供复杂的调查工具，同时最大限度地减少社会期望偏差(Burkill et al.，2016；Kreuter et al.，2008)。网络调查兴起的一个附带好处是基于大规模人群的实验增加了(Mutz，2011)。最后，互联网本身也在发展，调查研究人员也在适应这些变化。特别是，移动互联网设备(智能手机和平板电脑)的兴起促进了互联网覆盖面的全面扩大，为研究人员带来了许多设计挑战和机遇。

混合模式数据收集

混合模式调查的第一个发展包括使用网络混合模式方法补充邮件调查。最近的第二个发展集中在用混合模式的替代方案取代面试官管理的调查(大多数是面对面进行的调查)，这些替代方案再次试图利用基于网络的数据收集的特点。这两种发展在设计方面有很多共同点，尽管这些方法背后的目的不同。两者通常都是从邮寄邀请到基于地址的框架中的样本地址或个人开始的；然后，尽管第一种方法通常仅限于自我管理模式(邮件和网络)，但第二种方法可能包括后期的电话和面对面随访。在随后的纵向调查中，这也可能包括通过电子邮件或其他方式(例如，短信，也称为文本消息)发出的邀请。在这两大类中，一方面可以区分并行或基于选择的混合模式设计，另一方面可以区分顺序设计。并发混合模式调查同时给出两种方式，供受访者选择。最常见的方法是通过邮件发送调查问卷，但也提供网址和登录在线完成调查的选项。顺序混合模式设计首先提供一种模式，然后在一段时间后切换到另一种无响应模式。例如，向ABS样本发送邮件邀请，要求其完成一项网络调查，然后向那些没有回复的人发送纸质问卷。在评估并发和顺序混合模式设计的一系列实验之后(Matthews et al.，2012；Tancreto et al.，2012)，2013年美国社区调查从Web选项开始转向顺序混合模式设计，顺序混合模式设计可能效果更好。

大数据与调查研究

对调查界产生重大影响的最后一个发展是所谓的大数据的兴起。一些类型的大数据包括:(a)管理数据，由个人或组织为管理一个项目提供(例如，电子医疗记录、保险记录、银行记录、税务记录、登记册)；(b)交易数据，作为金融或其他交易和活动(如信用卡交易、网上购物)的自动副产品生成；(c)传感器数据(例如，卫星成像、道路传感器、气候传感器)；跟踪设备数据(例如，全球定位系统、移动电话)；(e)行为数据(例如，在线搜索、页面浏览、cookie数据)；以及(f)社交媒体数据，其由人们创建，明确目的是与(至少一些)其他人共享(例如，脸书、推特)。

尽管大社会数据有许多优势(特别是对于那些负担不起高质量调查的人来说)，但它们受到许多重大偏见的影响，包括选择偏见和测量误差(Couper 2013，2014)。例如，社交媒体并非没有自我呈现的偏见。在最初大肆宣传大数据分析取代调查后，研究人员现在将注意力转向对大社会数据的优势和劣势的仔细评估，以及对调查和大数据分析如何相互补充的审查(AAPOR，2014b；Foster et al.，2016；Schober et al.，2016)。

提升与扩展的调查

短信的调查也越来越受到关注(Conrad et al.，2017；Schober et al.，2015)。这可能会为短期调查引入一个新的数据收集模式，例如在实验室跟踪研究或测量研究中使用的方法。部分由于移动技术(包括移动应用和短信)的兴起，生态瞬时评估和经验抽样方法等工具越来越多地用于大规模调查数据收集，这些工具长期以来一直是小规模志愿者心理研究的领域(Mehl et al.，2012；Stone et al.，2007)。智能手机提供了被动测量和实时测量的前景(AAPOR，2014a)。随着存储设备(和数据计划)的成本持续下降，调查机构可能越来越能够通过提供具有移动设备的参与者来降低覆盖率。

结论

以上这些是调查研究如何应对变化挑战和新技术引入的例子。这种应对既包括扩大传统调查模式以增加数据的潜在价值，也包括利用新技术开发新的调查方式。调查研究正处于快速变化时期。一些人认为调查行业抵制变革。其他人认为该领域正在迅速采用新技术和创新。文章的观点是两个特征的总和，例如，对于衡量长期社会趋势的政府机构和组织来说，确保衡量的连续性是一个关键目标，这往往导致采用新方法的速度较慢。对于时间跨度短的研究领域，快速创新更为常见。在竞争更激烈的调查研究领域(如政治调查、市场研究)，变化可能更频繁；在产生推理错误的成本较高的其他领域，变革可能会在仔细的研究和测试之后进行。总之，调查研究都在适应不断的变化。

那么，大规模的基于概率的调查会保留其在实证社会科学中的核心作用吗？文章不认为——但也不认为调查会作为社会调查的一种关键方法消失(正如一些人所建议的那样)。近年来这个领域的特点是不同方法的激增和不同方法的质量不断提高。但是今天鉴于概率抽样和高答复率等许多传统评价标准的效用下降，需要更多的知识来区分好的调查和坏的调查，并量化特定调查的价值。

无响应一直是调查研究人员关注的问题。但由于响应率下降以及与保持高响应率相关的成本增加，这个问题变得更加尖锐。除了关注如何增加对调查的回应之外，研究还继续关注于了解未回应的原因以及回应者和未回应者之间的差异。这仍然是未来调查研究面临的核心挑战。

此外，随着每一波连续的数据收集，价值流研究继续增加。这些调查对于理解社会的重要变化至关重要。保持(或增加)对这些核心基础设施调查的投资至关重要，这些调查是我们了解社会的支柱，确保我们有能力衡量和理解我们正在经历的巨大变化。我们可能会看到围绕这些大规模调查的整合，推出的新调查会更少。用更少的资源做更多的事情，是未来十年调查研究面临的核心挑战。

最后，文章认为调查研究，将继续为实证社会科学和我们对社会及其成员的理解做出重要贡献。调查研究在方法和技术创新方面有着悠久的历史，并且已经适应了不断的变化。这样的创新将会继续。调查研究将继续提供一套灵活的方法，就广泛的社会、经济、政治、健康、环境和其他问题提供描述性和分析性数据。调查研究是一套强大且适应性强的工具，有可靠的理论和大量证据支持，证明其在为政策提供信息和推动科学发展方面继续发挥作用。

导读人 | 中南大学公共管理学院19级社会学博士生杨静；中南大学公共管理学院教授董海军

原标题：《调查研究过时了吗？——一项关于调查数据收集方法新进展的回顾》

阅读原文