令人眼花缭乱的城市排行榜靠谱吗

根据国家统计局《2016年国民经济和社会发展统计公报》公布的数字，截至2016年末，中国大陆已有将近六成人口居住在城镇地区。不断加速的城镇化让城市的地位和作用日益凸显。那么，哪些城市值得投资？哪些城市最宜居？哪些城市的民众更幸福？人们每天都在提出诸如此类的问题，并催生了各类城市排行榜。但是，这些眼花缭乱和层出不穷的城市排行榜靠谱吗？

基于两个有影响力的城市公共服务排行榜，本文试图对当下流行的各类城市排行榜的可信度和有效性进行评估。我们的研究显示，城市排行榜总体可靠，但使用时仍需谨慎。

城市排行榜为何如此之多？

我们生活在一个信息大爆炸的时代，每天扑面而来的都是各种各样的资讯。这使我们需要一些较为简单明了和直截了当的信息，帮助我们做出许多重要决策。在这种背景下，排行榜或排名应运而生。排行榜虽然包含的信息有限，但却是基于大量数据浓缩而来的精华，所以一经推出就备受关注。于是，有关各种议题如大学、明星、城市、基金会、企业等的排行榜层出不穷。值得注意的是，关于城市的排行榜特别抢眼。

究其原因，是城市排行榜的供给方、需求方和排名对象都对这类排行榜有强大的需求。

首先，中国目前有将近六成人口生活在城市地区，还会有更多的人口涌入城市，并在不同城市之间流动。每个生活在城市中的人，都想知道自己所在的城市表现如何，其他城市是否值得一去。但是，人们每天忙于工作和家庭琐事，往往被各类信息淹没，因而需要快速获取和消化最有价值的信息。排行榜对相关信息的加工处理虽然“简单粗暴”，但其简洁、浓缩的信息特征却迎合了人们的消费需求，因而成为人们的不二选择。人们不会深究排行榜制作所依据的证据和数据等信息到底来自哪里，也没有做出相关判断的专业知识和时间精力。所以，各类城市排行榜应运而生，在很大程度上是为了满足城市人的信息消费需要。

其次，开发排行榜的既有学术机构和研究人员，也不乏新闻媒体和咨询公司。咨询公司、智库和研究机构都需要使用排行榜这样的“吸睛”利器，去吸引公众和媒体的注意力，并树立自己的公信力和影响力。各类机构发布的排行榜及其相关报告一般都是可以免费浏览的公共信息，发布机构也往往不吝于委托新闻媒体去扩散和传播排行榜的相关信息。这样来看，排行榜的制作和发布似乎是一个“赔本赚吆喝”的买卖，因为人人都可以简单检索并得到排行榜，并不需要付费阅读。但是，许多机构都从排行榜的制作和发布中获取暴利并“一夜爆红”，可以说这是一个“稳赚不赔”的行当。

之所以排行榜的制作和发布可以令相关机构一夜爆红甚至稳赚不赔，就在于排行榜所蕴含的能量和影响。排行榜所披露的信息往往并非研究报告的全部内容，人们想进一步了解相关信息，比如自己所关注的城市为什么排名那么高或那么低，需要另外付费。特别是被排名的对象，有时不得不花费不菲的咨询费获得这些内部信息，以及如何提升排名的“诀窍”。因此，尽管排行榜看似是免费公开的非营利产品，但实则可以成为“名利双收”的利器。

与此同时，被排名的对象（城市、大学、政府、企业）也对排名结果高度关注，因为排名会影响它们在社会舆论中的形象。假如这些排名破绽百出甚至胡言乱语，那就更需要高度重视，予以驳正，否则就可能因“以讹传讹”而影响自身声誉。特别是各地城市政府在这方面有很大需求。一方面，它们需要通过排行榜去营销自己的城市，使自己城市的形象和声誉得到更大程度的提升；另一方面，它们可以将排行榜上的其他城市作为标杆，更容易地对标和看清本地和其他城市的优势与差距。

总之，来自发布方、需求方和排名对象等多方面的需求，催生了各类城市排行榜，使各类排行榜越来越多。与此同时，排行榜的制作和发布成为一个蓬勃发展的产业。无论是排行榜的研制者和发布者，还是排行榜的消费者或受众，抑或是排行榜所针对的对象，都越来越离不开排行榜，并对它们既爱又恨。

在各类排行榜中，对城市公共服务的排名最受关注，因为城市本身的题中之义就是集中提供各类优质公共服务的所在。公共服务的提供同城市政府的关系密切，也因此，对多座城市的公共服务进行排名，就意味着是“点名”相关城市政府。发布城市排行榜的许多机构都是独立于政府（第一方）和民众（第二方）以外的第三方，所以可以将其称为第三方评估机构或外部评估机构。

第三方评估是加强对政府的外部问责和提升政府绩效的重要举措，至今已有多家第三方机构对一些地方政府的公共服务绩效开展外部评估，并形成了各具特色的绩效排名。一些评估完全依据官方统计数据，对各类公共服务的投入和产出进行核实，并得出公共服务效率的排行榜。还有一些排行榜依赖于对服务对象的抽样调查，通过客户满意度的形式进行测评。但是，很少有研究对这些排名的可靠性及相互之间的关联性进行实证检验。本文试图对此进行初步分析。

城市排行榜靠谱吗？

本文选取中国两个大型公共服务绩效评估项目，对其评估结果进行横向和纵向比较。一项评估是由中国某知名研究机构完成，另一项评估是由境外一家著名大学实施。这两个城市排行榜都从2010年左右开始推出，都是通过居民抽样问卷调查的形式进行测评，并涵盖30多个中国主要城市（直辖市、省会城市和副省级城市）。

A大学自2010年开始接受某慈善资金的资助，每年对中国30多个主要城市的服务型政府建设情况进行追踪调查，这些城市包括直辖市、省会城市和计划单列市。A大学提出“三位一体”的评估体系，从公众视角、企业视角和客观视角三个方面评估。公众视角包括城市的公共服务质量、政府透明度、公众参与、政府廉洁、政府效能等方面。其中，公共服务满意度具体细化为基础教育、公立医院等9项公共服务，总计包括13个子领域。A大学在第一年采取面对面的问卷调查，此后采用计算机辅助电话访问（CATI）技术进行随机调查。

B机构从2011年开始推出基本公共服务力评估项目，主要从公共交通、公共安全、公共住房、基础教育、社保就业、医疗卫生、城市环境、文化体育、公职服务九方面，评估中国38个大城市的基本公共服务提供能力。B机构的调查内容以公民对各个服务领域的评估和满意度为主，并构建了9个领域三级指标的评估方案。B机构一直采取面对面问卷调查，如街头拦访。

由此可见，两项排行榜在抽样方法、测量指标和调查方式等一些方面存在差别（如表1所示），但是鉴于他们是在评估同一组城市在同一时期的同一类公共服务，那么理应得出高度相关乃至几乎一致的结果。但是情况是这样吗？

我们的研究发现，两个项目的评估结果之间总体较为一致，但相关程度不高（如图1所示）。一些城市在一个排行榜上名列前茅，在另一个排行榜上却一落千丈，最大差距可以达到20多名。与此同时，两个排行榜在不同年份的排名也不同，排名的稳定性并不强。这说明两个排行榜在部分城市的排名结果上存在较大差异，评估的信度有待提高。

图1. 2014年两个项目公共服务绩效评估得分的散点图与线性拟合线。

此外，不同公共服务领域的排行榜也存在差别。其中，高度一致领域的是城市环境，说明两个排行榜对城市环境质量的评估具有高度的一致性。其次是公共交通和公共安全的排名一致性较高，但在住房保障、基础教育、社会保障、基本医疗、文化体育、公职服务等其他公共服务领域的排名不一致，甚至出现很大反差。究其原因，在环境保护和公共安全等竞争性和排他性都较低的领域，所有居民都可以几乎平等地接受公共服务，两个排行榜的评估结果会高度相关。但是在其他公共服务领域，比如基础教育、医疗卫生、社保就业等，两个排行榜的评估结果可能存在信度问题。这是因为这些公共服务有一定的准入门槛，不同收入、不同阶层或不同区域的公民在使用体验上可能存在较大差别，因此排名的一致程度较差。

本研究发现，两个排行榜在这些方面的不同，可能与指标设置、抽样设计和加权方法等方面的差异有关。换句话说，同样都是对城市公共服务的公众满意度进行测评，但是因为方法和操作的差别而导致结果的一致程度不高。

此外，无论是总体公共服务满意度，还是具体领域的情况，两个排行榜之间的一致程度都随着时间的推移而有所下降。换言之，两个排行榜的评估结果在逐渐背离而不是越来越趋同。两个排行榜之间还没有建立沟通学习机制，也没有产生“学习效应”，相反可能是建立了一种竞争关系，彼此都在希望通过“爆料”去吸引决策者和舆论的注意力。

面对城市排行榜，受众如何不被带歪？

尽管这项研究只是对两个有关城市公共服务质量的排行榜进行了比较，但是对其他主题排行榜的对比研究也发现了类似的现象。比如，对有关世界大学排名的几个排行榜的研究发现，不同排行榜之间存在一定的一致性，但在很多方面都有不一致乃至龃龉之处。另外，一些有关企业社会责任的排行榜也有类似问题，即不同机构推出的排行榜尽管是在评价同一个主题，但是因为采取的视角、数据和方法不同而得出南辕北辙的结果。

面对眼花缭乱的排行榜，对被评的地方政府及相关部门来说，应该如何进行选择呢？根据我们的研究，对环境、安全、交通等带有普惠性的公共服务领域，两个排行榜的评估结果较为一致，城市政府可以采用其中一个排名作为决策参考。但是，对卫生、教育、就业等公共服务领域，不同群体的接触和了解程度差异较大，不同排行榜的评估结果也差异较大。城市政府在使用时应当进行多方比较，对排行榜的有效性和可靠性也要进行检验。更为重要的是，城市政府决策者对本地情况的了解可能更有优势，因此不应完全被排行榜牵着鼻子走。

与此同时，排行榜的发布机构之间也应充分沟通和对话，建立机构之间的学习与合作机制，取长补短，并及时调整排名方案不合理的部分。此外，排名机构需要从自身的历史经验中吸取教训，对每年的评估结果进行效度和信度检验，在发布评估结果时说明评估结果的使用限制和研究不足等，供人们参考。

为获取决策者和民众的信任，排名机构应将排名的运作情况、抽样方法、调查过程和原始数据等向社会公开，以便学术界、政府和公众对评估结果进行重复和验证，推动排名得到社会的理解和信任。与此同时，学术机构和新闻媒体应加强对排行榜本身进行再评估，即评估的评估或“元评估”，推动排行榜市场的优胜劣汰。

对普通公众而言，他们一般没有专业知识和时间精力去鉴别各类排行榜，多半是看个热闹或图个新鲜。但是，在免费消费各类排行榜所提供的资讯时，也不应盲目跟从。一般来说，各类排行榜的发布机构出于自身社会声誉和长期发展的考虑，会非常用心地使自己发布的排行榜尽可能可靠，本文的研究发现也支持这一推断。但即便是所谓“权威”机构发布的相关排行榜，也可能存在值得注意的偏误和缺陷。因此，一般公众在使用排行榜时，可以将其作为参考的依据，不必全信，也不必完全不信。

(本文原刊于《行政论坛》2017年第4期，原题：“城市公共服务绩效的外部评价：两个案例的比较研究”。原文署名作者：马亮、杨媛。略去参考文献，由马亮对原文进行较多改写，具体技术细节请参考原文。经授权刊用。)