段伟文丨数据智能时代的伦理反射弧

文 / 段伟文

（中国社会科学院科学技术和社会研究中心）

追溯信息技术和数据技术所推动的信息及智能时代的发展历程，每个人可以有不同的视角和答案。但有一点是肯定的——每一阕新的技术神话，都是一场技术与社会互构的传奇，其实质是旷日持久且规模不断拓展的社会伦理试验。在这一超级社会伦理连续大剧中，各种价值反思与伦理权衡一直贯穿其中。

没有思想的世界：科技巨头对独立思考的威胁

[美] 富兰克林·福尔 / 著

舍其 / 译

中信出版集团，2019-12

1876年3月10日，美国发明家贝尔记录下了世界上首次电话通话——我对着话筒大声喊道：“沃森先生，到这里来，我想见你。”在这起改变世界的事件中，电话这种新的信息技术拓展出一种可以实时交互的信息空间（info-sphere），而这种非在场的交互体验让普通人第一次感受到虚拟在场。自此，各种信息空间和虚拟在场方式成为信息时代生活形式的基础，亦导致诸多价值冲突和伦理抉择。

在信息时代起步之时，人们就开始为隐私权、数据权利受到侵害倍感困扰。电话刚刚开始普及时，往往是一个小镇的几家人共用一个电话信道，结果各种家长里短、恋人间的悄悄话变得毫无隐私。后来，随着交换机技术的发展，这些新技术带来的伦理尴尬似乎得到了化解。但直到现在，从窃取电子通信录和通信记录到各种针对个人信息和敏感数据的不当采集，从骚扰性的推销电话到借助人工智能语音造假的诈骗电话，信息通信技术的滥用乃至恶意使用仍屡禁不止，个人信息和数据的保护已成为智能时代捍卫个人权利的焦点。

The Second Self: Computers and the Human Spirit

Sherry Turkle

The MIT Press, 2005-09

19世纪末20世纪初，随着摄影技术的发展，照相成为记录人们生活的迷人的新技术。当第一次看到自己定格于时空中的留影时，人们大多倍感欣喜和惊奇，但也有人会油然而生一种狐疑：一旦人的影像被记录下来，会不会有一部分灵魂被偷走。虽然这种可怕的想象没有变成现实，但人们很快意识到：拍下某个人的照片，往往意味着拥有了某种针对那个人的力量。特别是随着各种便携式相机的普及，隐私权被侵犯开始成为人们在享受信息技术的利好时不得不担忧的问题。

近150年来，面对信息科技发展带来的社会伦理挑战，人们一般难以运用已有的道德规范加以应对，只能在其技术实践和体验中，逐渐构建起相应的伦理反射弧，进而在此柔性规范的基础上，制定刚性的和可执行的法律规范。直到20世纪70年代，随着计算机和数据库的应用日益广泛，个人数据及隐私权保护才成为法律规制的对象。

尽管当前在数据保护方面欧洲似乎更主动和积极，但美国却是信息时代个人数据和隐私保护的先锋。1973年，美国卫生、教育和福利部（HEW）任命的数据自动化系统咨询委员会首次提出了“公平信息实践”（Fair Information Practices，简写为FIPs）的概念以及五项原则，对个人数据的透明性、使用限制、访问和更正、数据质量、安全性等均做出了规定，这也成为美国国会次年通过的《隐私法》的基础。1977年，根据《隐私法》设立的隐私保护研究委员会向卡特总统提交了《在信息社会中保护隐私》的报告，将FIPs的五项原则细化为八项原则，其中前三项原则是：开放原则，不应有一个秘密存在的个人数据记录保存系统，并且应对组织的个人数据记录保存规则、惯例和系统采取开放政策；个人准入原则，对于记录保存机构以个人可识别的形式保存的信息，个人有权查看和复制；个人参与原则，对于记录保存组织保存的个人信息，个人有权更正或修改该信息的实质内容。另外，报告中还阐明了任何数据保护系统都应该实现的三个目标：尽量减少干扰、最大限度的公平、合法与可执行的保密预期。

如今各国的数据保护规范均源自FIPs，透过这些早期的探讨，可以窥见管理者推动个人数据保护的初衷。不过必须指出的是，即便看起来是可执行的刚性规范，基于FIPs的数据保护在法律实践中也并不成功，隐私保护一直在路上，甚至越来越困难。从个人的角度来看，用户的知情权和选择权往往被忽视，隐私政策时常难以理解。对企业来讲，隐私政策又存在着高成本和互不兼容等问题。由此，一种必要的实践智慧是，在相关法律不能达到有效规制的目标时，应该考虑到，技术的快速变迁和复杂的现实利益关联往往使得相对刚性的法律规制难以有效执行。那么，能否从法律层面退一步，在价值和伦理层面构建起更细致的柔性约束，为更为务实有效的法律规制奠定基础？具体而言，在越来越多的数据驱动的智能技术应用场景中，应该在法律层面确保个人安全、保证个人信息的完整性、实现保护的一致性和有效执行的同时，展开必要的价值权衡和伦理构建。一方面，通过价值权衡，促使个人数据与隐私的保护在预防数据流动对个人的危害与数据利用的效益最大化之间做出精细的权衡；另一方面，诉诸伦理构建，推动企业和机构对其行为的透明、诚信和责任做出具有一定约束力的伦理承诺。

除了隐私权和数据权利之外，信息时代的另一个更难以应对的价值伦理挑战来自数据造假。吊诡的是，虽然数据和信息被视为知识和智慧的基础，但信息化、网络化、数字化和智能化的发展带来的最大悖论却是低质量信息泛滥成灾，各种水军和社交机器人令人真假莫辨，大量虚假信息和数据使人面对后真相时代束手无策。尽管人们一度对科学实验数据、照片、视频刻画的世界和事实的客观性深信不疑，但最终不得不承认，凡是人从事的活动都可能造假，即便数据的记录过程是诚实的，人们对这些记录的解释和利用也不可能不偏不倚。抛开摄影术本身的视角选择和光影调配不说，照片并不是对世界赤裸而客观的记录，各种编排、增删和特定的解释会赋予照片不同的意义。

更让人有挫败感的是，由于数字技术和智能化的数据处理技术的加持，照片的伪造与变造成为与时俱进的数据造假方式。时至今日，生物医学研究中频频爆出图像和照片造假，严重削弱了科学家在公众心目中恪守诚信的“人设”。面对生成对抗网络的发展，人们在为人工智能艺术前景欢呼的同时，难免担忧深度造假的滥用可能带来的危害。在《科学》（Science）杂志2019年3月发表的一篇论文中，研究者甚至指出可以运用人工智能在正常的医学影像中制造罹患癌症的假象，并进而强调应防范医院与保险公司合谋以此坑害患者。[1]

在充满利益纠纷和权力争夺的政治领域，数据分析和聊天机器人等人工智能技术也沦为了造假利器。在英国脱欧公投和2016年美国大选中，剑桥分析公司利用大量数据锁定并说服选民，通过人工智能加持的“心理战”干预了投票。据报道，在英国脱欧公投期间，某国的一个互联网研究机构通过13 000个机器人账户在推特（Twitter）上假装为论辩双方发言，但赞同脱欧的内容是反对脱欧的8倍；2016年美国大选期间，有1/5的网络辩论来自机器人。更充满魔幻色彩的黑色幽默是，2015年专为已婚人士寻求艳遇的约会网站AshleyMadison.com遭到黑客攻击，3 700万用户资料被泄露，结果显示，500万女性用户中的大多数在注册后鲜少登陆，而其中7万被称为“天使”的注册为女性的用户却十分活跃。“天使”们会主动与男性用户联系，但在对方付费后才予回复并在几个月间保持联系，以确保“渣男”们继续登陆和续费……当然，聪明的读者已经知道了荒谬的谜底：让登徒子们垂涎三尺而不得的“天使”们，无一不是边吃数据边送秋波如假包换的“机器姬”。[2]面对人工智能数据造假和机器人水军之类高技术含量的挑战，单靠价值反思和伦理调适无异于纸上谈兵，必须从技术反制和法律规制两个方面予以有力的制约。国家互联网信息办公室、文化和旅游部、国家广播电视总局2019年11月底联合印发的《网络音视频信息服务管理规定》（2020年1月1日起施行）无疑有利于遏制人工智能新闻造假等行为。

新黑暗时代：科技与未来的终结

[英] 詹姆斯 · 布莱德尔 / 著

宋平、梁余音 / 译

万有引力、广东人民出版社，2019-06

不论信息和智能科技要进行什么样的社会伦理试验，最终的目的只能是创造一种人人都可以接受的公平正义的美好生活，而这一目的的实现往往需要每个公民的实际行动。在信息时代的高歌猛进中，不可回避的现实是，信息技术的产业化发展及其对人类社会的颠覆性影响与其在社会政治层面所凝聚的知识权力结构休戚相关。而常识告诉我们，再完美的权力机构，也有阳光雨露洒不到的角落，而要改变这一点，需要每个人以切实的行动去矫正由权力盲区造成的公正落差。最简单的事实是，包括互联网在内的所有信息通信网络都建立在自然垄断的信息基础产业之上。20世纪20年代，美国密歇根州等比较偏远的地区，被美国电报电话公司等电信巨头视为没有必要布线的无利可图的地方，那里有大约300万的农民通过自制的可以传导电信号的栅栏传递信息和通话。信息论的创立者香农（Claude Shannon）小时候曾是维护这种电栅栏的能手。这个可能被历史遗忘的故事表明，纵使面对垄断和排他的知识权力结构，人们依然可以运用其掌握的技术发挥能动性。面对高度垄断的软件产业，开放源代码运动带来的开源软件使人们更多地享受到信息技术创新的红利；在地震等灾害中，人们可以通过智能手机的应用软件共享灾区的重要信息；在智慧城市实践中，很多软件工程师担当起公民科学家，投身公益性软件的开发。

﹏﹏﹏﹏

互联网的概念来源之一可以追溯至人们对智能圈、超级智能等人类知识与智慧空间的向往，其目标是通过知识共享推动知识创造。1946年，美国战后科技政策的操盘手范内瓦·布什（Vannevar Bush）在《大西洋月刊》（The Atlantic）上发表了一篇题为“恰如我们一样思考”（As We May Think）的文章，倡导开发能大规模记录人类活动以促进人类的经验智慧增长的技术。在文中，他虚构了一种被称为Memex的台式信息机器。这个机器由存储器、一个键盘、一块半透明屏幕等组成，可以通过微缩胶卷输入，用键盘检索大量的存储数据。这样一来，人们只要在办公室就可以检索和管理信息，通过各种知识库拓展智能，更好地管理各种事务。50年后，布什的这一构想被追认为网络超文本链接的原始构想。

直到20世纪六七十年代，在西方反主流文化运动中成长起来的数字乌托邦主义者才将计算机和网络等信息技术视为挣脱现代性对人的僵硬的安排的工具。他们创造了个人电脑、全球电子链接，建立了引领互联网早期发展的赛博文化（Cyber culture）。20多年前，在比尔·盖茨（Bill Gates）的《未来之路》（The Road Ahead）和尼葛洛庞帝（Nicholas Negroponte）的《数字化生存》（Being Digital）等未来启示录式的畅销书中，展示了一系列以摩尔定律和新自由主义为基调的技术乐观主义的愿景，信息技术创新似乎会带来一种没有极限的增长，网络空间与虚拟现实会赋予人们一个更加平权、民主、自由的去中心化的前景。但这种貌似个体可以通过虚拟的网络空间摆脱现实社会制约的幻象很快就破灭了，信息网络空间并没有成为独立于物理空间的赛博空间，而是成了虚拟与现实相互交缠的数据空间和编码空间。

未来之路

比尔·盖茨 / 著

辜正坤 / 译

北京大学出版社，1996-01

数字化生存

[美] 尼古拉·尼葛洛庞帝 / 著

胡泳，范海燕 / 译

电子工业出版社，2017-01

随着谷歌搜索对百科全书检索式的雅虎等早期门户网站的超越，以及Web2.0和网络社交新媒体的发展，用户所生成的内容（UGC）不仅使网络为用户数据所驱动，而且这些数据反过来会成为人们的数据足迹。随着移动互联网、网络社交媒体、智能手机、可穿戴设备等信息技术的发展和各种数据的指数化增长，对人的线上和线下行为数据的搜集和分析则可能使每个人成为被追踪、观测、分析的对象。数据的掌握者由此可对数据进行认知计算，借助一定的算法对数据主体展开行为评分和内容推荐等，从而评判、引导和干预人的行为。从社会形态的变迁来看，不论是运用数据描述或干预世界和人的行为，还是运用各种可穿戴设备采集、分析数据以对他人或自己的生活进行量化自我等管理与治理，都预示着一个全新的社会——数据解析社会的来临。数据解析社会这种新的社会形态是革命性的：一方面，数据所扮演的角色如同13世纪出现的透镜，用透镜制造的望远镜和显微镜让宇宙和微观世界得以被清晰地观测与呈现，如今“数据透镜”则使人的行为得到量化地记录与透视；另一方面，就像17世纪笛卡尔发明解析几何使自然界的结构与规律得以被探究一样，数据分析与智能算法的应用正在使人的行为规律得以被洞察和解析。

针对这一时代性的变化，互联网思想家马克·戴维斯（Marc Davis）对数字人和数字自我进行了具有启发性的思考。[3]在他看来，距今100万年或更早，人类先祖演化为具有高度自我意识和认知能力的智人，作为物理自我的人成为一种可以在世界中行动的主体或自然人。约1万年前，伴随着《汉谟拉比法典》等法律制度的构建，逐渐出现了法人的概念，规定了具有行动自由和行为能力的人能做什么和不能做什么。而在最近的20余年间，在网络化、数字化和智能化的推动下，人们的行为越来越多地以在线的方式实现，个人信息或数据成为大数据和人工智能应用的原料，人也因此获得了“数字人”这一全新的存在形态。这一人类新形态使人一时间无所适从，其根本原因是尚未形成一种合理的数据规范。数据既是自我特征又是智能应用的基础，并由此导致了一系列前所未有的难题。戴维斯认为，如同物理自我应该得到保护一样，数字自我也需要得到保护。其中最为基本的问题是隐私和控制问题：谁在采集你的数据？谁可以拥有它们？应该如何使用这些数据？如果说透过数据可以了解人的特征和行为，那么掌握这些数据是不是意味着对人的监控？大数据时代令人时刻感到焦虑的问题是：谁在何时何地能够看到你？

搜索：开启智能时代的新引擎

[美] 斯特凡 · 韦茨 / 著

任颂华 / 译

中信出版集团，2017-04

有关数字人或数字自我的讨论表明，人类及反映其特征和行为的数据已经逐渐融合为人与数据的聚合。一方面，通过各种监测手段获得的数据，可以直接影响到人的感知和行为。当早上起来感觉头晕的时候，你如果看到智能手环上显示血压较高或较低，就会感到紧张并立即服药。另一方面，基于数据的智能认知日益与人类认知形成无缝连接，甚至使人在生活中产生一种人数协同的数据感。在一些情况下，这种觉知能力正在演变为基于数据觉知的具身认知。心跳、血压、血糖等实时监测数据使人对自己的身体变化更加敏感，自动导航应用则会帮助方向感不好的司机更轻松自如地驶向目的地。而由此带来的革命性变化才刚刚开始，各种数据驱动的智能系统未来将无处不在。就像人们现在佩戴的眼镜，这些智能系统将为人们展示一幅增强现实的世界图景：在去莎士比亚故居的路上，智能旅行系统会告诉你今天那里将有什么活动、最近有哪些名人造访过，而你会越来越觉得这一切皆顺理成章。

尤其值得关注的是，人与数据的聚合正在成为构造世界和塑造个人的基础性活动。通过数据测量和分享，各种智能设备和应用将人连接到一个巨大的改变世界的行动者网络之中。以Apple Watch、Fitbit等可穿戴设备为例，这些正在智能化生活世界中恣意生长的新奇物种给人的承诺是，像贴身的健康卫士和健身教练那样，使用户的饮食、睡眠、锻炼等生活习惯得到实时的调节。人们每天运动的步数、里程、心率和所燃烧的卡路里等数据都会被监测，一套量化指标被设定为努力的目标。常见的画面是，倘若你久坐不动，智能手表就会提醒你运动。但在智能设备和应用所连接起来的行动者网络中，使故事变得完整的关键环节是，这些体贴入微的智能体扮演着无处不在的数据捕获者的角色。经常遇到的场景是，如果你愿意让可穿戴设备采集你的运动数据，保险公司可为你提供保费优惠；你如果同意刷脸支付，在自动售货机上买矿泉水时就可以得到几分钱的优惠。但人与数据的聚合在大多数情况下是被动的和不知情的，企业、机构和相关部门则扮演着主导者的角色。

“以数识人”不仅改变着人们的自我认同，而且成为每个人被社会认知的基础。换言之，企业、机构和相关部门通过智能技术应用所捕获的“真实世界中数据”正在成为全新的生产手段和治理工具。单从工具理性来看，掌握数据中蕴含的个人身份特征、行为模式和生活方式，可以让人的行为根据商业和政治的需求被智能化监测和调控。实际上，在当前两个合法的负面收割场景——赌场和网络游戏中，玩家真实的行为数据、情感反应数据得到了大量的研究与测试，所谓上瘾行为是智能化的被设计的上瘾。应该对这些以引导人的心流和欲望为目的的研究活动本身展开深入的研究，使其道德上的原罪被玩家知晓，以促后者自省。

[1] Finlayson, S. G., Bowers, J. D., Ito,J., Zittrain, J. L., Beam, A. L., & Kohane, I. S. (2019). Adversarial attackson medical machine learning. Science, 363(6433), pp.1287-1289. DOI:10.1126/science.aaw4399

[2] 詹姆斯·布莱德尔：《新黑暗时代：科技与未来的终结》，宋平、梁余音译，广东人民出版社，2019年，第257—258页。

[3] 斯特凡·韦茨：《搜索：开启智能时代的新引擎》，任颂华译，中信出版集团，2017年，第176—177页。

（原载于《信睿周报》第17期，有删节。题图来自Unsplash @lucasgallone）