上海长宁法院“算法的社会责任”研讨会综述

为庆祝上海市长宁区人民法院互联网审判庭成立五周年，推动互联网审判模式再发展、在线诉讼平台再升级、大数据辅助社会治理再创新，同时，紧紧围绕上海高院党组提出的“政治建设引领、司法质效为本、数字改革赋能”工作主线，依法妥善审理好各类新型互联网案件，由华东政法大学与上海市长宁区人民法院共同主办的“算法的社会责任”研讨会顺利召开。

会上，来自理论、实务界的法律专家学者、互联网企业代表们围绕“算法的社会责任”主题，分别从算法治理中的司法能动、算法如何体现伦理、算法歧视的公平治理、算法的反垄断规制、算法责任的司法治理等角度进行交流研讨，切实促进与会各方交流互鉴、深化务实合作，并就推动互联网审判模式再发展、在线诉讼平台再升级、智能辅助信息化建设再创新展开深入与谈，积极建言献策。现将本次研讨会主要研讨内容综述如下：

第一阶段

主旨发言

第一阶段由上海长宁法院党组成员、副院长沈建坤主持，华东政法大学助理研究员、互联网法治研究院（杭州）研究员、法学博士向秦作主旨发言。

向秦

华东政法大学助理研究员、华东政法大学与长宁法院合作课题组成员

算法的社会责任

向秦在主旨发言中强调，数字社会发展以“数据”为燃料，以“算法”为引擎，算法应用在提高生产效率、治理效能和社会福祉的同时，也给经济社会秩序、安全、权益维护、价值观念带来重重隐患。通过对典型案例的类型化研究，发现算法治理实践难题主要聚焦于算法推荐中公平公正的实现、算法歧视认定标准、算法排序及搜索引擎竞价排名中注意义务边界、犯罪风险评估中算法歧视规制、数据隐私保护、算法错误的责任配置、算法标签的行为性质、数据竞争秩序的规范以及平台经济劳动者权益保障等。这本质上是算法权力异化与滥用形成的算法失当行为，可归纳为：算法歧视、算法安全和算法操纵。

算法歧视是指算法代码演算和数据分析结果带来的对特定个人或群体的不公正对待，典型场景是“大数据杀熟”的价格歧视、算法在镜像呈现社会偏见和歧视的基础上作出新的歧视性决策、信用评分算法等。算法安全是继数据安全之后的又一重大网络安全问题，典型情形有算法消费者的信息隐私安全、算法标签带来的声誉损害、算法错误致损。算法操纵是指利用复杂且具有隐蔽性的算法技术和算法规则操纵或控制人们的生活，伤害了“自治”这个价值，典型表现是“外卖小哥困在算法系统中”的算法囚徒困境、限制个体思想与行动自由的算法归化。事实上，算法歧视、算法安全和算法操纵往往是相互交织、错综复杂的，既可能仅造成轻微算法损害，也可能导致物理世界严重的人身和财产损害。

尽管部分的算法失当行为通过司法裁判或行政执法得到救济或规制，但算法治理仍存在“打地鼠式”的困境。为了破解算法治理的困境，本报告对算法责任的生成逻辑、法律形式、算法治理的法律规则完善以及算法责任在司法实践中的创新适用展开研究，并形成了如下阶段性结论：

第一，法律责任介入算法具有必要性。算法具有社会嵌入性、算法决策结果的非中立性、权力属性的特殊性。一方面，依据权责匹配的基本法理，算法权力应与算法责任相匹配；另一方面，算法失当行为也需要算法责任产生法律上的约束力。法律既要嵌入算法本体以应对内生性科技风险，也要调节算法关系以应对衍生性应用失当。

第二，算法能实现法律行为的效果，却并非适格的责任主体，背后的“人”才是。算法被视为对“人”的意思表示的延伸与“代理”，算法责任主体仍应回归到“人”，主要是算法设计者和算法使用者。

第三，算法关系是一种广义上的信义关系，“信任”是算法交易的终极货币。算法使用者与算法用户之间以“算法”为介质形成了一种具有不平等性、依赖性、脆弱性的“横向权力关系”。当算法用户建立账号、购买商品或使用服务时，将其对算法使用者的“信任”转化为对处理行为的“同意”，交换的不仅是个人信息、商品或服务，终极意义上是交易的“信任”货币。

第四，算法责任是责任式创新视角下的社会责任性质。算法结果对社会中的利益相关者产生影响和负外部性，算法责任是社会责任。除了董事的信义义务，还应注意两点：一是鼓励企业算法技术创新，对董事作出某种商业模式或决策的判断保留更多的自由，以激励董事履行公司社会责任；二是要求算法创新的本体、过程和结果均要对社会负责任。

第五，算法治理的法律规则应往更加具可操作性、适应数据特征、符合数字经济发展规律的方向完善。应对算法解释的主体、方式、标准和时间等重新界定，并细化“数据二十条”提出的数据持有权制度，建立相应的数据治理架构，补充算法信义义务防止算法使用者滥用算法权力为自己谋利而损害算法用户主体权益。

第六，司法机关应利用裁判明晰法律规则的适用，充分发挥裁判的示范作用，守好社会公平正义的最后一道防线。要突破算法侵害归责原则的困境，重点是要结合个案具体场景认定算法主体是否对使用者有合理信任，明晰算法解释权的救济效果，严格把握算法创新发展与主体权益保护之间的利益衡量。

▲上下滑动查看▲

第二阶段

交流发言

第二阶段由上海长宁法院党组成员、副院长沈建坤主持，中国政法大学数据法治研究院教授张凌寒、上海交通大学凯原法学院教授郑戈、上海政法学院教授张继红、华东政法大学法律学院副研究员金枫梁、广州互联网法院副院长田绘分别作交流发言。

张凌寒

中国政法大学数据法治研究院教授

算法治理中的司法能动

张凌寒教授认为，首先，司法审理需甄别“算法元素纠纷”与“涉算法的裁判规则重构纠纷”。若算法仅为工具，算法的设计使用存在明显歧视，可按传统侵权纠纷审理。若为提高生产效率或优化决策结果而设置中立算法，不存在明显过错，其侵权责任需明确裁判规则。另外，对于新型损害无明确法律规定的，可创制司法裁判规则。

其次，审理算法民事案件需借鉴行政法规、规章。审查算法提供者是否尽到合规义务，包括事前的透明度、事中的算法安全规则、标签设置以及事后的说明解释义务等。在已尽到合规义务的前提下，再进一步审查使用者的注意义务。若未尽到合规义务，可作为过错认定的重要参考。

最后，算法案件审理可考虑三个要素。第一，考虑“行业发展需要”，对算法造成的偶发性错误予以容忍。第二，考量“算法提供者的成本”，不能对所有平台的技术水平设置统一标准。第三，考虑是否属于“合理平台内部治理行为”，为交易安全、公共利益使用算法，可推定为合理使用。

▲上下滑动查看▲

郑戈

上海交通大学凯原法学院教授

算法如何体现伦理——

以自动驾驶汽车算法为例

郑戈教授认为自动驾驶汽车是人工智能技术得到全面、综合应用的产业领域，涉及到算法自动化决策与人的自主性和尊严之间的潜在冲突。由于法律本身的回应性和救济性特征，导致它无法提前介入到算法设计过程之中，因而无法为算法设计提供向善的指引。我国虽然越来越重视人工智能伦理问题，并为此设立了相关机构，制定了相关规则，但关于人工智能伦理的讨论却停留在科技向善、以人为本等抽象原则的层面，没有形成有针对性的自动驾驶汽车算法伦理。

发言中，郑戈教授言介绍和分析了德国交通与数字基础设施部伦理委员会报告、伦理学中的电车难题讨论和道德心理学领域的“道德机器试验”。他认为法律与伦理的互动必然以复杂的状态呈现出来，法官将面临比小说环境更为复杂的大量社会现实，在司法裁判中如何综合考虑伦理和法律的意志，对未来司法和法律改革具有重大意义。

▲上下滑动查看▲

张继红

上海政法学院教授

算法歧视的公平治理

张继红教授认为算法歧视作为算法风险之一，不仅常见于消费领域中的电商平台，也出现在劳动场景之中。劳动场景中算法歧视具体表现在招聘和用工管理两阶段。而算法设计和数据质量两方面的瑕疵导致了算法歧视的产生。算法歧视之所以得以维持，一方面，因算法以大多数人无法理解的计算机代码的方式呈现；另一方面，因算法的信息处理方式往往被作为企业自身的商业秘密进行保护以对抗算法透明度的要求。劳动场景中算法公平治理的法律困境主要受制于算法设计（规则的弱规范性和原则性）、信息约束（知情权和决定权的虚化）和责任规则（劳动关系的从属性抑制追责动机、技术盲区增加举证难度）三个方面。

美欧等国家及地区通过问责制下算法风险控制、保障劳动者数据权利、完善算法损害举证责任进行效率与公平的利益衡量，我们可从以下四方面探索算法公平治理的可能路径：第一，发挥工会在算法治理中的辅助性作用；第二，细化落实算法公平治理的顶层设计要求；第三，特定领域执行场景化数据规范与算法治理；第四，针对算法侵权损害设置特殊的归责机制。

▲上下滑动查看▲

金枫梁

华东政法大学法律学院副研究员

算法的反垄断规制

金枫梁副研究员认为算法分为可控性算法和非可控性算法。经营者可控的指令式算法并非“黑箱”，它仅仅是执行人意志工具，与普通的垄断行为的查处并无本质不同。非可控性算法可以基于收集到的数据进行自我分析与决策，即便经营者无意甚至反对利用算法从事垄断行为，但基于深度学习的能力在客观上产生了限制与排除竞争的效果。对于非可控性算法，2022年《互联网信息服务算法推荐管理规定》提出算法要遵循公开透明原则，要求算法推荐服务提供者要优化检索、排序、选择、推送、展示等规则的透明度和可解释性。但在实务中操作会遇到侵犯商业秘密等普遍性难题，在反垄断法框架下反而会发生算法垄断行为加剧的悖论：当一方算法公开后，其竞争者很可能基于该公开的算法设计出“跟随算法”、“协同算法”，从而增加执法成本。在非可控性算法不能通过公开透明原则解决的情形下，可以通过责任推定解决。即经营者对算法产生的限制与排除竞争的行为承担法律责任，但经营者有证据证明其在设计、购买、使用算法等各个环节已经尽到充分的反垄断合规义务时，可以得到减免。一方面，触及反垄断法层面的经营者通常具有强大的算法与算力，由其承担自我监督任务较为合理。欧盟颁布的《数字市场法》创设的具有事前规制性质的守门人制度也是明证，用于事后规制的反垄断法同样可以适用。另一方面，它也赋予了经营者以发展风险的抗辩，以为算法的发展提供发展空间。

▲上下滑动查看▲

田绘

广州互联网法院副院长

算法的社会责任

田绘副院长认为涉算法案件的常见类型为算法代码著作权、算法不正当竞争、网络服务违约、算法侵权、算法引发的劳动争议等纠纷等。算法的解释难和归责难，为此类案件中事实的查明和法律的适用带来难题。对此，通过整理广州互联网法院涉算法案例，从举证、定损、定责三个方面整理出了以下裁判思路：

一是对于证据偏在问题，因算法运行机制掌握在其设计者、开发者、使用者手上，用户难以举证。法院可根据举证责任指定要求平台披露，但实践中平台往往主张商业秘密，甚至宁愿败诉也不愿披露源代码。

二是对于爬取数据损害结果的确定，可根据数据不正当竞争“成本小伤害大”的特点，考量侵权行为的情节和受侵害主体的维权情况等因素进行认定。

三是对于平台推荐算法侵权中平台身份的认定要分情况分析其是否为网络内容提供者、教唆或帮助侵权、共同侵权。

四是算法中立是相对的，对于算法造成的后果，相应算法设计者、开发者和使用者应承担相应责任。

▲上下滑动查看▲

第三阶段

嘉宾与谈

第三阶段由华东政法大学法律学院教授高富平主持，上海高院知产庭庭长刘军华、上海市律协互联网业务委员会主任吴卫明、上海市长宁区市场监管局执法稽查科副科长钱斌芳、爱奇艺上海法务合规负责人奚海生就主旨发言及交流发言展开与谈。

刘军华

上海高院知产庭庭长

刘军华庭长认为讨论算法的社会责任需要进一步明确三方面问题。

一是如何界定“算法”？他认为“算法”应该是具备一定的特定应用场景，有一定的商业性，并与信息技术应用和人工智能相关。

二是“算法”界定为主体还是客体？他认为从一般意义上来讲，算法还是属于一种信息技术手段，应该界定为客体比较合适，因此就不存在算法本身会产生法律效果的问题。

三是算法是不是“中立”的，也就是到底会带来什么社会责任？他认为现在“算法”设计或者应用者采取的是一种把行为和主体分离、把结果和手段分离的叙事方式，导致难以看清责任问题。但如果将其作为客体分析，本质上与其他信息技术手段一样，无论你用何种信息技术手段产生的问题来确定法律责任或者社会责任，其判断原理都是一样的，需要去进一步的讨论是，在遇到这样一些特殊情况、特殊场景时，在发现事实、司法能动方面能否再多做一些拓展，比如“算法”无法公开、无法查明，在这种情况下是否可以创设一些合理的制度来解决相应的问题。

▲上下滑动查看▲

吴卫明

上海市律协互联网业务委员会主任

吴卫明主任认为《个人信息保护法》第24条关于自动决策的内容，即自动化决策应提供不针对个人的选项，以及通过自动化决策方式作出对个人权益有重大影响的决定，个人有权要求个人信息处理者予以说明，并有权拒绝个人信息处理者仅通过自动化决策的方式作出决定。对此，有三个方面的问题值得研究：

第一，什么是重大影响？《个人信息保护法》并未界定什么是重大影响，因此，需要法律法规或司法解释，对于重大影响进行细化的界定。

第二，算法的打开和讨论应该到什么层面？算法分规则层、参数层、训练数据层，讨论算法实际上就是要讨论算法在哪个层面的规则意义，哪些是算法质量问题，哪些是违反公序良俗问题。

第三，算法如何分级分类治理？依据《个人信息保护法》第24条，无论是提起知情权之诉，还是提起侵权之诉，对算法的分类分级管理如何去体现。如果司法程序打开算法，如何进行司法评价，需要法律共同体作进一步深入思考。

▲上下滑动查看▲

钱斌芳

长宁区市场监管局执法稽查科副科长

钱斌芳副科长认为市场监管部门目前主要是关注算法价格歧视、差异化定价的问题，也即是否利用消费者个人信息进行分析筛选，并针对个人特征收取不同价格。若刺破面纱，直接获取消费者的心理价位为企业获利，则涉及违法。价格歧视分三级，最严重的是完全榨取了剩余价值，根据消费者的购买力、社会阶层、支付意愿等信息，采取同质不同价的做法。而监管难点在于算法的不透明性，即“算法黑箱”。

原因有三：一是算法公开存在障碍，涉及商业秘密；二是算法理解受专业限制，难以破解算法的技术目的；三是算法破解成本过高，行政监管中需考虑履职成本。

同时，加强监管需强化源头治理和司法导向。一是从源头治理上维护消费者个人隐私。按照《消费者权益保护法》第29条的规定，经营者收集个人信息应合法、正当，明示收集目的、方式和范围，取得消费者同意。二是司法裁判先行先试，将“差别性影响”作为认定标准，可以参照美国等域外判例，以结果为导向，适用无过错责任原则。

▲上下滑动查看▲

奚海生

爱奇艺上海法务合规负责人

奚海生负责人从个性化内容推荐、个性化广告、精细化营销三个方面介绍了算法在企业的应用、可能产生的社会问题及企业在落实社会责任上采取的一些措施。

一是在个性化内容推荐方面，企业要在算法技术上运用去重、打散、过滤等手段，再加上企业运营推荐策略上做功夫，避免用户陷入因算法形成的信息茧房，还要保障消费者知情权，根据要求对相关算法进行备案，在相关页面向用户告知算法应用情况。同时对用户不感兴趣内容，要有退出和控制措施，比如关闭推荐、删除数据、修改画像等。

二是在个性化广告推荐方面，用户会感觉自己的隐私信息被泄露和滥用，对此，第一，明确精准化广告是基于广告平台和购物平台之间的设备标识符打通，而非直接将个人搜索、浏览记录进行共享；第二，技术上通过各种隐私计算的方式完成设备标识符的求交，双方并未实际掌握对方信息，确保数据的独立和安全；第三，明确告知用户个性化广告的信息，并按照监管要求将算法进行备案；第四，要给用户充足的选择权，要有关闭和拒绝的选项；另外最后，目前的设备标识符，各平台尽可能不再收集不可变标识符，而改为经用户许可后收集可变标识符，用户可随时重置设备标识符，从而解除绑定关系，降低推荐的相关度。

三是算法运用在部分精细化营销方面，即部分合理场景的差异化定价，比如给新用户优惠，给老用户召回优惠，给偏远地区人群优惠等，但一些合理场景如应用不好很容易变成“价格歧视”。建议企业如果在差异化定价时把价格差异的原因、理由更清晰明确的告诉用户，保护用户的知悉权，避免信息不对等带来的误解，从而可以有效避免不必要的投诉或纠纷的发生。

▲上下滑动查看▲

研讨小结

研讨小结由华东政法大学法律学院教授高富平作最后总结。

高富平

华东政法大学法律学院教授

“算法的社会责任”是华政与长宁法院共同合作的课题，课题组梳理了长宁法院近几年的相关案例，形成了初步的报告。我们认为算法的各种责任实质上是一种社会责任，这是因为如果把算法作为一种工具的话，它就回归到整个社会的应用当中，本质上所有的法律规范均可适用。此外，我们还提出，目前算法最大的问题就是有其不可解释性、操控性，甚至存在算法黑箱，所以才由此产生了算法责任。这在本质上是协同算法应用各方的使用者问题，要让参与各方在可接受水平上尽量产生正面的社会效果，算法利用者需要对各方利益负责。

整理 | 刘彬华

编辑 | 王雨堃 谢钱钱

点分享

点收藏

点点赞

点在看

原标题：《上海长宁法院“算法的社会责任”研讨会综述》

阅读原文