赵伟｜数字时代的医疗算法歧视及其法律规制

原创 赵伟 上海市法学会 东方法学 收录于合集 #上海法学研究 948个

赵伟

天津师范大学法学院讲师

要目

一、医疗算法的产生及其应用

二、医疗算法歧视的类型

三、构建医疗算法歧视的法律治理体系

结论

算法在医疗保健领域里的应用大大提升了病患的治愈率，推动了医疗技术的跨越式发展和进步。它被应用于分析肿瘤图像、辅助医生为患者选择适合的治疗方案。但是它的广泛应用也产生了一些新的潜在风险。通过重点关注未受法律监管的算法技术产生的歧视性医疗损害，可以对此提出可供参考的法律规制路径。算法在医疗领域已经不再是一个新鲜事物，它的应用越来越普遍。在对数百名医疗行业从业人员进行的一项调查发现，89%医疗行业从业者认为，算法大大提高了医疗保健的效率；91%的受访者认为，算法提高了患者获得医疗保健的机会。算法在给医疗事业进步与发展带来重大利好的同时，也带来了以算法歧视为代表的隐患。医疗领域的算法歧视频发，主要体现在少数群体享有的医疗福利远远低于多数群体。使得他们无法平等地享有与“主流群体”一样的医疗保障权利。在算法领域尚未形成“公平”的共识性概念。作者认为医疗公平至少应该包括三大要素：分配公平、过程公平、结果公平。确切地说，医疗分配公平要求医疗算法能够平均地分配医疗资源；医疗过程公平要求医疗算法公正精准地为每位患者医治，不论是多数群体还是少数群体；医疗结果公平要求在结果上，无论是多数群体抑或是少数群体都能通过医疗算法受益。

一、医疗算法的产生及其应用

医疗算法的产生与应用

1.医疗算法的产生

“人工智能”（AI）指的是计算机模仿人类行为和学习的能力。计算机学习是在算法的帮助下进行的。算法是一种计算过程，它以大量的数据采集为依托，输入一些数值或一组数值，经过已设定的程序运算后产生新的数值。因此，它是将输入转换为输出的一系列数值计算步骤。医生经常借助人工智能帮助他们做决策或者代替他们直接决策。他们在医疗人工智能系统中输入患者的症状、病史和人口统计信息，经过算法计算后获得诊断结果或推荐的治疗方案。算法可以根据收集到的患者信息，总结每位病患个人的患病特征，推荐正确的用药剂量和治疗方案，以实现治疗效益。

人工智能的一个大分支是机器学习（machine learning，简称ML），它使计算机能够“自动总结数据中的规律，并借助规律来预测未来的数据或在不确定的情况下执行决策任务。”从根本上讲，机器学习是指发现数据集中变量之间相关性的自动化过程，并对某些结果做出预测或估计。它是从大量的数据中总结规律并作出决策而不是像普通算法那样按照设定的规则输出决策。科学家通过向机器学习算法输入数据信息的方式，训练它们进行自动化数据分析和决策制定工作。例如，科学家会学习算法展示大量的肿瘤X射线或扫描结果，并告知它们哪些是癌症，哪些不是。这些输入的数据被称为“病情标签”。然后，算法会根据肿瘤图像的模式区分良性和恶性肿块，以便在显示新图像时能够识别癌变肿瘤。一旦数据科学家确定该算法的测试性能合格，它就可以对未知的“病情标签”进行“身份画像”和分类。

一些算法只接受过一次数据训练，而其他算法则会随着时间的推移不断学习和适应。如果一个算法是自适应的，并且永远基于其真实世界的经验进行学习，那么个体数据输入后生成的算法结果可能会随着时间的推移而改变。算法经常测评来自电子病历数据库或互联网等的被称为“大数据”的大量病患信息，以挖掘隐藏的规律或模式。“大数据”是指数量大、种类多、产生速度快的数据。在医学领域，大数据可以来自患者、医院、保险公司、制造商、政府，甚至是智能手机和可穿戴电子设备等移动设备。

2.医疗算法的运行程序

（1）收集医疗健康数据

数据的采集已经十分普遍和广泛，在与健康有关的数据方面尤其如此。过去，大多数关于个人健康的数据要么是通过自我报告收集的，要么是通过医生诊视收集的。医疗数据采集受限于任何可用的观察工具和临床诊视的时间。关于健康人口的基本健康状况的陈述，如“正常平均血压”或“正常平均心跳”是基于对几百名或数千名健康人进行简短测量的研究。

在过去，除温度计等仪器外，用于收集数据的仪器往往过于庞大、昂贵和复杂，难以广泛使用。而今这种情况已彻底改变。收集个人健康状况信息的工具被广泛使用。这些仪器的先行者是移动健康应用程序和可穿戴健身监测器。美国最近的一项调查发现，超过一半的受访者下载过健康应用，其中近三分之二的人每天至少打开一次健康应用。在美国，每十个人中至少就有一个人戴着健身监测器。数以十万计的健身监测应用程序已经存在，而且这个数字还在增长。这些监视器以及相关的应用程序都可以收集健康数据。衡量和观察健康状况的移动技术的进步与应用程序的数量和复杂性的增加一样令人印象深刻。大量的诊断应用程序、插件和加密狗允许进行复杂的观察，包括可以识别病原体的传感器和可以执行X射线的插件。新材料和纤维的发展也使人们能够通过日常用品（如衣服、鞋子、床单）来监测和观察健康状况。在不久的将来，小型磁共振成像仪将被广泛使用，并易于连接到数字接口。这些设备和程序已经可以收集大量的信息。消费者使用的移动设备可以不断收集有关健康方面的信息，如血液流量、血压、血糖、身体化学、自主神经系统的变化、心率变动性、是否暴露于紫外线下、血红蛋白水平、乳酸水平、肌肉运动、氧合、睡眠习惯以及体温等诸多个人健康数据。这些和其他用于收集日常健康状况数据的技术—10年前还几乎不存在—已经广泛可用，可能很快就会无处不在。健康数据收集将成为日常生活中几乎看不见的一部分。这些设备将收集和传输大量的健康数据流。而且，随着人工智能技术的发展和进步，数据收集将是恒定的、瞬时的和自动的，不再局限于医院诊所和医生与患者的记忆之中。

（2）整合医疗健康数据

美国联邦贸易委员会将数据整合描述为医疗算法过程的第二步。就个人而言，数据整合是通过使用电子病历而实现的。电子病历可以实现对每位病人的病情跟踪记录，根本不需要借助医护人员的辅助。在美国，联邦立法强制医护人员使用电子病历。美国《健康信息技术促进经济和临床卫生法》 （Health Information Technology for Economic and Clinical Health Act，通常被称为“HITECH法案”）为医护人员使用电子病历提供财政补贴。由于HITECH法案的激励，美国大多数医院系统和诊所医生现在已经采用了电子病历记录系统。事实上，这些记录可以很容易地跟踪一个人从一个地方到另一个地方，从一个提供者到另一个提供者，这意味着这些医疗历史将成为生活历史。

在过去，技术根本无法支持对人的健康状况进行长时间的多点数据实时聚合。一些长期研究试图对一组患者进行长达几十年的跟踪，但这些研究费用昂贵，而且失去了对大量受试者的跟踪。大部分的生活历史依赖于记忆和自我报告。这些生活史非常有价值，但数量少、细节少。电子病历改变了这一点。生命的历史曾经以数百或数千计，很快就会以数百万计。过去的生活史只涉及几个数据点，很快就会包含一个人每一秒的健康状况的全面数据。此外，记录保存的电子化、长久化和标准化使对数万、最终数百万、在不久的将来甚至数十亿的健康历史进行有意义的比较成为可能。

通过健身应用程序收集的数据、监测网络搜索、监测购物和其他日常活动也提供了有关健康的宝贵信息。这些数据是由商业数据代理存储和分发的，根据其本质，这些代理以容易检索的方式存储数据。总的来说，可供医疗算法分析的数据非常丰富。

（3）分析医疗健康数据

数据分析包括检测数据中的模式和趋势。算法预测分析带来的主要隐私难题是，数据挖掘在很大程度上依赖于公共信息，但其可以在私人信息公开之前就将其暴露出来。在医疗保健行业，医疗算法数据分析往往以不同的方式运作。大量的私人数据倾向于以人口为基础进行分析，而不是以个人的水平进行分析。然而，医疗保健数据分析还处于起步阶段。在对数据集和现有项目进行全面回顾，并与商业中数据分析的轨迹进行比较之后，有学者提出了医疗算法四个广泛的潜在领域：第一，是发现护理模式，即对疗法的有效性和患者的满意度进行分析和评估；第二，是在非结构化数据中找到模式，这将使研究人员能够研究之前隐藏在大量医疗数据中的关系；第三，是预测疾病表现；第四，是可追溯性，以全面、精细、易懂的方式有效地分析、整合不同病患的医疗病历。例如，对数以万计装有位置和时间传感器的吸入器收集的数据进行分析，可以深入了解引发哮喘的环境因素；对从社交媒体和新闻报道中收集的数据进行分析，可以帮助完成绘制传染病事件地图这一重要任务，这是传统分析所没有做到的；随着人类活动继续影响环境，对环境和健康数据的分析可以发现对人类人口的溢出效应。

这些只是对医疗保健数据的可能分析的说明。这些分析项目中的每一个，以及数以千计的其他项目，都可以增进对世界广大人民健康和总体福祉的了解。对人类算法未来的批评，往往集中在对自主和隐私的可能侵犯上。然而，在医疗保健领域，算法分析预示着真正的好处。

（4）使用医疗健康数据

目前，医疗算法的好处还只是初步显现。算法医疗还处于起步阶段。机器确实会做出决定，但大多数情况下，这些决定只针对单一的疾病或症状。算法医学允许用户以外的传统医疗设施为暴露于艾滋病毒测试，测试咽喉炎和流感，诊断病人是否心脏病发作，检查新生儿是否患有白瞳症，检查视力，检测糖尿病、肾功能衰竭和泌尿系统的疾病，量化血液中的寄生虫数量，甚至进行超声波检查。这些医疗算法应用程序一直保持着高质量的诊断和治疗。例如，在非洲进行的实地研究表明，移动电话的诊断应用相当于或超过在实验室进行的血液检查的准确性。这些模式和趋势将使医疗算法的创建成为可能。许多输入数据本身可以从嵌入日常用品和可穿戴设备的探测器收集和存储的数据中检索。然后，一台机器将对数据进行分类，并根据从其他数以千万计的病例分析中识别出的趋势和模式，使用基于这些趋势和模式的规则，诊断出可能的疾病。

对大量数据的分析不仅能识别疾病表现的模式和趋势，还能识别有效治疗的模式和趋势，而这些模式和趋势将使医疗算法在药物治疗方面发挥重要作用。因此，医疗算法不仅会做出有关疾病诊断的决定，而且还会针对特定的个人提出定制治疗建议。科斯拉预测，“正如我们所知，技术将重塑医疗保健。不可避免的是，在未来，大部分医生的诊断、处方和监测工作将被智能硬件、软件和测试所取代，随着时间的推移，这些工作可能会占医生问诊总时间的80%。

医疗算法的革新与利好

医疗算法带来了巨大的利好。大数据和机器学习可以帮助医护人员探索新的医疗关系和新的治疗方法，将他们日常工作中的许多低级任务自动化，提高护理的总体水平。上述每一种情形都会给卫生保健领域带来实质性的变化。

通过允许医学专家快速有效地分析医疗大数据，医疗算法可以产生许多好处，例如以更低的成本为公众提供更好的医疗保健服务。如果将部分医疗工作交由算法，医院可以降低人员成本，更快地完成医疗任务。

医疗算法对医生、医学研究人员和医疗政策制定者有重要意义。算法可以帮助医生预测哪些患者的治疗结果可能不佳，并据此调整治疗方案；还可以帮助医生识别高危人群，据此医生可以定期对他们进行特定疾病的筛查。此外，它还可以分析电子病历，以确定哪些患者适合进行临床试验，以便医学研究人员招募他们做志愿者参加医疗实验。医疗算法可以加速医疗科学发展，因为它可以测评医患数据，并识别未知的疾病类型、病因以及出具诊断结果。

1.医疗算法推动了个性化医疗的发展

个性化医疗代表了现代医学的巨大进步。个性化医疗可以降低医疗成本，减少医疗风险，提高医疗效率。医生们已经在使用越来越多的个人数据，特别是诊断性基因测试，来为每个病人量身定制治疗方案。这些治疗中的差异反映了人类之间固有的差异，患者的差异和治疗的变化之间的联系被仔细检查、测试和临床验证。个体化医疗有可能挽救和延长生命，避免不必要的治疗，并加快和简化药物发现过程，但只能使用有限的关系。个性化医学与基于传统临床试验的医学模式不同。要求临床试验来证明药物的疗效已经导致了巨大的进步，确定了哪些药物和治疗方法有效，哪些无效，以及哪些比其他更好。

历史上，大多数临床试验都是在不区分患者的基础上进行的，大多数药物都被批准广泛使用。临床试验通常被设计为广泛适用于人群，因此药物同样被广泛批准，而不是亚人群。这种方法为平均治疗效果提供了强有力的科学证据，但忽略了患者之间的许多差异。

个性化医疗旨在通过识别病人生物学特征、诊断和治疗选择之间的科学联系来解决这个问题。它的目的是让医生和患者更好地选择治疗方案根据这一点。该分析提供了一种能力，可以将个体按其对特定疾病的易感性或对特定治疗的反应不同进行亚群分类。

2.医疗算法促进了医学的革新与进步

医疗算法通过揭示和使用新的信息来拓展医疗保健的边界。人类生物学是非常复杂的，我们理解它的工具是有限的；人工智能有望发现并利用复杂的潜在关系来改善医疗护理现状，发现新的治疗方法，并提出科学假设。IBM旗下的沃森药物发现公司（Watson for Drug Discovery）利用人工智能识别可能与阿尔茨海默氏症有关的基因，并将它们标记为新药的潜在靶点。类似地，算法系统可以实现我们现在做不到的事情：一种可穿戴设备可以通过分析人的步态来预测中风的发生；算法可以通过监测电脑鼠标的抖动和网络搜索的特征来发现帕金森病的发作；算法还可以通过观察患者中目前通过医学分析无法检测到的细微分组，来预测哪些患者对特定治疗的反应更好。所有这些可能性都有望突破当前医学知识的前沿。

3.医疗算法提高了治疗效率，促进了医疗自动化

医疗算法的第三大利好是将医疗工作自动化。现在的问题是，很多医疗实践的任务并不是真正的医学实践；相反，它们把注意力集中在文书工作和日常工作上，这些工作通常对病人没有多大帮助，反而会导致医生精疲力竭。一项研究发现，医生花在电子病历和案头工作上的时间几乎占据工作时间的一半，而给病人看诊的时间只有四分之一。医生平均每天有3.08小时的出诊时间和3.17小时的撰写病例时间。即使在检查室里，医生与病人互动的时间也只有大约一半，与电子病历和案头工作互动的时间约为三分之一。算法能够将部分医疗工作自动化，这会对医疗服务产生深远影响，甚至有可能改善医患关系。

医疗算法自动化，虽然不像推进医学前沿那样令人兴奋，但仍可能使医疗实践变得更好。例如，算法可以自动识别并突出显示患者医疗记录中最相关的医疗信息，从而减少医生在记录中滚动查找信息的时间。以前从患者记录中提取症状信息的手工过程可以通过自然语言处理实现自动化，从而减少医生花费的时间。它可以基于自然语言处理为医生提供与病人病情最相关的医学文献；算法的语音识别系统可以自动记录医生与病人的对话并在之后填写病例。这样的帮助也可以减少转录错误的比率，甚至提高隐私，因为细节是由机器而不是医疗抄写员读取；算法还可以分析和指导医疗资源的使用。根据患者的病情将适当的医疗资源分配给患者，改进诊疗工作流程，甚至找到优化医疗计费的方法。

4.医疗算法推动了普惠医疗的进程

医疗算法有望使医疗专业知识和实践大众化。今天，在不同的环境下，病人所接受的治疗与护理在质量和水平上存在着巨大的差异。例如，患者是否可以去看专业的眼科医生或皮肤科医生，而不是依赖于社区的初级保健医生。医疗算法有望通过“升级”来减少这种差异—允许更多的主任医师或高水平医师提供诊视和治疗，实现医疗惠及大众。虽然收集数据、训练算法和验证算法性能都是困难和昂贵的，医疗算法的可扩展性是人类专业技术所不能比拟的。复制现有的算法用于另一种环境要比培训一位医生完成同样的任务容易得多，成本也低得多。当然，这种复制并非没有成本，而且在某些情况下，正确地进行算法复制可能实际上比研发新算法更昂贵。

第一，在疾病诊断方面，医疗算法可以基于模式识别，可以帮助普及诊断专业知识，即使在没有优秀的医学专家的情况下也可以获得这种专业知识。算法诊断不仅仅是普及专业知识，还可以取代非常简单、常规的诊断，或为我们指明以前未被认识到的疾病变体。但在某种程度上，许多疾病可以由专家诊断，而不是由缺乏经验或专业知识的人诊断，医疗算法可以帮助弥合这一差距。

眼科诊视中用于糖尿病视网膜病变的IDx-DR软件就是算法提升医疗诊断水平的一个例子。糖尿病性视网膜病是一种糖尿病导致视网膜小血管丢失的疾病：新血管的生长会导致视力问题。目前的治疗方法是糖尿病患者每年需要去眼科医生那里检查视网膜病变的迹象，以便在视网膜恶化之前就开始治疗。但这需要定期去看眼科医生，这对很多患者来说并不容易，甚至是不可能的。

IDx-DR软件使初级保健医生（或其他非专业从业者）能够使用自动化相机对视网膜进行成像；然后用算法对这些图像进行分析，该算法训练有素，使用的是标准的视网膜图像数据集（由眼科专家进行注解）。该算法的诊断结果如果是轻度以上的糖尿病视网膜病变，患者可以寻求进一步的治疗；或者在一年内复查。IDx-DR软件被美国食品和药物管理局批准用于这一级别的自主诊断，执行水平可与眼科医生媲美。大多数眼科医生（以及他们的辅助摄像技术人员）都拥有诊断该疾病的专业知识。IDx-DR为没有相关经验和专业知识的初级保健医生带来了同一水平的专业诊断知识。

第二，在病人治疗方面，医疗算法同样可以惠及大众。最著名的例子是IBM公司研发的算法在肿瘤患者治疗方法中的应用和推广，被称为沃森疗法。沃森疗法使用算法的自然语言处理和分析患者的医疗记录，以确定癌症类型，然后提供治疗建议。沃森疗法是“算法决策+人工决策”的混合决策。在此之中，算法参与了疾病治疗的初级阶段，但治疗方法和建议是由纪念斯隆凯特琳医院的肿瘤学家做出的。沃森疗法实际上是一个决策支持工具，它基于斯隆凯特琳医学院的一个医生委员会在遇到各种症状和场景时所说的建议，提供了预先编程的建议。IBM使用算法有偿的普及医学专业知识，该公司授权沃森疗法在全球数百家医院使用。

尽管研发医疗算法需要成本，但与通过培训和雇用新的医学专家来改善护理相比，其成本要小得多。算法可以真正改变资源匮乏环境下的医疗护理。截至2016年，利比里亚450万人口中有298名医生，其中只有15名儿科医生和6名眼科医生。在印度农村，一名医生负责多达3万名村民的疾病诊治。在这种医疗资源匮乏的环境中，医疗算法从事简单的诊断和治疗工作，对需要寻求进一步诊治的患者进行分类，并在医疗机构中帮助医生完成得更复杂的任务。在印度，医疗资源短缺也延伸到了眼科，谷歌人工智能团队已经将研发的医疗算法应用于那些无法请眼科医生进行眼部年度筛查的患者之中，用以诊断他们是否患有糖尿病视网膜病变。

进一步的研究表明，智能手机可以参与到医疗算法之中，这会进一步降低算法治疗的障碍。总的来说，尽管算法有潜力在相对高资源环境中逐步改善医疗，但它可能会在资源非常少的环境中彻底改变医疗。

二、医疗算法歧视的类型

在某些情况下，人工智能缺陷可能产生歧视性结果，可能会严重损害某些患者群体的利益。人工智能算法歧视主要由于以下三个原因产生：第一是因数据本身缺失或者错误产生的算法测评错误；第二是测试算法的数据集自身不足或者偏差导致算法结果不能准确适用于所有人群；第三是测试算法的数据模式存在歧视导致算法延续了这种不公平结果，这被称为“反馈回路歧视”。

医疗算法测评结果歧视

用于测试算法的大数据中可能存在错误信息。事实上，一些病人的病例中有大量的错误或误导性数据。研究结果表明，大型临床数据集可能缺乏算法产生独特关联结果所需的准确性和质量。数据质量差必然导致算法性能差，有时表现为“垃圾输入—垃圾输出”。

在数据采集中，弱势群体在现实中面临着没有医疗保险、子女医疗保障甚至无钱就医等诸多困境。他们还往往缺乏初级保健医生，在寻求医疗服务时要到多个机构就诊，因此他们的记录是支离破碎的，不包含全面的信息。由于数据缺口，人工智能算法可能无法识别出这些患者是否患有该算法旨在识别的疾病或健康风险。此外，低收入者可能会去私人诊所寻求治疗，那里的医生对记录不太仔细。从这些机构收集的数据可能比来自高收入患者经常光顾的公立医疗机构或是高端私立医疗机构的数据有更多的错误。

医疗算法选择性歧视

当算法产生了出乎其设计者意料的结果时，就会出现算法偏差。这是因为它的测试数据存在缺陷，或者它被应用于超出算法程序设定之外的患者群体。大数据可能会受到算法选择性歧视的影响。如果测试数据来自于低收入群体，算法的预测结果可能就不适用于所有群体。

三、构建医疗算法歧视的法律治理体系

医疗算法监管主体可以是与此相关的多个利益人。病患个人、算法设计者、医院、医生等算法使用者和政府都可以在促进医疗算法公平方面发挥作用。构建医疗算法歧视的法律治理体系主要包括以下几个方面：

制定专门的医疗算法问责法律法规

规制医疗算法歧视的另一种立法途径是制定法律法规，建立对算法的监督，促进人工智能的完整性。为此，美国参议员于2019年4月10日在第116届国会提出了制定算法问责法。该法案基于对歧视的关注，目的是“要求算法设计者和使用者，识别这些系统中的偏见，并纠正他们发现的任何歧视或偏见。”算法问责法强调要设立独立的第三方监管机构，这一机构主要承担以下工作：

第一，授权联邦贸易委员会制定法规，授权第三方监管机构对高度敏感的算法自动决策系统进行影响评估。

第二，要求第三方监管机构评估算法自动决策系统所使用的测评数据以及输入数据，以确定数据是否存在不准确、带有偏见或歧视色彩、侵犯个人隐私或危害国家安全等问题。

第三，要求第三方监管机构评估算法系统保护数据主体隐私的程度，并确保数据安全。

第四，要求第三方监管机构解决它们在算法影响评估期间发现的任何问题。

第五，第三方监管机构要定时将对算法作出的评估结果向社会公开公布，受公众监督。

目前，至少有几个州的司法管辖区已经开始关注人工智能实践的完整性。2017年，纽约市议会 （New York City Council）成立了一个工作组，制定法律规范，以推动设立纽约市算法使用的公共问责机制。该工作组于2019年11月发布了报告，该报告强调了在使用算法自动决策时“强调公平、公平、问责和透明”的重要性。2019年，华盛顿州的立法者就一项算法问责法案举行了一场听证会，该法案为州政府“采购和使用自动决策系统”确立了指导方针。

完善医疗算法的设计、应用和监控机制

为医疗算法制定质量控制法规是适当和必要的。其中一些措施可以在算法问责法或相关规定中强制规范；其他措施则应由算法设计人员和用户共同实施。这一部分概述了算法设计者和用户为防止算法歧视可以采取的各种干预性措施，还解决了算法公平中的模糊之处和一步需要展开研究的领域。

1.将算法公平理念注入医疗算法的研发之中

由于研发算法是软件工程的一种形式，确保其公平性和整体质量需要算法设计者在研发算法之初就特别注意算法公平性。良好的算法研发项目通常包括一系列阶段，诸如需求分析和说明、设计、运行、评估、入市和使用。

首先，算法需求分析和规格说明包括确定和记录：为了满足用户和其他涉众的需求，算法必须具备的功能和属性。为了确保需求是完整的，算法研发人员应该从每一个不同类别的潜在用户和其他涉众那里收集数据。就医疗算法而言，相关利益方包括：患者群体代表、医生、护理人员、卫生信息学家、数据学家和反歧视领域的专家学者。需求分析应确定算法的公平性要求和其他伦理要求，以及它的医疗目的、它将被使用的情况、它的输入和输出数据，以及它的性能、实用性、可靠性和安全性等。算法需求分析规范应该通过经由相关利益方审查，最好可以在产品版本准备好之前通过一个预测模型实现算法与用户之间的交互用户可以与之交互，以便使用者对其进行评估。

其次，算法设计包括设计算法的组件、它所需实现的功能和遵守的规范、它的接口和交互、算法组件之间的数据流和控制，以及算法应用程序的用户界面。在医疗算法应用中，数据学家还须确定算法或预测模型的类型、算法的具体输入数据和所对应的输出结果。

再次，算法运行涉及到编程方案，通常是通过编写新程序代码和利用现有代码的组合方式完成的。算法运行时，根据上一步骤中的需求分析对数据、参数、设置和其他细节做出特定选择。此外，为了使他们的软件对医疗工作者有用，开发人员必须实现一个直观的用户界面来指导用户适当地调用算法来帮助解决特定的医疗问题。随着算法组件的获得或开发，它们与其他组件集成到整个算法工作系统之中，使得算法具有越来越完备的功能。

公平性问题可以在算法设计或运行步骤中出现。因此，算法研发和运行的所有阶段都需要注重公平正义。如果在算法设计和测评运行之初，公平问题就能被研发者予以重视和解决，就大大降低了由于算法歧视导致损害的风险。

医疗人工智能算法还有一个非人工智能软件没有的额外实施阶段：用来自真实患者的数据测试算法，包括表现出符合算法预设条件的个体数据和不符合条件的个体数据。

此外，对于所有的应用软件而言，最终也是最重要的验证形式是评估。软件在研发人员创建的一组测试用例或自动生成的工具上进行评估。算法评估主要是测评算法的行为和输出是否符合开发人员的目的和用户的期望。通常，开发人员在内部评估算法，用户在终端现场评估。

同一般算法软件相比，医疗算法软件的评估范围和种类要多得多。我们建议，在医疗算法发布之前，开发者应该在一个非常大的、具有代表性的患者样本上评估它的安全性、有效性和公平性，这些评估算法的样本要与他们最初用来测试算法的数据样本区别开来。

算法研发者应该在算法过程中收集以下信息：1.测评算法的准确率，即算法正确诊断患者的比例；2.测评算法的灵敏度（算法在疾病出现时检测出该疾病的能力）和特异性（在没有罹患该疾病的患者中排除该疾病的能力）；3.算法分配医疗卫生资源的公平性。

最后，在算法入市和使用方面，只有在所有利益攸关方仔细评估了算法测评结果后，医院才能决定是否允许算法应用在日常的疾病诊断和治疗之中。开发人员和用户应该在算法的整个运行生命周期中不断地监控和评估算法的可靠性、安全性和公平性。在算法工作期间，评估可以不那么密集。例如，专家可以审查算法随机抽样使用的记录。然而，如果算法发生了变化，那么应该像初次使用算法之前那样严格地评估算法，以确保变化不会意外地植入算法缺陷。最后，开发人员还应该提供一种反馈或投诉机制，用户可以通过该机制报告他们遇到的算法歧视或其他问题。

2.加强算法监管，干预医疗算法歧视

适当的验证、审计和监控可以发现算法歧视，适当的干预措施通常可以解决这些问题。如果一个算法无法被修复，为避免对用户造成伤害就应该放弃或有选择地使用。在预测哪些病人会错过预约的算法中专家们重新设计了算法，删除了财务状况和体重指数等个人属性，只留下以前使用医疗保健的历史和有关预约的信息，以减少但不消除其歧视性影响。在这种情况下，算法在甄选参加高风险管理护理项目患者时，算法设计师通过将未来成本变量替换为一个将健康预测与成本预测结合起来的变量来解决其不同的影响。

算法专家们正在研发一系列软件工具来推动人工智能领域的算法平等。其中的一个典型是IBM研发的360算法平等软件。这是一个开源软件工具包，它允许算法开发人员使用最先进的算法定期检查算法偏见。一些算法用户和医疗机构自己研发算法，一些使用第三方研发的算法。使用从外部供应商获得的算法的医疗机构要为算法产生的歧视性结果负责，因此他们应该更好地审核这项技术及其影响。

美国联邦贸易委员会（FTC）于2020年4月向其管辖范围内的各方发布了算法使用指南。指南主要内容为：第一，如果医疗机构及其工作人员基于算法决策拒绝患者要求，需要说明原因；第二，如果你使用算法给患者进行罹患某类疾病的风险评估，需要按照重要性排名公开影响该项评估的关键因素；第三，不允许对任何群体存在歧视；第四，既要注意算法输入数据的准确和公正，也要注意输出数据的准确和公正；第五，确保使用的算法模型经过反复的测评和验证；第六，确保算法按照预期工作，不会出现非法歧视。上述算法使用指南完全适用于使用算法的医疗机构与医疗工作者。

3.将“知情—同意”原则贯穿医疗算法的应用之中

医疗机构和医护人员应在治疗前与患者说明用于治疗的算法。GlennCohen教授分析了未披露算法的使用是否构成了对“知情—同意”原则的违反。“知情—同意”原则规定：“如果医生没有将拟议治疗或不治疗的风险和好处告知患者，则可追究其责任。”然而，正如科恩教授所指出的，“在某些情况下，临床医生可以通过披露和获得患者的同意来保护自己免受责任。例如，如果医生打算完全依赖人工智能做出重要决定”。即使没有责任的危险，为了与患者坦诚相待，让他们充分了解自己的治疗，医生与病患说明算法的使用也是正确的做法。此外，患者还应该被告知算法可能出现的不准确诊断，无论是过度诊断还是算法技术导致的误诊。

建立医疗算法的评估与监管机制

传统的医疗监管模式已经不能适用在医疗算法自动化决策监管之中。行政机关应重点审查监管在不透明的医疗算法。并在监管标准中增加算法公平性监管的要求。

医疗机构及其工作人员应始终对算法的输出结果保持警惕，并尽力发现任何歧视性结果。知名律师事务所众达律师事务所（Jones Day）建议客户使用第三方研发的算法软件来评估医疗机构所使用的的算法是否存在歧视和偏见。斯坦福大学的一组研究人员建议，使用算法进行治疗的医生应该明确知晓并告知患者医疗算法采集的数据集、运行机制及其局限性，以避免算法“道德失范”。使用算法的临床医生必须做好准备，一旦歧视问题变得明显，就应立即进行干预。例如，当医生意识到设计用于预测就医预约失约的算法对弱势群体有不利影响时，他们就应暂停该算法的使用，以避免其从弱势群体那里转移医疗资源。另外，患者的数据及其采集方式也会随着时间的推移而变化，最初使用时没有问题的算法也可能对新患者群体产生歧视性结果。

随着时间的推移，医学界可以制定关于减少医学算法歧视的临床实践指南。虽然医疗机构与医务工作者无法评估医疗算法是否存在歧视，但他们可以对算法的使用情况和质量进行评估。至少目前，医疗机构及医务工作者应该认识到，他们不应该盲目地相信算法，让它完全不受约束。

建立医疗算法歧视诉讼救济机制，保障患者

大多数医疗算法开发者都是出于善意，并真诚地努力通过他们的工作改善人类健康。然而，如前所述，由于输入数据的差别性影响，算法可以产生歧视性的结果。假设医生应用一种算法来帮助诊断所有患有某种疾病的患者，该算法是一种面部中立的机制，医生没有歧视任何患者的意图。然而，如果该算法使某类人群处于不利地位，其使用可能是非法的。算法歧视会伤害患者，加剧医疗待遇不公。随着算法技术的发展与完善，更多的医生使用算法进行医疗诊断，传统的医疗事故（医生玩忽职守和鲁莽）概念变得更难适用。无论是否涉及人工智能，在诊断或治疗过程中受到伤害的患者都可以求助于侵权理论。例如，受侵害的患者可以依据侵权理论向导致医疗事故发生的医生、医院、算法设计者和算法应用程序供应商提起诉讼。

根据目前的法律规定，就像其他差异性影响索赔一样，如果被告使用的算法是出于商业需要，比如当一个算法真正帮助医生做出合理的治疗决定时，被告就不会为歧视承担责任。因此，如果一种算法被证明能够持续地提高疾病诊断和治疗的准确性，它的使用就是合法的。

因此，保障个人诉讼作为政府监督的补充和对算法合规的激励是有益的。为此，应立法明确禁止差别影响歧视，并增加受侵害个人的个人诉讼权利。

结论

算法公平是算法技术设计、实施和有效的核心。法律和科技是促进社会公平正义的重要因素。算法依靠数据运行，数据质量对于算法至关重要。电子病历和医疗保险等数据来源可能充满错误、系统性偏差和数据缺口。此外，因为弱势群体面临获得医疗保健服务的障碍，算法运行所依赖的数据集可能太小或不够多样化。更严重的是，如果收集的数据本身就带有歧视或不平等，那么依据此产生的算法结果只会延续或者加重这种不平等。

原标题：《赵伟｜数字时代的医疗算法歧视及其法律规制》

阅读原文