基于国内外政策分析的医疗人工智能伦理风险治理研究

Research on ethical risk governance of medical artificial intelligence based on domestic and foreign policy analysis

摘要

随着人工智能技术的迅速发展和广泛应用，给人们生活和工作带来便利的同时，也带来了透明度缺失、隐私泄露、自主决策权受限、责任归属模糊等一系列伦理挑战。通过比较人工智能在医疗领域应用的伦理风险治理情况，系统分析了来自10个国家和国际组织发布的30个政策法规，揭示了国际对于医疗人工智能伦理治理的共识与差异。结果发现：透明度、公平公正、不伤害、隐私保护、自由自主、负责任、以人为本是国际公认的7种伦理原则，为构建安全、可信、尊重人性的医疗人工智能生态系统提供了重要指导；此外，深入比较了中国、美国、欧盟的指南中的风险评估方法，发现关于风险类型、风险分级、风险评估流程标准均有不同，这种差异既反映了不同文化、法律背景及监管理念的差异，也提示了在全球化背景下加强国际合作的必要性。因此，建议制定适用于中国国情医疗人工智能伦理风险治理标准和规范，在借鉴国际经验的基础上，积极主动开展风险评估，减少伦理挑战，推动医疗人工智能技术的健康合理应用。

Abstract

With the rapid development and widespread application of artificial intelligence （AI） technology， it has brought convenience to people’s lives and work， while bringing a series of ethical challenges such as lack of transparency， privacy leakage， limited autonomy in decision-making， and blurred responsibility attribution. By comparing the ethical risk governance of the application of AI in the medical field， this paper systematically analyzed 30 policy regulations issued by 10 countries and international organizations， revealing the consensus and differences in ethical governance of medical AI internationally. The results showed that transparency， fairness and justice， non-harm， privacy protection， freedom and autonomy， responsibility， and people-oriented principles were seven internationally recognized ethical principles， providing important guidance for building a safe， trustworthy， and humane-respecting medical AI ecosystem. In addition， this paper deeply compared the risk assessment methods in the guidelines of China， the United States， and the European Union， as well as found differences in risk types， risk grading， and risk assessment process standards. These differences not only reflect diversities in different cultural， legal backgrounds， and regulatory concepts， but also highlight the necessity of strengthening international cooperation in the context of globalization. Therefore， it is recommended to develop ethical risk governance standards and norms for medical AI that applicable to China’s national conditions. Based on drawing on international experience， proactively carry out risk assessments， reduce ethical challenges， and promote the healthy and rational application of medical AI technology.

关键词

医疗人工智能 / 伦理风险治理 / 风险评估

Key words

medical artificial intelligence / ethical risk governance / risk assessment

随着人工智能技术（artificial intelligence，AI）的迅速发展和广泛应用，人类正在进入 “AI时代”，在给人们带来生活和工作便利的同时，也带来了一系列伦理挑战^［1］。2022年3月，中共中央办公厅、国务院办公厅印发了《关于加强科技伦理治理的意见》，将人工智能列入科技伦理治理的重点领域^［2］。为应对人工智能技术应用带来的风险，世界各国相继出台人工智能伦理原则和伦理治理指南，以确保人工智能的发展与社会价值相一致。当前人工智能在医疗健康领域进行了广泛的探索性应用，出现了偏见歧视、隐私、透明性、安全性、责任归属等伦理挑战^［3］。为避免滥用人工智能产生的伦理风险，世界卫生组织（WHO）于2021年6月28日发布了《医疗卫生中人工智能的伦理治理》指南，提出人工智能用于医疗健康的伦理政策和原则。然而，针对医疗人工智能伦理治理问题，中国迄今尚未形成统一的伦理风险治理标准和规范。因此，为进一步完善中国医疗人工智能风险治理体系，本文将对国内外现有人工智能风险治理政策和指南进行系统梳理、比较和分析，总结人工智能伦理原则和风险评估经验，为及时识别医疗人工智能伦理风险、做好风险防范提供参考。

1　资料来源与方法

1.1　检索方法

为了解全球医疗相关人工智能政策和指南，本研究以“人工智能”“医疗人工智能”“伦理政策”“Artificial intelligence”“Artificial Intelligence Ethics”“Medical artificial intelligence”等为检索关键词，检索世界卫生组织、欧盟委员会、中国、美国、英国、加拿大、日本、韩国、澳大利亚、新西兰等国际组织官网和国家政府网站，检索时间为2024年1月9日。

1.2　检索结果

本次共检索出89个AI伦理文件，对检索到的政策文件进行筛选和分类，剔除无效信息，共收集了来自10个国家和国际组织发布的30个医疗相关的人工智能伦理指南文件（见表1）。其中，世界卫生组织1个、欧盟委员会6个、中国7个、英国6个、美国5个、加拿大1个、日本1个、韩国1个、澳大利亚1个、新西兰1个。大多数文件由政府机构（50.00%）发布，其次是由专业协会/科学协会（30.00%）发布和学术研究机构（13.33%）发布。

2　研究结果

2.1　伦理准则

本研究从30篇医疗AI伦理指南中凝练出7个首要伦理准则，并给出了基本解释及其在30个指南中提及的文件数量。准则分别是：透明性原则、公平公正原则、安全性原则、隐私保护原则、负责任原则、自由自主原则、以人为本原则，详见表2。

2.1.1　公平公正原则

英国卫生和社会保健部发布的《数据驱动医疗保健技术的初步行为准则》提出公平公正原则^［4］是指AI系统的设计和使用不偏袒任何特定群体，欧盟的《可信赖人工智能的伦理指南》和《医疗人工智能：应用、风险以及伦理与社会影响》^［5］认为AI技术的应用不应存在偏见和歧视。WHO、中国、美国、韩国发布的一些指南将公平公正定义为尊重多样性、包容性、一致性和平等原则，提出不应区分年龄、性别、收入、种族、传统文化、宗教信仰、性取向、能力或受人权法保护的其他特征，公平公正地对待不同社会群体^［6］。澳大利亚的《人工智能伦理框架》和加拿大的《放射学中与人工智能相关的伦理和法律问题白皮书》指出AI可能对可识别群体的包容性和公平构成威胁，特别是已经被边缘化的群体，医疗AI的设计和实施应最大限度地提高可及性，并采取措施改善不平等，确保所有人都能平等地获得合理分配的服务。

2.1.2　透明性原则

《人工智能伦理治理标准化指南》提出透明度指AI的可解释性、可预测性、可追溯性、可理解性或其他披露行为。提高AI的透明度可以避免“技术黑箱”，英国《人工智能在健康领域的应用》^［7］建议应提升AI的可预测性，确保AI是准确可靠且可被重复试验的，最大限度地减少不可预测的错误。中国《人工智能医疗器械注册审查指导原则》等指南建议定期披露和开源，公开数据处理等相关信息，强制披露风险活动。WHO、欧盟、英国、韩国、新西兰一些指南认为AI系统及其决策应以适合利益相关方的方式进行解释，提出规范数据集、算法、源代码、风险管理等要素，记录操作数据、算法参数、决策逻辑，以方便进行审计和追溯，支撑AI的自身透明度^［8］。

2.1.3　不伤害原则

不伤害原则指应预防和消除非恶意的意外伤害，确保人类、环境和生态系统的安全^［9］。英国、日本、欧盟在不伤害原则的解释上达成共识，将伤害解释为偏见和歧视、隐私泄露或身体伤害^［10］。中国、美国、日本、新西兰、澳大利亚针对不同应用场景提出需要避免特定的风险或潜在危害，《新一代人工智能治理原则——发展负责任的人工智能》提出在设计阶段从隐私性、稳定性、可控性、完整性、非颠覆性等原则出发预防伤害，完成风险识别到风险评估进行全流程管理，进行算法安全评估、个人信息隐私评估、风险评估，最后给出风险控制措施。

2.1.4　隐私保护原则

隐私保护原则是指保护个人隐私数据，确保AI系统在处理和使用个人数据时遵守隐私法规并采取适当的安全措施。保护隐私具有维护人格尊严、提高个人安全感和保护个人权利等作用^［11］。中国、英国、美国、日本和欧盟的法规中特别提到隐私通常与数据保护和数据安全有关。欧盟在《人工智能法案》伦理指南中，提出隐私保护设计，将隐私嵌入设计中默认保护原则，避免AI对数据做出不合法的处理，规范化收集和处理隐私数据，为用户隐私提供全过程保护。

2.1.5　负责任原则

负责任原则指要明确AI系统设计和使用者的责任，确保他们对AI系统的行为负责，并承担可能带来的不良后果^［12］。中、英、美三国建议在AI应用中，厘清对利益相关者的责任和法律责任归属，并且可追责。各指南对可问责性的具体涵义有所侧重，英国、韩国、加拿大、欧盟极为重视建立审查与监管机构，建议明确AI相关方的义务和职责，并评估AI对人类权利的影响^［13］，另外有人集中关注可能导致潜在伤害的潜在原因和过程，新西兰皇家学会发布的伦理指南还强调了对AI自动决策进行纠正和补救措施^［14］。

2.1.6　自由自主原则

阿西洛马人工智能原则的自由自主原则要求使用AI不应破坏人类的自主性^［15］。中国、美国、英国、欧盟及世界卫生组织指南中提到自由自主原则包含：个人隐私保护、自主选择权、知情同意权、自治^［16］。欧盟发布的《机器人研究伦理指南》^［17］指出个体有权自主掌控医疗决策过程，自主选择AI介入的程度，不得限制人类自由。患者有权自主选择远离技术实验、操纵或监视等限制自由的操作。在使用AI技术时，有权知晓自己的医疗数据被用于何种目的，通过数据保护法律框架获得有效的知情同意，确保个人隐私得到保护。

2.1.7　以人为本原则

中国、英国、美国和欧盟将以人为本的原则阐述为包括保护人类尊严、遵循人类共同价值观、促进人类福祉^［18］。尊严以社会关系为特征，保留人类的选择权利以避免造成人机交互、滥用误用、丧失决策权等伤害。美国《人工智能未来法案》等指南认为医疗AI开发者应确保其满足对安全性、准确性和有效性的监管要求，以健康需求为核心，结合医疗AI伦理立法和治理指导原则，持续进行实践过程中的质控和改进策略，以保护人类福祉，尊重人类共同价值观。

2.2　风险评估

本研究从30篇医疗AI伦理指南中找出3个具有代表性的风险评估方法，并从风险分类、风险分级标准、风险评估流程3个层面进行梳理分析，详见表3。3个风险评估分别是：2018年欧盟发布《人工智能法案》提出“基于风险的人工智能治理框架”、2023年中国发布《人工智能伦理治理标准化指南》提出“伦理风险分级表”、2023年美国发布《人工智能风险管理框架》提出“AI风险框架”。

2.2.1　风险分类

近年来，中国经济发展迅速，对医疗AI的投入和需求也在不断增加，在风险治理上更加注重技术应用风险。中国从AI算法、数据、系统等层面将风险分为三类：原生型（技术型）、衍生型（应用型）、共生型（技术应用混合型）。美国的法律体系更加灵活，其更多地鼓励企业自行制定风险管理策略，强调AI伦理对国家竞争力的作用。美国将潜在风险分为三类：对人类的危害，如对社群的歧视危害；对组织的危害，如对组织声誉的损害；对生态系统的危害，如对相关联的个体和资源的危害。欧盟将风险分为四类：与价值观相矛盾的AI工具，如潜意识操纵造成身体或心理伤害；高风险的AI工具，如危害健康和安全风险或对基本权利有不利影响AI；存在透明度风险的人工智能工具，如与个人互动、暴露情感或生物识别的系统；最小风险的AI工具，其没有强制性义务，并建立了风险管理流程，该流程采取立法形式，具有强制执行力。

2.2.2　风险分级标准

中国将风险分为5级：E4-禁止类系统，指背离伦理原则、违反法律要求的AI；E3-伦理高风险系统，指直接关系最终产品安全、个人权益、市场公平、公共安全和生态安全的AI；E2-伦理中风险系统，指对上述描述具有间接或潜在重要影响的AI；E1-伦理低风险系统，指对上述描述不具备明显影响的AI；E0-伦理无风险系统，不包含机器学习算法、不具备AI功能的AI系统。美国更加侧重数据安全的规范和使用，将医疗AI伦理风险分为3级：低风险，需要采取一定的风险管理措施；中风险，需要采取适当的风险管理措施；高风险，可能对个人隐私、公平性、透明度等方面造成严重影响，需要采取特别严格的风险管理措施。欧盟多元文化背景促使强调多方参与和共同治理，在风险监管方面的表现优于其他国家和国际组织，这得益于其全面而细致的法律体系和实施策略。欧盟将医疗领域受管制的AI直接划分为高风险，将风险分为了4个等级：①不可接受的风险，即被认为对人们的安全、生计和权利有明显威胁的AI系统；②高风险，即受管制的某些AI应用被视为高风险（例如医疗装置、机械），需接受第三方评估；③有限风险，合规但存在风险情形的AI，法案对其设定了透明度义务；④极小风险，欧盟提倡制定旨在促进对低风险AI系统自愿应用要求的行为准则。

2.2.3　风险评估流程

中国、美国、欧盟的风险评估流程大致分为三个方面：风险识别、风险分级以及风险策略制定。中国首先使用AI系统伦理风险评估模板来识别风险，并对其进行分类，结合公平性、透明度、安全性等影响程度对整体风险程度进行分级，根据风险分级结果对不同阶段的治理目标和治理要求进行风险管理。美国的风险评估框架包含四个核心功能：治理、映射、衡量和管理。预先识别和管理系统可能带来的风险，并基准化AI风险等级及其相关影响，确定特定场景与其对应的AI风险解决方案，根据结果进行风险处置。欧盟首先建立和维持风险管理系统，收集、记录和分析AI系统在整个生命周期的相关数据，识别已知和可预见的风险并进行分类分级，针对各个等级采取差异化的监管措施，实现精准监管。

3　研究讨论与展望

3.1　加强医疗人工智能政策制度建设

基于风险评估的政策法规来开展风险管理已经迫在眉睫，但国际多样化的文化、价值观、社会需求可能导致其在人工智能伦理治理路线上取向不同。在借鉴国际经验基础上，积极制定适用于中国国情的医疗人工智能相关的标准和规范。在政策制定时应遵循公正原则、隐私保护原则、透明原则、不伤害原则、自主性原则等伦理准则^［11］，明确规定医疗人工智能的使用范围、责任分配和监管机制等。针对医疗AI的安全性问题应建立医疗AI应用全过程地建立相应的审查和监管机制，监管机构对医疗AI系统的设计和使用进行审查和监督，部署好医疗AI应用的事前审批、事中监测与事后监督工作。此外，亟须健全数据隐私和安全保护制度，确保医疗AI在处理个人医疗数据时遵守相关法规和准则，保护患者的隐私权和信息安全。由于不同国家经济发展水平、文化背景有着明显差异，需要积极参与国际合作，共同制定医疗AI的国际标准和规范，深度参与全球医疗AI风险治理中，进一步使中国在医疗AI国际竞争中掌握话语权。

3.2　继续完善医疗人工智能伦理风险评估机制

前瞻性地开展伦理风险评估对风险治理尤为重要。应建立多方参与的评估机制，包括医学专家、人工智能专家、法律专家、伦理专家等利益相关方，共同参与制定伦理风险评估标准，构建多维度的风险评估指标，以确保评估过程的公正性和全面性。具体举措如下：①建立风险评估的框架：包括识别潜在的风险、评估风险的严重性、确定风险的可接受性等；②开发伦理评估工具：用于评估医疗人工智能系统的伦理风险，包括风险矩阵等方法；③制定详细的风险评估流程：包括确定评估的对象和范围、医疗AI的风险识别、对风险进行定量和定性分析、制定风险管控措施、反馈等；④持续监测和更新评估机制：及时发现和应对新的风险，不断更新和完善风险评估框架，保持评估机制的有效性和适应性，以标本兼治推进评估工作。

3.3　研究局限性与未来展望

本研究首先界定了医疗AI风险治理的基本概念，分析医疗AI风险治理发展现状，比较研究了国内外风险治理的政策法规、伦理准则和风险评估方法，但是限于文献检索的局限性，可能并未完全检索全相关政策文件。未来，团队将会继续完善检索与分析相关政策文件，并探讨医疗AI伦理风险因素，围绕应对AI伦理问题的基本原则探索伦理风险识别机制，包括安全性、透明度、隐私保护、公正性、可解释性等方面。同时，伦理风险评估是减少AI风险事件的重要工具，国际上尚缺乏针对性的医疗AI伦理风险预警模型，基于此研究未来会进一步探索建立可量化的医疗AI伦理风险预警机制，构建出医疗AI伦理风险预警模型，以提高医疗质量水平，逐步实现与国际接轨。

4　结语

本文通过对10个国家和国际组织发布的30个医疗AI伦理风险治理政策法规深入分析，揭示了当前医疗AI领域面临的复杂伦理挑战及其治理现状。本文分析所得的透明度、公平公正、不伤害、隐私保护、自由自主、负责任、以人为本正是国际公认的7种伦理原则，这些伦理原则为各国制定医疗AI伦理规范提供了重要参考。然而，在具体实践中，不同国家和地区在风险识别、风险分级及风险评估流程上仍存在显著差异。对中国而言，应积极借鉴国际先进经验，结合本国国情构建一套完善的医疗AI伦理风险治理体系，包括制定明确的伦理准则，建立风险评估机制和工具，推动技术创新与伦理规范的深度融合。同时应积极参与国际合作，共同建立伦理规范与风险治理路径，构建安全、可信、高效的医疗AI生态系统。

参考文献

[1] 葛海涛，安虹璇. 中国科技伦理治理体系建设进展［J］. 科技导报， 2022， 40（18）： 21-30.

[2] GE H T， AN H X.Progress in the Construction of China’s science and technology ethics governance system ［J］. Technology Review， 2022， 40 （18）： 21-30.

[3] 中共中央办公厅，国务院办公厅.关于加强科技伦理治理的意见［EB/OL］.（2022-03-20）［2024-09-10］.

[4] YASSER I A， JOEL S S， RIDWAN S，et al. Ethics of Artificial Intelligence in medicine and ophthalmology［J］.Asia-Pacific journal of ophthalmology （Philadelphia， Pa.）， 2021， 10 （3）： 289-298.

[5] MARSCH L A. Digital health data-driven approaches to understand human behavior［J］. Neuropsychopharmacology， 2021， 46（1）： 191-196.

[6] SMUHA N A. The EU approach to ethics guidelines for trustworthy artificial intelligence［J］. Computer Law Review International， 2019， 20（4）： 97-106.

[7] KESKINBORA K H. Medical ethics considerations on artificial intelligence［J］. Journal of Clinical Neuroscience， 2019， 64： 277-282.

[8] LEE D H， YOON S N. Application of artificial intelligence-based technologies in the healthcare industry： opportunities and challenges［J］. International Journal of Environmental Research and Public Health， 2021， 18（1）： 271.

[9] DANESHJOU R， SMITH M P， SUN M D， et al. Lack of transparency and potential bias in artificial intelligence data sets and algorithms： a scoping review［J］. JAMA Dermatology， 2021， 157（11）： 1362-1369.

[10] CACCIAMANI G E， CHEN A， GILL I S， et al. Artificial intelligence and urology： ethical considerations for urologists and patients［J］. Nature Reviews Urology， 2024， 21（1）： 50-59.

[11] BERBERICH N， NISHIDA T， SUZUKI S. Harmonizing artificial intelligence for social good［J］. Philosophy and Technology， 2020， 33： 613-638.

[12] COHEN I G. Informed consent and medical artificial intelligence： what to tell the patient？［J］. The Georgetown Law Journal， 2019， 108： 1425.

[13] ZHANG J， ZHANG Z. Ethics and governance of trustworthy medical artificial intelligence［J］. BMC Medical Informatics and Decision Making， 2023， 23（1）： 7.

[14] VALLÈS-PERIS N， DOMÈNECH M. Caring in the in-between： a proposal to introduce responsible AI and robotics to healthcare［J］. AI and Society， 2023， 38（4）： 1685-1695.

[15] LEIMANIS A， PALKOVA K. Ethical guidelines for artificial intelligence in healthcare from the sustainable development perspective［J］. European Journal of Sustainable Development， 2021， 10（1）： 90-90.

[16] BURUK B， EKMEKCI P E， ARDA B. A critical perspective on guidelines for responsible and trustworthy artificial intelligence［J］. Medicine， Health Care and Philosophy， 2020， 23（3）： 387-399.

[17] O’SULLIVAN S， NEVEJANS N， ALLEN C， et al. Legal， regulatory， and ethical frameworks for development of standards in artificial intelligence （AI） and autonomous robotic surgery［J］. The international journal of medical robotics and computer assisted surgery， 2019， 15（1）： e1968.

[18] BERTOLINI A， AIELLO G. Robot companions： a legal and ethical analysis［J］. The Information Society， 2018， 34（3）： 130-140.

[19] WALZ A， FIRTH-BUTTERFIELD K. Implementing ethics into artificial intelligence： a contribution， from a legal perspective， to the development of an AI governance regime［J］. Duke Law and Technology Review， 2019， 18： 176.

基金资助

国家自然科学基金青年基金项目“临床研究伦理审查风险与受益评估指标体系研究”(72104255)

中国医学科学院医学与健康科技创新工程项目“基于卫生健康体系学的健康中国建设战略研究”(2021-I2M-1-046)

中日友好医院高水平项目“临床研究风险评估量表开发与应用研究——以呼吸领域项目为例”(2023-NHLHCRF-GLMS-14)