医疗人工智能的治理风险与利益衡量规范

潘燕杰

中国医学伦理学 ›› 2025, Vol. 38 ›› Issue (9) : 1101 -1110.

PDF (587KB)
中国医学伦理学 ›› 2025, Vol. 38 ›› Issue (9) : 1101 -1110. DOI: 10.12026/j.issn.1001-8565.2025.09.02

医疗人工智能的治理风险与利益衡量规范

作者信息 +

Governance risks and benefit measurement norms of medical artificial intelligence

Author information +
文章历史 +
PDF (600K)

摘要

党的二十大报告对“加快建设数字中国”“推进健康中国建设”等改革目标作了进一步规划部署。医疗人工智能是现代信息技术与传统产业深度融合的重要领域。政府作为医疗人工智能的治理和监管主体,对其进行有效治理是优化医疗资源配置、实现医疗数据共享、规范智能诊疗行为等的重要保障。然而,医疗人工智能实践的发展规模远超已有的监管框架,对个人权利和公共健康构成的挑战亟须从法治层面作出回应。如何保障医疗人工智能治理的正当性以防范医疗人工智能的潜在风险,妥善解决人工智能应用于医疗领域的法律问题,成为世界各国尤其是信息技术大国面临的共同问题。通过在医疗人工智能治理的正当性判断中引入利益衡量规范,有助于初步构建医疗人工智能治理的法治框架及其运行规则体系。此外,发挥社会主义核心价值观的引领作用,完善程序规则,明确治理责任划分等,为医疗人工智能的依法治理贡献中国智慧和中国方案。

Abstract

The report of the 20th National Congress of the Communist Party of China further outlined reform objectives, including “accelerating the construction of a digital China,” “promoting the construction of a healthy China,” and other areas. Medical artificial intelligence (AI) is an important field for the deep integration of modern information technology and traditional industries. As the main body for governance and supervision of medical AI, the government’s effective governance is a crucial guarantee for optimizing the allocation of medical resources, achieving medical data sharing, standardizing intelligent diagnosis and treatment behaviors, and other aspects. However, the development scale of medical AI practices has far exceeded the existing regulatory framework, posing significant challenges to individual rights and public health that urgently require a response from the legal level. How to ensure the legitimacy of medical AI governance to prevent potential risks of medical AI and properly address the legal issues of AI application in the medical field have become common problems faced by countries around the world, especially those with advanced information technologies. By introducing the benefit measurement norms into the legitimacy judgment of medical AI, a legal framework and operation rule system of medical AI governance can be preliminarily constructed. Additionally, by leveraging the guiding role of core socialist values, improving procedural rules, clarifying the division of governance responsibilities, and other aspects, China contributes its wisdom and solutions to the lawful governance of medical AI.

关键词

医疗人工智能 / 治理风险 / 利益衡量

Key words

medical artificial intelligence / governance risk / benefit measurement

引用本文

引用格式 ▾
潘燕杰. 医疗人工智能的治理风险与利益衡量规范[J]. 中国医学伦理学, 2025, 38(9): 1101-1110 DOI:10.12026/j.issn.1001-8565.2025.09.02

登录浏览全文

4963

注册一个新账户 忘记密码

0 引言

从电子健康(electronic health)到数字健康(digital health),现代信息技术与医疗健康的融合日益深入。充分发挥信息技术的引领作用,推进医疗卫生领域的数字化、智能化转型,不仅有利于医疗健康行业高质量发展,也是贯彻健康中国战略、切实保障人民健康的应有之义。面对医疗人工智能发展与治理这一重大议题,各国纷纷出台了治理指南、规制框架等相关规范性文件以应对庞大医疗人工智能应用市场带来的机遇与挑战。美国于2016年发布的《国家人工智能研究和发展战略计划》(National Artificial Intelligence Research and Development Strategic Plan)中即提出了AI在医药卫生领域的愿景:AI可支持生物信息学系统,从大规模基因组研究(如全基因组关联研究、测序研究)中识别遗传风险,并预测新药的安全性和有效性1。欧盟方面重点关注AI在健康分析和精准医疗等领域的应用,如欧洲委员会发布的《人工智能与人权、民主和法治框架公约》(Council of Europe Framework Convention on Artificial Intelligence and Human Right,Democracy and the Rule of Law)、《人工智能白皮书——通往卓越和信任的欧洲路径》(WHITE PAPER Artificial Intelligence: A European on approach to excellence and trust)等对医疗设备等在数据安全方面“高风险”行业的AI企业提出监管及审核要求。英国政府也把人工智能纳入国家战略,2021年发布的《国家人工智能战略》(National AI Strategy)更是从战略谋划、治理规则、国际合作等方面逐步建立人工智能治理体系2。日本政府针对老龄化、出生率低等问题于2000年制定了《高度信息通信网络社会形成基本法》(也被称为《IT基本法》),2015年启动了“日本人工智能新战略”,2017年通过并实施《为推动医疗领域研究开发的匿名加工医疗信息相关法律》等,一系列医疗人工智能相关文件为促进医疗健康相关尖端研究和新产业的创设提供了有效制度保障3。中国立足《关于加强科技伦理治理的意见》《新一代人工智能治理原则——发展负责任的人工智能》《新一代人工智能发展规划》等,将人工智能上升为国家战略,提出要加快智能医疗和智能健康的创新应用,完善支持医疗领域人工智能发展的政策体系;《生成式人工智能服务管理暂行办法》在世界范围内率先为规制人工智能产业健康发展作出了示范,下一步可通过出台数字经济促进相关规范性文件,加入科技伦理条款,增强立法的科技维度与时效性。

政府是医疗人工智能治理的主体,也是医疗人工智能的监管者。医疗人工智能作为现代信息技术与传统产业深度融合的重要领域,政府对其有效治理、规范监管的重要性不言而喻。医疗人工智能正在越来越多地被开发和测试,在医疗诊断、预测和治疗过程中均发挥了显著的作用4。不同于纯粹的技术风险,医疗人工智能风险源自其应用于医疗行业后对现有医学伦理与诊疗规范的冲击。如何保障医疗人工智能治理的正当性以防范医疗人工智能的潜在风险,妥善解决人工智能应用于医疗领域的法律问题,成为世界各国尤其是信息技术大国面临的共同问题。

1 问题提出:医疗人工智能及其治理实践

1.1 医疗人工智能的概念与应用场景

中国国家卫生健康委员会2018年审核通过的《医疗技术临床应用管理办法》第二条把医疗技术定义为以诊断和治疗疾病为目的的一种医学专业手段和措施。美国食品和药品管理局(Food and Drug Administration,FDA)将数字健康涵盖了移动健康、健康信息技术、可穿戴设备、远程保健和远程医疗以及个体化医学等多个领域5。结合上述定义和分类,简单来说,医疗人工智能即把现代信息技术应用于医疗全过程的一种医疗方式。从医疗器械的角度看,医疗人工智能是现代计算机及信息通信技术与医疗器械的交叉融合。

医疗人工智能通过十余年的发展,逐渐应用于多种医疗场景。当然,不同医疗场景的发展路径亦有所区别。如大多影像学AI被视为三类医疗器械进行审批,截至2023年10月国内已有118款经国家药监局审评审批获得市场准入,且应用范围从“辅助诊断”逐步向“辅助诊断和辅助治疗并行”;生命科学AI主要应用于制造新药,人工智能的应用使新药研发降低成本、缩短周期成为可能,截至2023年10月全球进入临床试验阶段且保持活跃状态的AI参与研发管线共计97项,其中30项来自中国,但无一行至上市阶段;信息学AI面对的市场相对传统,且需要医院配合基础设施建设以提供相应发展环境,故更新迭代还未成规模;数字疗法(Digital Therapeutics,DTx)产品随着软件技术的不断进步也逐渐深入医疗健康领域,大多国家的监管部门将医疗软件产品视为医疗器械进行监督管理,如美国食品和药品管理局将医疗器械软件纳入Ⅱ类医疗器械产品等。

对于医疗人工智能的应用场景,国家卫生健康委2024年11月14日发布《卫生健康行业人工智能应用场景参考指引》中进一步将医疗人工智能的应用分为“医疗服务管理”“基层公卫服务”“健康产业发展”“医学教学科研”4个场景并下设84个具体方向,鼓励在卫生健康行业拓展人工智能的应用空间。若根据医疗服务范畴,这些范围呈动态化拓展趋势的应用场景基本归属于行政管理类或诊断治疗类,如表1所示。行政管理类AI不属于医疗产品范畴,一般遵守《中华人民共和国网络安全法》《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》《中华人民共和国电子签名法》等法律法规对于数据安全、个人隐私的规定,以及卫生行政部门的监督和管理,较少受医疗设备相关规范性文件约束。诊断治疗类AI作为医疗人工智能的核心领域,多纳入医疗设备或体外诊断的范畴,不仅要受前述规定的约束,还要受到医疗器械相关规范性文件的约束。

1.2 医疗人工智能的治理实践

1.2.1 伦理道德引导和监管标准约束双管齐下

2013年12月,国际医疗器械监管者论坛(International Medical Device Regulators Forum,IMDRF)即提出了把基于人工智能或机器学习的应用属于医疗器械软件(Software as a Medical Device,SaMD)的监管方法6。作为医疗器械软件,其监管重点就在于确保这些应用程序在其设计、开发、使用的整个生命周期中是安全和有效的。为此,较常采用的就是伦理价值引导和监管标准约束相结合的手段,双管齐下保障医疗人工智能的运作质效。如国家药品监督管理局会同国家卫生健康委员会于2020年组织修订的《药物临床试验质量管理规范》在实施过程中,离不开国际人用药品注册技术协调会(The International Council for Harmonisation of Technical Requirements for Pharmaceuticals for Human Use,ICH)发布的《E6(R3):药物临床试验质量管理规范(GCP)》相关标准的指导。理念塑造层面,真实、可靠等伦理价值观也已纳入《药物临床试验质量管理规范》与《涉及人的临床研究伦理审查委员会建设指南》(2023版)的主体内容之中。

1.2.2 医疗人工智能的发展与治理相辅相成

随着医疗人工智能商业化程度的急剧上升,对技术进行有效监管的同时如何保障技术创新,为患者提供更优质可及的医疗服务,是监管主体必须回应的难题。针对保障医疗人工智能发展和规制医疗人工智能边界的利益博弈,美国食品药品监督管理局对医疗人工智能产品的立场与国际医疗器械监管者论坛(IMDRF)保持一致。尤其体现在2021年初发布的《AI/ML软件作为医疗设备的行动计划》中,对基于人工智能的医疗器械软件(SaMD)建立了特殊监管框架,监管明确性被认为可以加快其他类型医疗设备的上市时间7。因为若监管存在不确定性,公司接受监管的创新意愿显然会大大削弱;反之,通过规范性文件将监管框架明确则会激励一些风险设备器械的积极接受监管审批。

由此可见,不同于传统科技领域,医疗人工智能领域呈现出发展与治理相辅相成、促进和规制并行推进的显著特征,监管在一定程度上可以塑造医疗人工智能设备的创新激励。中国《生成式人工智能服务管理暂行办法》也明确提出了国家坚持发展和安全并重、促进创新和依法治理相结合的原则。即在探索医疗人工智能治理范式革新的同时,也要注重保障人工智能的发展创新以更好地服务于人民健康,推进健康中国建设。

1.2.3 市场导向下的多元监管

监管方式从传统自上而下的或“命令—控制”模式转变为更具参与性或协作性的形式。在国家机构改革的大背景下,2018年3月,中国组建国家药品监督管理局由国家市场监督管理总局管理。从更名也可以看出,由于药品的特殊性,行政监管朝着市场导向、精细化、专业化方向发展。此外,随着医疗人工智能产品的不断涌现,更多非药物的器材类医疗产品被纳入国家药品监督管理局的监管范畴。无论是具备人工智能功能的医疗设备还是机器学习功能的医疗设备,均归于特定的监管制度范畴,意在确保这些设备在治疗应用中的安全性和有效性。与药物的监管制度相比,医疗设备在监管特点和形式方面呈高迭代性,对市场的反应也十分敏锐,监管治理的多元化即要求更加注重参与性和协作性。虽然医疗人工智能国际组织与产业联盟不断发力的监管趋势较为清晰,但是对于现有政府主导的监管模式将造成何种冲击尚不明确。只有技术开发人员、监管机构、产品供应商和患者等通力合作,才能实现有效监管、达成临床目标。

2 医疗人工智能的治理风险

2.1 法律规定难以契合医疗人工智能的场景化特性

医疗人工智能的应用场景总是处于更新迭代之中,因此新兴场景投入临床推广与建立对应约束规范和审查标准之间存在时间差、空白区在所难免。一方面,医疗人工智能的应用场景多样、风险程度迥异,其特性决定了“一刀切”的传统监管方式难以适用。例如,电子手环等各种可穿戴医疗设备可帮助患者进行健康监测和管理,不提供诊断或治疗服务,其风险可以忽略不计;关于阿尔茨海默病的人工智能研究已有相应突破,算法能够通过整合脑部核磁共振成像、认知障碍测试以及年龄和性别数据,准确预测阿尔茨海默病的患病风险并对是否患病作出诊断,其人工智能辅助诊断存在较低程度风险等。目前通常做法是根据风险等级监管,如美国《21世纪治愈法案》(21st Century Cures Act)已允许FDA将风险较低的医疗人工智能归类为第一、二类医疗器械,从而豁免注册,鼓励创新8。但问题是即使处于同一等级,由于医疗人工智能应用场景的不同,所带来的利益冲突也存在差异。另一方面,评价体系中人工智能与医学融合程度不高的问题依然存在,通常表现为医疗人工智能技术评估与监管出现“两张皮”的情形。例如,国家药品监督管理局发布的《人工智能医用软件产品分类界定指导原则》《人工智能医疗器械质量要求和评价》等分类评价要点中对于人工智能医疗器械的评价采用临床医生试验结合通用软件测试的方式。但是,人工智能医疗器械特有的推理、学习能力与算法歧视、不透明等风险,使其在实践中通过数据增量和反馈而不断进行自我学习与进化,无法完全被动态监管9。缺乏系统性整体评价易造成公众对医疗人工智能的认识不够客观,甚至过于乐观。

2.2 健康医疗数据易引发公益保护失衡危机

海量多源数据是人工智能的研发燃料,是探索人工智能治理的认知基础10。医疗人工智能治理中,健康医疗数据治理也是重要一环。健康医疗数据作为一种特殊类型的个人数据,不仅关系到个人隐私、信息自决等私益,还涉及公众知情、人类健康等公益,易引发公益保护失衡危机。

健康医疗数据质量方面,虽然健康医疗数据的基数大、增速快,但是高价值和高质量的医疗数据仍严重紧缺。由于健康医疗数据的高敏性和高隐私性常常涉及安全性、合法性等问题,所以健康医疗数据虽体量庞大,但在流通和使用上仍较薄弱,并未发挥其应有价值,与互联网、金融、IT等新兴行业的数据应用水平也有不小差距。据麦肯锡公司的《医疗行业的大数据革命》报告,美国涉及医疗费用的财政拨款每年至少5万亿美元,若能有效对健康医疗数据加以利用,可节省医疗开支3 000亿~4 500亿美元11。由此可见,医疗行业的数据流通和利用水平还有较大提升空间。健康医疗数据安全方面,高敏感医疗数据流通的安全风险始终居高不下。美国电信巨头Verizon发布的数据泄漏报告(2018 Data Breach Investigations Report,DBIR)显示,众多行业数据泄露统计排名中,医疗行业常位居第一。无论中央还是地方,国内还是国外,由于健康医疗数据的高敏性与高隐私性,其安全问题始终是重中之重。在健康医疗数据的利用过程中,通常使用“匿名化”“去识别化”等技术手段进行处理。需要注意的是,健康医疗数据“去识别化”是否能让数据真正被遗忘还存在疑问。如电子健康档案(electronic health records,HER)作为贯穿个体生命周期全过程的电子化健康管理记录,在去识别化后,仍然可以通过可获取的公共资源进行“再识别”。

2.3 缺乏同理心的AI系统动摇了医学伦理内核

2.3.1 人类决策与算法决策的差异性

简单来说,人工诊断是主观的、非理性的,带有情感色彩的,而算法决策是客观的、理性的、可预测的,缺乏同理心(empathy)的。算法决策赖以作出的核心技术是算法(algorithm)。算法一词源于阿拉伯数学家al-Khwarizmi的名字。从数学角度来看,算法本质即输入指令,得出结果。由于其数学特性,算法很可能成为民主机构更为忠实的智能体(intelligent agent)12。表面上看,算法决策具备的这种不可指责的客观外表,正是诊疗所追求的目标。但是病变异常时,往往在获得算法决策的初步结果后还要结合临床资料(职业和接触史、生长和居住史、个体差异等)进行综合判断,这些需要人工酌情处理的情形,算法决策的应对并不容易13

2.3.2 人类决策中的非理性、同理心是医师职业伦理的核心要素

2022年3月施行的《中华人民共和国医师法》第二十三条明确了规定了恪守职业道德,尊重、关心、爱护患者等是医师在执业活动中必须履行的义务。为何人工诊疗中的情感性、同理心等非理性价值也是善治所需要的?因为极端自动化中,只有客观理性的机器算法给出诊疗结果,切断了医患之间的接触机会,反馈交流途径缺失,就可能会出现人类关怀危机的状态,不利于长期以来“以患者为中心”诊疗原则的实现和医师职业道德、医学伦理规范的践行。所以,负责任的医疗人工智能也须是有同理心和人文关怀的医疗人工智能,这也是以人民为中心推进健康中国建设的必然要求。

实践中,使用人工智能、机器学习等高级算法技术作出的算法决策在很多领域都运行良好。当前的伦理争议主要集中对医疗人工智能系统的设计中嵌入某些价值观的要求。特别是在作出对公民有重大影响的决策时,缺乏同理心和有效互动可能导致公民的心声得不到倾听、关切得不到回馈。如挪威发放儿童福利的自动化系统造成服务质量不平等;美国多个州利用算法工具帮助作出发放医疗补助和其他社会福利的决策,难以保障福利申领程序处理的一致性等14

2.4 基于机器学习的医疗人工智能陷入算法解释困境

由于数据来源不明,以及算法歧视、算法黑箱等因素,算法自动化决策的结果究竟如何得出,个体往往不甚了解。为实现算法可知,在适用自动化决策时应当坚持行政行为说明理由制度,即解释说明该自动化决策的算法,使个体有权知晓该决策的形成缘由。当前,算法解释权已成为一项世界范围内被普遍认可的具体制度。如欧盟《一般数据保护条例》提出数据主体应当了解有意义的信息和参与决策的逻辑;法国《数字共和国法案》针对公共部门规定了较为具体的算法解释权;加拿大《自动化决策指令》要求使用算法决策的公共部门,应当向受该决策影响的个人提供有效解释,甚至要求提供决策中使用的变量;韩国现行《宪法》中解释权是信息自决权的一部分,具有规范基础,与一般的信息自由有所区别等。由此可见,这项旨在消弭相对人与决策方信息鸿沟的算法解释权制度正在成为保障人工智能安全可控发展的重要基础。

基于机器学习的医疗人工智能不仅对个体有较大影响,对不同经济体的影响也不可小觑。其在发达经济体是一个重大挑战,在发展中国家尤甚。由于医疗人工智能渗透于促进经济增长和社会凝聚力、国家内部管理以及与国际环境等多个领域,发展中国家大多面临着体制能力和基础设施、财政资源和公务员技能方面的限制,在这些领域发展水平也相对较低,将在很大程度上制约发展中国家医疗人工智能的发展水平。随着发达经济体越来越积极地进入知识经济时代,与发达国家内部已经确定的“数字鸿沟”平行,发展中国家更需关注算法解释在医疗人工智能中的应用,努力将数字鸿沟转化为更具包容性的数字化机会,实现医疗人工智能治理的多主体参与。

此外,基于大数据应用的医疗自动化程度日益增高,从基于规则的自动化决策将逐渐转向基于机器学习的自动化决策。不同于变量由人为选择的传统算法,基于机器学习的算法因具有“学习”能力,故而存在一定程度的自主性,这就可能导致难以准确地解释其作出预测、评估及干预的原因。如即使GDPR创建了了解自动化决策逻辑的权利,但它究竟是对自动化系统的一般描述还是算法和代码的完整发布,在实践层面仍有相当的操作难度。若算法比人类更了解自己,就很可能会潜移默化地重塑人类的人生观和世界观,这将与医疗技术服务人类的初衷背道而驰。

因此,医疗人工智能缺乏可解释性将直接导致对人工智能技术、治理以及责任承担上缺乏信任。是否应当要求人工智能医疗设备及其输出具有可解释性,以及应当要求何种程度的可解释性?实际上,人工智能在医疗领域的可解释性作用非常有限,大多数利益相关者需要的不仅是医疗人工智能设备的技术可解释性,还需要其开发和保障过程的透明度15

3 医疗人工智能治理中利益衡量的基本原则

在对医疗人工智能依法治理过程中,做好理念的转变是实现有效规制的前提条件。法治理念为医疗人工智能规范或约束提供了基础性的原理、准则和基本精神16。如行政法理念作为整个行政法规制活动的指导思想和出发点,体现于众多政府数据治理相关行政法规范、行政执法实践及司法案例之中17。作为一种法律准则,既要抽象出作为一般人工智能治理的“共性”“一般性”,保障公民的基本自由和权利、维护诊疗平等、追求数字正义等;又要体现运用在医疗人工智能治理领域的“个性”“特殊性”,适应健康中国建设背景下公共卫生法的发展要求。

3.1 包容审慎监管:保障医疗人工智能治理规范有序

《布莱克法律词典》中将“监管”(regulation)界定为“通过规则或限制的控制行为或控制过程”。在中国行政实务中多使用“监管”,学术界则多使用“规制”,两者在内涵上并没有本质上的区别。医疗人工智能领域的依法监管实际上也是一种控制和引导,且大多为政府对该领域的干预,包括创设法律规则、建立反馈和监督机制、纠正和制裁违反规制规范的行为等活动。需要明确的是,虽然监管活动的方式多样,但并非所有行政活动都属于“监管”活动。以实施主体、对象、权限、方式等予以划分,警察行政、国防、外交、内部行政管理等不在讨论之列。

不同于传统行政,政府监管是现代社会的产物,是在国家与社会分离后逐步发展起来的。作为一系列干预医疗人工智能的政府监管活动,其不仅要考察相关规范性文件的形成与实施,还要关注规范文本与实践运作之间的差异和差距。以通常被视为三类医疗器械进行审批的影像学AI为例,不仅要关注《医疗器械监督管理条例》等法律法规,还要了解医疗器械分类规则、标准实施、监督管理等实践运行状态。尤其是基于人工智能的医疗器械法规和人工智能法规的交叉点——人工智能医疗器械已经受到医疗器械法规的约束。此外,政府监管对合理性也颇为重视,要求在法治框架下实现对医疗人工智能更加科学有效的治理。例如针对医疗人工智能应用中算法偏见、数据泄露、隐私保护等风险,是实行行政监管还是科以刑罚,是选择强制信息披露还是事前选择许可等,都需要理性选择监管方式18

3.2 风险预防:精准防范医疗人工智能的风险

以风险为基础的治理是人工智能法研究的起点19。在医疗人工智能领域,需要将医疗人工智能系统研发与应用风险的认知作为起点,将风险分级分类对其进行针对性预防,构建医疗人工智能监管体系。依靠政府网络平台,在此基础上实现政府、市场、社会多元协同的公共价值塑造,实现政府管理与公共服务的精细化、智能化、柔性化、扁平化。医疗人工智能作为新生事物,成长趋势和未来发展充满不确定因素,后果的不可计算性,就是“人为的不确定性”(manufactured uncertainty)的风险。当人类面临着无法被当前科学解释的风险时,是应该先采取某些预防性措施,还是等到有确切的科学依据再采取措施?在风险预防理念下,只要存在一定科学依据,即使不完全确切,也可以基于合理怀疑而采取相应预防性措施。风险预防理念强调第一时间采取处理措施,且在环境保护、生物安全、食品安全、生物安全等领域已有相关实践经验。法律对医疗人工智能治理的约束意义远超条文的字面含义,更重要的是构建一种生活方式,规范着虚拟空间的行为主体、行为模式、责任承担等,规制着权力行使的底线与界限。公共行政承担着风险规制的主要责任,包括如何给技术和创新留足发展空间,在不侵害自由、不侵犯人权的前提下,适时、适当地对技术风险进行规制等,若风险不加以防控将产生不可逆的危害20

风险评估体系的形成是全方位、多层次的。专家通过专业文件、科学文献、政府报告、法律法规等形成专家风险评估,公众通过生活经验、闲谈交流、媒体互联网等形成公众风险感知。显然,专家风险评估和公众风险感知之间存在着难以逾越的鸿沟,通过贯穿于风险评估和风险管理的全过程的风险交流 ,逐渐缩小科学性与价值偏好之间的真空地带,统一风险评估和风险管理的目标,最终形成科学有效的风险规制。一项由3 524名美国成年参与者作为公众样本、425名能够对人工智能产业产生影响的佐治亚理工学院硕士毕业生作为专家样本的调查数据表明,公众对人工智能大多持观望态度,专家对人工智能大多持积极态度,即专家更支持人工智能的一般使用,相信人工智能技术的应用能够提升个体利益和公共利益。但是,人工智能在预测犯罪、自动驾驶、个性化推荐等具体应用场景中,无论是专家还是公众,均最为支持人工智能在医疗诊断领域应用。这足以说明,医疗人工智能在不同受众群体中都得到了广泛认可和支持。此外,公众对于监管主体的信任程度也存在不同意见。相比之下,人工智能专家更信任科学和国际组织而不是他们自己的政府来“开发和管理”人工智能21。由此可见,对人工智能应用和治理的态度直接受年龄、受教育程度、文化价值观等影响。随着公众对人工智能了解程度不断深入,其对人工智能发展和风险的态度可能会发生相当大的变化。在受监管的医疗器械领域,根据器械被划分的不同等级,所需的临床证据和文书工作负担等存在明显差异。对于人工智能技术研发人员而言,由于缺乏相应医学背景,这种负担的差异可能更为凸显,即对医疗人工智能新产品的研发和创新将产生影响。因此,对于医疗人工智能风险及其治理不仅需要重视民意,还需要充分、科学地贯彻落实公众参与理念,特别要重视搭建与专家之间的对话交流渠道。

3.3 以人为本:促进医疗人工智能的可持续发展

2016年以来,人工智能治理的各类文件在伦理原则方面所体现的价值取向颇有几分相似。中“以人为本”(for human)为高频词汇之一,例如,向善的(beneficence / beneficial)、人类福祉(well­being)、人性尊严(dignity)、自由(freedom)、可持续(sustainability)、人类价值(human value)、人权(human right)等表述均暗含了“以人为本”的主旨。但若细究起来,由于制定主体、规制范围等存在差异,“以人为本”背后的具体阐释与法益保护也不尽相同。究竟是让“尽可能多的人受益”,让“所有人受益”,还是让直接服务的对象——“客户/患者受益”并未得到一致答案。

理念层面对于医疗人工智能的治理,不仅是为了应对技术风险的需要,也是为了实现可持续发展目标的需要。医疗人工智能的发展由健康医疗数据、算力和人才驱动,这直接导致了其影响力十分集中——当前医疗人工智能的受益对象仍主要集中于少数国家、少数人群。必须将目光投向帮助发展中国家、帮助弱势群体改善公共卫生,确保每一个人都有机会在医疗人工智能的发展中获益,才能真正做到利长远、固根本。正如联合国人工智能咨询机构报告《以人为本的人工智能治理》中提出的,健康领域是人工智能最具前景的应用领域之一。包括AI推动了诊疗工具的发展,帮助医生更及时地发现各种类型的癌症、眼科疾病;AI帮助撒哈拉以南非洲的孕产妇获得了高质量保健的机会等22。因此,人工智能在提高医疗保健领域生产力和创新力时要想确保利益公平、安全地分配到全人类,就必须反映技术本身的质量及其敏捷、网络化、灵活的用途,同时赋能、造福于人类。

4 医疗人工智能治理中利益衡量的具体路径

4.1 社会主义核心价值观融入医疗人工智能治理全过程

传统法律规制措施难以满足医疗人工智能的治理需求,应当伦理先行和政策法规保障共同作用,这一点在实务界与学术界基本已达成共识。但是,伦理与法律之间应当如何分工以达到共同推进医疗人工智能治理的目的,仍有待进一步明确。健康中国背景下,社会主义核心价值观融入医疗人工智能治理法治化之中,坚持科技向善理念,发展负责任的人工智能,与《“健康中国2030”规划纲要》的战略思想也不谋而合。

一方面,通过立法内容体现核心价值观中价值中立、健康平等、自由活力等理念,道德有制度载体才能有有力支撑。构建医疗人工智能法律与伦理相结合的综合治理框架是大势所趋。立法层面,欧盟、美国等主要国家和地区均已着手制定人工智能治理的规制框架。中国人工智能综合立法也有良好的实践基础,不仅有《网络安全法》《个人信息保护法》《数据安全法》《未成年人网络保护条例》等为AI治理搭建了基础框架,“人工智能法草案”也再次被列入《国务院2024年度立法工作计划》中,预备提请全国人大常委会审议。由于各类规范性文件的制定主体差异,利益冲突在所难免。强化核心价值观的正能量供给,维护医疗人工智能治理主流意识形态具有现实必要性。另一方面,社会主义核心价值观作为中华民族赖以维系的精神纽带,也为医疗人工智能治理提供了思想基础与精神支撑。在《中国新一代人工智能伦理规范》《关于加强科技伦理治理的意见》《“健康中国2030”规划纲要》等一系列重要文件中,已贯彻落实相关伦理治理原则,《生成式人工智能服务管理暂行办法》亦直接将坚持社会主义核心价值观纳入提供和使用生成式人工智能服务的要求之中。因此,健康中国背景下,将社会主义核心价值观融入医疗人工智能治理法治化之中,坚持科技向善理念,发展负责任的人工智能,从场景适配、主体规范、技术调整、平台监管、价值引领等全方位融入依法治理人工智能,具有现实可行性。

4.2 医疗人工智能治理中利益衡量的正当程序

医疗人工智能治理法治化除了需要建立完善的法律规范体系,还需要将这一系列法律和制度有效地实现。无论是法律实施,还是取得法律实效,都有一个“过程”,关注相关主体参与的过程是法治的必由之路。无论何种领域何种方式的人工智能决策,都是以计算机为载体作出的,医疗人工智能也不例外。在计算机领域,“数据”和“算法”是两大核心要素。 虽然计算机“程序”(program)与行政法“程序”(procedure)是两个概念,但两者都是为实现预设目标进行的一系列步骤,均可以通过代码予以表达,即程序法规制的“代码化”,以此将两者互联互通起来23。代码是网络空间的重要组成部分。网络空间(cyberspace)是可以被规制的。网络空间是否可以被规制,取决于它的架构。在信息法学研究中,约耳·雷登伯格第一次提出:代码就是法律,当我们进入网络空间,直接遵从的不是法律规定,而是网站代码的规则24。与现实世界的程序法规制目标相同,数字化空间规制的最终目标也在于回答结构价值的问题,即解决何种价值得到了保护,何种价值被注入了该空间,以及鼓励了什么样的生活方式等。

《重大行政决策程序暂行条例》(以下简称《条例》)中关于“遵循科学决策原则、运用科学技术和方法”的规定,与《新一代人工智能发展规划》对“开发适用于政府服务与决策的人工智能平台,研制面向开放环境的决策引擎”的目标思路不谋而合,完全可以作为制度样本予以参考。政府权力的行使如何通过程序予以规制,中国法学界对程序规制的探索在立法实践上从未止步。加快程序规制进程,急切需要与行政程序相关立法的回应。《条例》于2019年9月1日开始施行,并成为依法决策机制完善和落实的重要抓手。《条例》通过分解行政决策作出程序、明确行政决策事项范围以及责任追究方式等,推进行政决策科学化、民主化、法治化,提高决策质量,降低决策风险,增强社会对重大政府决策的理解和支持。

4.3 建立场景匹配的医疗人工智能标准

医疗人工智能产品是否能达到医疗设备的相应标准以及在何种程度上存在裁量空间,将对其研发成本、生产质量、商业化程度、交互比较、评估评价等产生直接影响。当前医疗人工智能的标准化进程尚处于起步阶段,为匹配医疗人工智能产品的生产研发与监督管理需求,加快医疗人工智能标准体系建设是当务之急,且聚焦技术安全标准、应用规范与评估评价的统一性也是保障医疗人工智能可持续发展的重要抓手。

健康中国背景下,制定国家层面医疗人工智能准则的同时,还应积极促进不同应用场景下标准体系的完善,以统筹解决关系人民健康的现实问题。顶层设计层面,国家医疗人工智能准则属于最高位阶的标准,具有统筹规划和指导全局的作用。以医疗人工智能概念的内涵和外延为基石,针对政策体系、理论方法、术语、信息模型等基础类标准展开研究。此外,特别要注意加强国际合作,如国际标准化组织、英国标准协会等医疗人工智能方面的国际组织等。国际公认的标准设定机构对于识别技术前景和技术采纳影响因素至关重要。

具体实践层面,健康医疗行业专业化、精细化的特性要求医疗人工智能在不同的应用场景中适配不同的标准规范。《人工智能标准化白皮书(2018版)》把人工智能标准体系进行了分类,依据在医疗人工智能生命周期中承担的不同功能,标准体系可进一步细化为平台类、数据类、应用类、技术类、伦理类等若干类型。其中,健康医疗数据作为国家基础性战略资源无疑是重中之重。健康医疗数据有统一标准且真实、合法、有效才能保障医疗人工智能的可持续发展。对于数据类标准体系,不仅要加快大数据重点标准的研制和推广以促进形式标准化,还要通过建立数据信息资源目录、健康医疗数据开放标准、健康医疗数据治理检查评价标准等达成内容标准化25

5 结语

医疗人工智能治理面临着复杂多变的新形势,人机交互关系可能引发的健康医疗数据安全风险、医学伦理风险、责任追溯风险、治理差异化风险等,对现有治理体系和治理能力提出挑战。当前,依靠单一模式治理医疗人工智能难以落地,通过价值逻辑的引导和实践层面的规制才能够为人民和社会带来切实利益和保障。构建医疗人工智能治理的利益衡量规范需要从法律目标、风险管理、责任归属、医学伦理内核等方面综合考量。法治轨道上的治理旨在为管理医疗人工智能建立一套控制和引导机制,在技术创新与风险防控之间寻求动态平衡。从发展、安全和治理的角度,针对如何确保医疗人工智能技术能在安全可控的范围内发展进行明确回应。中国作为人工智能技术的重要参与者和推动者,在实现健康中国与数字中国战略目标的同时,还应充分发挥制度优势,为全球医疗人工智能治理贡献中国智慧与中国方案。

参考文献

[1]

Select Committee on Artificial Intelligence of the National Science and Technology Council. National artificial intelligence research and development strategic plan[EB/OL]. (2023-05) [2024-08-04].

[2]

周辉,金僖艾. 英国人工智能监管实践、创新与借鉴[J]. 数字法治2023 (5):194-206.

[3]

储陈城. 以利益衡量作为网络领域刑事治理的原则[J]. 法学论坛202136 (5):61-72.

[4]

CHU C C. Taking interests balancing as the principle of criminal governance in the field of network [J]. Legal Forum202136(5):61-72.

[5]

PALMIERI SWALRAET PGOFFIN T. Inevitable influences: AI-based medical devices at the intersection of medical devices regulation and the proposal for AI regulation [J]. European Journal of Health Law202128(4):341-358.

[6]

WECHSLER J. PDUFA VI promotes patient views, innovative trials[J]. Applied Clinical Trials201625(10):12.

[7]

International Medical Device Regulators Forum. Software as a medical device (SaMD): key definitions[EB/OL]. (2013-09-09) [2025-01-22].

[8]

Food and Drug Administration. Policy for device software functions and mobile medical applications[EB/OL]. (2022-09-28) [2025-05-22].

[9]

VAN EMBDEN T. Paging Dr. Robot: applying an outdated regulated scheme to robotic medicine[J]. Nova Law Review2019(43):387-416.

[10]

陈炳澍,王玥. 人工智能医疗监管与治理创新:突破现行规范框架的思考[J]. 中国医学伦理学202437 (9):1030-1036.

[11]

CHEN B SWANG Y. Innovation in artificial intelligence medical regulatory and governance: thoughts on breaking through the current normative framework[J]. Chinese Medical Ethics202437(9):1030-1036.

[12]

张欣. 生成式人工智能的数据风险与治理路径[J]. 法律科学(西北政法大学学报)202341 (5):42-54.

[13]

Center for US Health System Reform Business Technology Office. The big data revolution in healthcare[EB/OL]. (2013-01) [2024-10-08].

[14]

张凌寒. 权力之治:人工智能时代的算法规制[M].上海:上海人民出版社,2021:3-4.

[15]

徐克,龚启勇,韩萍. 医学影像学[M]. 8版.北京:人民卫生出版社,2020:5-6.

[16]

COGLIANESE CLAVI M, DOR B. AI in adjudication and administration[J]. Brooklyn Law Review202186(3):791-838.

[17]

MATULIONYTE RNOLAN PMAGRABI Fet al. Should AI-enabled medical devices be explainable? [J]. International Journal of Law and Information Technology202230 (2): 151-180.

[18]

周佑勇. 行政法原论[M].3版 .北京:北京大学出版社,2018:50-52.

[19]

姜明安. 行政法与行政诉讼法学[M]. 北京:北京大学出版社、高等教育出版社,2011:82-86.

[20]

徐磊. 发展与安全并重:生成式人工智能风险的包容审慎监管[J]. 理论与改革2024(4): 67-83.

[21]

XU L. Equal focus on development and safety: inclusive and prudent regulation of generative artificial intelligence risks[J]. Theory and Reform2024(4): 67-83.

[22]

陈吉栋. 以风险为基础的人工智能治理 [J]. 法治研究2023 (5):52-60.

[23]

科林·斯科特. 规制、治理与法律:前沿问题研究[M]. 安永康,译. 北京:清华大学出版社,2018:3-4.

[24]

O’SHAUGHNESSY M RSCHIFF D SVARSHNEY L Ret al. What governs attitudes toward AI adoption and governance? [J]. Science and Public Policy202350(2):161-176.

[25]

United Nations. Governing AI for humanity[EB/OL]. (2024-09) [2025-02-20].

[26]

JOSHUA AKROL L. Accountable algorithms[J]. University of Pennsylvania Law Review2017(165): 633-637.

[27]

劳伦斯·莱斯格 . 代码 2.0网络空间中的法律[M]. 李旭,沈伟伟,译. 北京:清华大学出版社,2018:6.

[28]

潘燕杰. 被遗忘权保护健康医疗数据的实践困境与对策[J]. 医学与社会202437 (9):137-144.

[29]

PAN Y J. Practical dilemmas and countermeasures of the right to be forgotten in health medical data [J]. Medicine and Society202437(9):137-144.

基金资助

安徽省高校优秀青年科研项目“健康中国背景下数字医疗治理的法律风险及其防范研究”(2024AH030070)

安徽省社会科学规划项目“行政法视角下网络综合治理的风险评估机制研究”(AHSKQ2022D121)

四川医事卫生法治研究中心-中国卫生法学会联合项目“被遗忘权保护健康医疗数据的规范路径研究”(YF24-Q17)

AI Summary AI Mindmap
PDF (587KB)

0

访问

0

被引

详细

导航
相关文章

AI思维导图

/