随着医疗科技持续发展,在各类复杂疾病的治疗中微创外科手术的地位日益凸显
[1, 2]。但是,微创外科手术是一项高技术门槛与高风险并存的临床实践,其安全性和疗效不仅依赖于先进的设备,还受制于术者的经验水平以及操作技术的稳定性
[3-6]。现有的研究表明,术者在手术中的操作差异,可能显著影响患者的术后康复和生存质量
[7-9]。因此,建立一套科学客观、可量化的手术技能评估体系与质量控制(质控)机制,已成为提升外科整体水平与保障患者安全的关键措施。
长期以来,外科技能评估与质控主要依赖于专家的主观评分
[10]、术后并发症的统计
[11]及回顾性录像的分析
[7, 12]等方法。这些方法在操作规范方面虽然发挥了一定作用,但是也存在局限性
[13]:评估的过程滞后难以实现术中实时的反馈指导,评估标准缺乏统一性、依赖专家主观经验、评估过程耗时。这种以定性为主,定量为辅的传统模式,已难以满足现代精准外科的发展需求。
近些年来,人工智能(AI)技术的突破性进展
[14-17],尤其是基于计算机视觉的深度学习技术在图像识别与视频分析上的卓越表现,给外科领域的变革带来了新机遇,并已应用于手术智能导航
[18, 19]、手术场景感知
[20, 21]等任务,推动了外科手术技能评估与质控的智能化进程。在微创手术视频分析方面,涵盖了无标记器械追踪
[22]、单目腹腔镜深度估计
[23]等计算机视觉底层感知任务
[24],此类任务聚焦于像素级特征提取与空间信息重构,可为技能评估和质控提供数据基础。同时,手术视频分析模型也由二维卷积神经网络发展至三维卷积神经网络及基于Transformer的模型,增强了对长时程手术流程以及上下文逻辑的建模能力,为AI应用于技能评估和质控提供技术基础
[25]。本文将重点梳理AI在微创外科手术技能评估与质控中的应用进展,而非计算机视觉底层算法的演进发展,全文将不对具体模型架构和算法实现细节进行详细论述。目前已有研究
[15, 26-29]利用深度学习模型对手术视频进行分析,构建了基于数据驱动的技能评估与质控体系,但在模型泛化能力、跨多中心设备普适性等方面仍存在技术壁垒
[30-32]。
因此,本综述旨在系统梳理当前微创外科手术技能评估与质控的经典方法,并分析AI在此领域的应用研究进展,讨论当前面临的挑战并展望未来发展趋势,希望为推动智能精准微创外科的发展提供参考与支持(
图1)。
1 传统微创外科手术技能评估方式
手术技能评估是保证微创外科手术安全的核心环节,其核心目的在于评价术者在手术操作中的技术能力和程序性胜任力,包括器械使用效率、动作流畅性、组织处理能力等
[33]。传统评估体系中引入结构化量表和运动学参数统计分析在一定程度上提升了评估的客观性,但评估过程仍然依赖于资深外科专家的主观经验或者运动学参数的回顾性分析。评估结果存在主观性与滞后性,无法满足目前微创外科手术技能评估客观实时的需求。本章梳理分析传统评估体系在应对当前微创外科智能化与精细化发展时暴露出来的局限性。
1.1 基于专家经验的结构化评分量表
在传统的微创外科手术技能评估体系中,重要的技能评估依据是基于专家手术经验的结构化评分量表
[10]。为了弥补早期师徒制的教学模式中评估完全主观且非结构化的不足,在外科领域一系列用于量化外科技能的评估工具被开发。这其中具有代表性的通用量表,包括客观结构化技术技能评估工具
[10](OSATS)、全球性腹腔镜操作技能评估工具
[34](GOALS)以及全球机器人技能评估量表
[35](GEARS)等。这一类量表将手术技能拆分为组织处理、器械使用效率以及操作流畅度等维度,由高年资的专家通过现场观察或术后录像回放等方式对术者的表现进行打分。尽管这类方法在一定程度上推动了外科技能评估的标准化,但仍然存在局限性
[36]。通用量表缺乏针对性,难以有效应用于不同器官的特定外科术式的技能评估。
为弥补通用量表的缺陷,多个研究团队开发了针对特定术式的评估量表。有学者开发的日本腹腔镜远端胃切除术操作评估量表(JORS-LDG),将手术过程拆解为34项具体操作任务进行5分制量化打分,包括戳卡置入、淋巴结清扫、消化道重建以及术区检查等核心维度,形成了对此术式特定的技能评估体系
[37]。有学者构建的完全结肠系膜切除术胜任力评估工具(CMECAT),引入解剖平面游离的完整性、血管暴露结扎的规范性、组织处理技术以及肿瘤学切除的安全性等维度,完善了结肠癌系膜切除术的技能评估体系
[38, 39]。此外,有研究在通用量表OSATS的基础上,在腹腔镜胆囊切除术中,引入安全视野显露、胆囊管夹闭与切断等操作指标;在腹腔镜子宫切除术中,引入子宫血管处理、阴道残端缝合等专科评估维度
[40-42]。即便如此,技能评估量表的局限性仍然存在:评估过程高度依赖专家的主观判断,导致不同专家间评估结果的一致性较低
[43];人工审核手术录像耗时费力,且为术后评估。因此,这种方法难以在大规模临床实践中应用,且在手术过程中无法进行实时的反馈。
1.2 基于器械运动学数据的定量评估
为了弥补主观评估的不足,研究通过提取分析手术过程中器械的运动学数据对术者技能进行客观评估。手术器械运动学数据主要有两种获取途径:一种是通过在腹腔镜器械上附加电磁或光学运动追踪传感器获取
[44];另一种是通过微创手术机器人系统的原生日志记录
[45]。与传统腹腔镜手术仅依赖视频信息相比,机器人手术平台作为高度集成的数字化手术系统,能够自动记录并输出与手术视频高度同步的运动学数据
[46]。在时间维度上,技能评估指标主要提取自手术的时间序列特征,包括器械有效操作时间占比、特定手术操作(如缝合、打结)的动作耗时,以及器械停顿或空闲时间等
[45, 47];在运动维度上,依托手术机器人系统日志与末端力传感器,指标涵盖器械头端运动轨迹、抓持组织的动态作用力反馈以及左右手运动协调矩阵等
[48-50]。基于精准运动学数据,有研究发现,外科专家在面对复杂组织的游离和解剖任务时,能以最精简的器械移动路径完成操作,呈现出更少的术中停顿犹豫、无效触碰和反复抓取,表现出更高的运动经济性
[45, 51-53]。但基于客观运动学参数的评估,仅能对物理特征进行记录,难以结合具体手术场景进行理解。因此,这类方法难以体现术者在面对真实手术中解剖变异时的应变处理能力,单纯依赖运动学参数无法全面评估术者的真实手术水平,仍需进一步结合手术视频理解、阶段识别和场景语义分析,为AI驱动的技能评估提供更完整的数据基础。
2 基于AI的微创外科手术技能评估
借助提取手术视频以及器械运动数据中的高维特征,AI可提供低偏倚、自动化且具备可重复性的技能评估,促使技能评估模式从主观定性转变为客观定量
[54]。本章讨论围绕当前AI评估方法以传统专家评分作为基准,或借助运动学分析与特定技术指标计算,进而达成对手术操作水平的多维度、智能化的分析。
2.1 基于专家数据标注的AI技能评估
针对传统结构化量表评估存在耗时耗力且一致性差的问题,基于监督学习的AI模型借助学习术者的操作特征以及相应的评分标准,实现术中客观实时的技能评估。此类模型以专家评分作为金标准,通过算法构建视频中手术操作与技能得分之间的映射关联,进而实现自动化的技能评估。针对腹腔镜结直肠手术中的视野暴露操作,有研究运用三维卷积神经网络(3D-CNN),计算术者实时操作画面与标准化专家操作场景的相似度,以此对技能水平进行评价,并将其量化为AI置信分数(AICS)
[55]。该研究以内窥镜手术技能认证系统(ESSQS)为参照标准,将偏离ESSQS平均评分2个标准差的情况定义为高低评分组。研究结果表明,AICS在区分高、低评分组时的曲线下面积可达93.00%。然而,此结果基于高、低评分的二分类策略,无法真实反映临床场景中连续评分分布的评估能力。同时该评分模型的精度受限于特征提取的精细程度,难以精准辨别同一水平术者之间的微小技能差异。为解决这一问题,有研究针对机器人微创手术中的缝合、打结等精细操作提出了Contra-Sformer模型,该模型将待测视频与专家操作的标准视频进行对比评分
[56]。通过Transformer架构提取并对比待测视频中操作动作轨迹与流畅度方面的具体特征差异,计算基于标准视频的分数差值,进而提供更为精细化的技能评估。但此类对比模型高度依赖数据的严格独立性,若训练集和测试集未在受试者层面独立划分,将同一患者的视频片段分配至训练集和测试集,则会导致高估模型准确性。
2.2 基于运动学与手术视频多模态数据的AI技能评估
单一运动模态数据难以全方位呈现手术技能水平。当前,多模态深度学习技术成为研究前沿,该技术将手术视频的视觉特征与器械运动学特征深度融合,以实现对复杂手术动作的精确解析,进而达成对术者在场景感知、操作熟练度、组织处理能力等维度的全面技能评价。在此领域,基准数据集为不同算法模型的比较和重复验证提供了基础。以公开数据集JIGSAWS
[46]为例,它包含了多位不同经验水平术者在体外干箱模型中完成标准手术操作任务的视频与运动学轨迹。基于此类多模态分析思路,有研究提出的基于图神经网络(GNN)的SurGNN模型,将手术过程解构为“器械+组织+动作”3个维度,并分析它们在操作进程中的相互作用机制
[57]。以腹腔镜胆囊切除术为例,此模型整合胆囊三角解剖、胆囊剥离等阶段中器械的位置、组织的移动状况以及动作的变化情况,对术者的整体表现、操作精准度和动作流畅度予以评估,进而区分新手、中级、专家三种技能水平。该方法不仅提升了评估的精确性,还能够直观呈现致使低评分的手术操作失误。但是,此类研究在临床转化中仍面临瓶颈,JIGSAWS等数据集来源于体外模拟环境,缺乏真实手术场景中存在的组织张力与出血等因素干扰;而真实手术视频数据集常存在术者技能水平分布不均衡的问题,若未对数据进行类别加权,模型则可能对少样本数据识别的准确性不足。同时,图神经网络
[58]对于数据量要求较高,其在小样本集中的泛化能力仍需验证。
有学者针对机器人辅助前列腺切除术的缝合与打结操作,对其动作轨迹特征进行分析。此方法可捕捉并分析术者操作器械运动过程中的平滑性与效率特征,分别以95.10%和92.20%的准确率区分出专家平滑高效的精炼动作与新手频繁调整的冗余动作
[29]。基于手术步骤分解与运动学指标的评估
[59],有学者将手术操作拆解为细粒度更为密集的手术动作单元,并创新性地对器械运动学特征与细粒度动作单元开展联合分析
[60]。研究结果显示,这种将客观数据置于具体操作场景的评估方式,相较于单纯统计手术耗时或器械移动距离,更能体现真实的技能差异,为可解释的自动技能评估提供了新思路。
3 传统微创外科手术质量控制体系
传统手术质量控制体系主要关注特定术式是否按照既定技术标准和关键安全步骤完成,其核心目的在于减少操作变异,保障标准术式的规范实施,并降低围手术期风险
[61]。该体系主要依赖人工审查和术后回顾,在推动标准术式实施方面发挥了一定的作用,但仍然存在前瞻性不足和反馈滞后等局限性。术后基于临床结局指标的统计分析,与术中依赖术者主观经验进行判断,都难以实现对操作的实时风险预警和客观纠偏。本章围绕规范化管控标准术式与操作流程、回顾性审核临床指标、监测关键步骤与安全术野等方面,分析传统手术质控体系的现状和局限性。
3.1 基于标准术式与操作流程的规范化管控
在传统手术质控中,核心策略是推广标准术式与规范化操作流程,这一方法侧重于将复杂手术流程解构为一系列既定的技术动作与操作步骤,要求术者严格遵循由专家共识或经典教科书所确定的操作范式:以进展期胃癌根治术为例,要求术者严格执行D2淋巴结清扫
[62-64]。传统的质控体系目的是借助同质化的技术要求确保每一台手术都能达到预期的根治效果。在执行层面,这种规范主要依赖传统师徒制进行传承,术者通过反复训练记忆标准步骤并在术中凭借个人经验来复现这些操作
[65]。然而,手术操作的规范性在很大程度上取决于术者的个人技术水平与状态。若出现手术中步骤遗漏以及解剖层面分离未达标等情况,术中往往无法及时发现并纠正,致使手术质控难以实现标准化与同质化
[15]。
3.2 基于术中或术后临床指标的人工回顾审核
传统质控体系高度依赖对常规临床指标的分析与审核,这一维度主要通过手术结果数据来间接体现手术质量。质控流程基于手术记录中的客观数据开展回顾性分析,核心审核指标主要涵盖两类。一是围手术期指标,包括手术时长、术中出血量、术后住院时间等,用以间接评估手术过程的安全性与规范性
[66-68];二是肿瘤学质量指标,包括淋巴结清扫数量、切缘阳性率或系膜完整性等,评估手术是否达到根治切除标准
[69, 70]。但是,临床指标仅能体现手术的最终结果,难以还原手术的操作流程;且人工审核数据存在滞后性,无法对手术过程中的低效操作或非规范行为实施实时监测与指导
[71-73]。
3.3 基于关键步骤或安全术野的质量控制
为了弥补术后质控的不足,现代外科建立了以手术安全核查表为代表的过程性质控制度,在术前、术中及术后关键节点进行规范性核查,以减少可预防的手术错误
[74]。其中最具代表性的是世界卫生组织推广的手术安全核查表,作为围手术期标准化安全工具,通过组织手术团队在关键节点开展规范化核查,降低手术并发症从而提高手术质量
[75, 76]。除通用性安全核查表外,部分术式还建立了针对特定关键步骤或安全视野的质控标准。在腹腔镜胆囊切除术中,关键安全视野(CVS)被视为预防胆囊管和胆囊动脉损伤的金标准
[77],要求术者在离断前清晰显露胆囊周围结构,但传统CVS评估完全依赖于术者的主观视觉判断。研究表明,在缺乏客观辅助的情况下,术者可能因疲劳或经验不足造成视觉误判,导致术中损伤
[77-79]。此外,由于缺乏实时监督工具,安全核查有时会流于形式,无法真正起到实时预警潜在风险的作用。
4 基于AI的微创外科手术质量控制
目前,AI可通过实时识别手术阶段或监测关键操作,在术中即时预警潜在操作风险,并对手术操作规范性进行动态评分,有望突破传统质控滞后的局限性。本章将重点分析AI如何通过自动化流程识别与关键手术操作区域监测,推动术后质控向术中实时转变。
4.1 基于手术阶段识别的流程质控
基于深度学习的手术阶段识别能够自动将连续的手术视频流解析为标准化的操作步骤,从而实现对标准术式执行情况的实时监控。在流程质控算法演进中,公开视频数据集为模型训练、算法比较和重复验证提供了重要基准。以最广泛应用的Cholec80数据集
[27]为例,其包含了80例7个完整手术阶段标注的腹腔镜胆囊切除术视频,为端到端的时序建模算法提供了标准化数据。有研究开发了混合深度神经网络,成功将机器人肝左叶切除术解构为游离肝脏、实质离断等核心步骤,识别准确率达到0.82,实现了对手术进程的自动化追踪
[80]。有学者基于多中心数据构建了基于ResNet-50框架的阶段识别模型,能够以81.00%的准确率识别腹腔镜乙状结肠切除术中从“肠系膜游离清扫”到“直肠离断吻合”等关键步骤,推动了标准术式在不同中心间的同质化推广
[81]。但是上述模型多基于帧级图像特征进行分析,容易忽略手术操作之间的连续过渡关系,产生局部时间的预测跳跃,其在真实病例完整视频中的时序稳定性仍待验证。四川大学华西医院开发的SurgSmart系统
[82],以YOLOv3目标检测网络为核心架构,通过融合残差网络与特征金字塔技术,构建了包括手术阶段识别、胆囊炎症程度分类、关键离断动作识别及安全视野评估的腹腔镜胆囊切除术质控平台。多中心验证显示,该系统对胆囊管与胆囊动脉的离断动作识别准确率达98.49%,为推动腹腔镜胆囊切除术的质控奠定了基础。
随着AI技术的发展,手术阶段识别正进一步从被动监测向主动辅助发展。在肝胆外科领域,有研究基于多中心腹腔镜半肝切除术数据,开发了智能手术助理(ISA),在术中超声检查、第一肝门清扫、第二肝门清扫、肝中静脉暴露及肝断面止血观察等阶段的识别准确率达91.00%
[83]。该系统进一步结合术野清晰度评分,对术中画面低能见度情况进行主动预警,从而规避操作风险。然而,目前手术阶段起始与终止的定义缺乏统一标准,标注者间的主观差异会影响标注数据的一致性,限制了该类模型性能的提升。
4.2 关键手术操作区域智能监测
传统质控在术中观察CVS或危险区域时,高度依赖术者主观经验,且易受视觉疲劳、解剖变异等因素影响。为减少主观偏差,AI可实时分割关键解剖结构并定位器械空间位置,构建客观的术中安全监测体系。这一体系的建立高度依赖高质量像素级标注的手术图像数据集,其中MICCAI EndoVis年度挑战赛
[84]发布的器械与组织分割数据集,为相关算法训练和验证提供了重要基础。在腹腔镜胆囊切除术中,有学者开发的DeepCVS模型实现了胆囊三角区域关键解剖结构的自动分割,并计算关键安全视野评分,在术者进行胆囊管或胆囊动脉离断操作前提供AI质控,该模型以71.90%的CVS评估准确率有效减少了因误判导致的严重并发症
[85]。但CVS评估本身依赖专家经验判断,具有较强主观性。若模型训练过度强调与人工标注结果的一致性,可能会使模型学习到不同专家之间的主观标注差异,降低模型评估稳定性,并影响实际临床应用效果。有研究通过语义分割模型对腹腔镜胆囊切除术中胆囊、肝脏、胆囊三角等关键解剖结构进行实时识别,提出了针对“可操作区域、不可操作区域”的毫秒级风险预警模型,实现了对术中操作安全的动态、实时监测。该模型在开发过程中,每例视频仅选取少量孤立静态帧参与训练,缺失对连续手术动作和动态上下文的建模
[28]。因此,模型易受手术烟雾等视觉干扰,在真实临床应用中容易引发假阳性预警。
5 AI在微创外科手术技能评估与质量控制中的应用挑战与风险
尽管AI为外科技能评估与质控提供了客观化工具,但其实现临床转化仍面临多重挑战。首先,对高质量标注数据的依赖,是制约手术技能评估与质控模型开发的重要瓶颈。手术技能评估与质控不仅需要高分辨率视频与精确时间同步数据,还依赖资深外科医生对操作阶段、关键动作与技术细节进行逐帧精细标注
[27]。高质量标注对专家资源的依赖,限制了数据标注的规模化开展
[15]。此外,技能评估与质控过程存在主观性
[43],不同专家对于规范操作、安全边界的标准存在差异,标注差异会被模型学习并放大,影响模型的稳定性和泛化性。
即使有足够的标注数据,AI在真实手术环境中的泛化能力仍面临着技术瓶颈
[30]。手术视频具有设备、光照条件、镜头参数以及个体解剖差异等高度非结构化特征;同时,术中出现烟雾掩盖
[86]、组织表面镜面高光
[87]以及非刚性组织形变
[88]等情况也会改变图像特征。这些因素均可能造成模型泛化能力不足,导致利用单中心数据训练表现优异的模型,在跨机构部署验证时性能下降
[24]。
此外,AI的临床落地还取决于其能否被医生顺利理解和使用,并与真实手术流程有效衔接。在术者高度集中注意力的环境下,若AI系统灵敏度设置不当,造成的频繁假阳性预警,极易引发术者的警报疲劳,使真实风险被忽略
[89];反之,若术者过度依赖系统提示,则可能滋生自动化偏差,削弱术者主观能动性与危机处理能力
[24]。与此同时,深度学习模型固有的“黑箱”属性,也限制了技能评估与质控工具于教育体系中的应用。若AI只能输出抽象的分值却无法指出具体的问题,这种缺乏可解释性的自动评估体系也难以获得临床的信任
[90]。与解剖导航系统相比,技能评估与质控工具对可解释性的要求更高,因为其评估结果可能会直接作用于教学反馈以及职业发展等方面
[91]。
除技术挑战之外,随着技能评估与手术质控对AI的依赖持续加深,伦理及责任归属问题逐渐凸显
[92]。因此,在技能评估与质控中AI应被定位为增强型辅助,而非取代人类专家的最终决策
[91]。未来,AI在技能评估与手术质控方面的成功应用,除了需要高度适配的算法,还应该与外科教育、职业伦理以及制度管理等领域协同发展。在明确临床需求与评价标准的基础上,推动相关技术朝着多样化和规范化方向发展
[93]。
6 小结与展望
随着AI与手术数据科学的深度融合,手术技能评估和质控正逐步从以经验为导向的传统模式向数据驱动的客观决策体系转变。深度学习与多模态特征融合提高了对手术动作和技能表现的量化能力;而阶段识别与语义分割等方法则进一步提升了对术中流程和关键步骤等的自动识别水平。二者共同推动手术技能评估与质控由术后回顾转变为过程监测与实时反馈,也为建立标准化、可重复的手术质控体系奠定了技术基础。尽管AI的临床转化仍然面临数据异质性以及模型泛化性不足等问题,但随着相关研究持续深入AI有望成为推动外科手术质量均质化发展的重要工具。
国家自然科学基金(82203712)
广东省科技创新战略专项资金(大学生科技创新培育)项目(pdjh2024a086)
广州市科技计划项目(2025A04J4017)