颞下颌关节(temporomandibular joint,TMJ)是人体最复杂的关节之一,其构成包括骨、软骨、韧带、肌肉和关节盘等
[1]。Valesan等
[2]的系统综述显示成年人和青少年颞下颌关节紊乱病(temporomandibular disorders,TMD)发病率分别为31%和11%。对于退行性骨关节病(degenerative joint disease,DJD)、关节盘前移位(anterior disc displacement, ADD)等疾病,必须借助影像学检查才能做出有效诊断
[3-4]。然而,医学影像诊断是相对主观的过程,准确率受阅片者的经验影响较大
[5-6]。人工智能(artificial intelligence,AI)技术的引入有助于实现诊断过程的标准化,提升结果的一致性与可重复性。
结构化数据指以固定格式或模式存储的数据,如患者信息、临床特征等,而非结构化数据则缺乏固定模式,典型代表包括医学影像、音频等资料
[7-8]。传统的机器学习擅长处理结构化数据,但面对医学图像等非结构化数据,需依赖人工对特征进行提取。相比之下,机器学习的子分支——深度学习(deep learning,DL)通过多层神经网络实现了对原始图像中复杂特征的自动学习,消除了对特定领域专业知识和复杂特征提取的需求
[9-10]。尤其是卷积神经网络(convolutional neural network,CNN)在医学图像识别、分类等任务中表现突出
[11-12]。笔者对人工智能在颞下颌关节区影像诊断中的研究进展现状进行综述,以期为人工智能在该领域的深入发展提供思路。
1 图像分割
在颞下颌关节区相关影像中,通过将髁突、关节盘等重要解剖结构分割出来作为感兴趣区域(regions of interest,ROI),如,有助于临床医生更好地对重要解剖结构的形态变化或位置关系做出判断,同时得到的ROI还可结合后续算法进行测量、诊断等
[13-14]。
早期自动分割研究算法特征表达有限,泛化能力弱
[15-16]。进入深度学习算法时代后,U-Net及其衍生架构已成为颞下颌关节图像分割领域应用最为广泛的算法,主要用于髁突与关节盘的分割。该算法采用编码器-解码器(encoder-decoder)结构,通过卷积路径提取特征,再经反卷积路径上采样,并融合同层特征以恢复细节(
图1),在医学图像分割中表现优异,其轻量化的网络结构使其在医学领域常见的小规模数据集上展现出良好的适应性与泛化能力
[17-18]。 然而需要指出的是,该领域绝大多数研究仍集中于U-Net及其变体,算法结构趋同现象明显,技术发展相对同质化,更多具有潜力的架构算法有待进一步开发。
目前,对模型分割效果的评价主要采用Dice系数、F1分数(F1 score)、受试者工作特征曲线下面积(area under the receiver operating characteristic curve,AUC)及交并比(intersection of union,IoU)等指标。这些指标通过计算模型分割结果与金标准之间的空间重叠度来量化其一致性,数值越接近1,表明分割精度越高。需要特别指出的是,在图像分割任务中,Dice系数与F1分数在数学形式上是完全等价的,二者常被交替使用。
1.1 髁突分割
Le等
[19] 应用U-net同时对CBCT影像中的下颌升支和髁突进行分割,在测试集中AUC值达到0.954±0.051,F1分数为0.915±0.031,但未单独评估髁突分割精度。Liu等
[20] 在U-net分割髁突和关节窝的基础上,引入GVF Snake模型优化边缘,显著提升了分割精度并减小了误差,其对于髁突和关节窝分割的Dice系数分别为0.92±0.03和0.90±0.04。
上述算法存在二维逐层分割导致的效率低下问题, 而3D U-Net是一种能够利用上下文图层信息的改进算法,仅需稀疏标注即可实现高效三维分割
[21]。Vinayahalingam等
[22] 采用多任务3D U-Net模型实现对CBCT影像中髁突和关节窝的准确快速分割,最终髁突和关节窝分割的Dice系数分别为0.976±0.01和0.966±0.03,平均分割时间为3.6 s。
另有研究探索了采用残差U-Net模型在超声图像上分割髁突与关节窝的可行性
[23]。虽然该方法展现出一定的分割能力,但由于超声并非颞下颌关节常规影像学检查手段,其图像获取的可重复性较低,因此基于超声图像分割方法的临床实用价值仍需进一步论证。
1.2 关节盘分割
相较髁突,关节盘在磁共振成像(magnetic resonance imaging,MRI)图像中部分边界模糊,形态变异大,分割难度更高,U-Net等基础模型易出现分割误差
[24]。Ito等
[25]使用U-Net神经网络分割关节盘,Dice系数仅为0.46±0.14。Li等
[26]探索了改进算法3D U-Net及U-Net++,两种模型对关节盘分割的Dice系数达0.7左右。Azma等
[27]的研究也给出了接近的数据。
将图像进行预处理有望提升模型图像处理能力。Yoshimi等
[28]提出限制对比度的自适应直方图均衡化(contrast-limited adaptive histogram equalization,CLAHE)通过增强局部对比度,可显著提升模型对关节盘的分割性能,增强了模型的泛化能力。
研究间异质性是影响现阶段评价研究进展的重要障碍。Nozawa等
[29]报道了使用一种改良U-Net模型,取得了更好的分割结果, F1分数可达0.85以上,但该研究使用的图像为相机拍摄得到的数字图片,其泛化能力存疑。Ito等
[25]使用了自己提出的3DiscNet模型也展现出潜力,但模型训练量较少,仅有217张图像。
近年来,随着基于Transformer架构的大语言模型(如ChatGPT)的兴起,其在图像处理领域也展现出显著潜力
[30-31]。Yoon等
[32]将多种CNN模型与基于Transformer架构的语义分割模型Segformer
[33]进行整合,对关节盘和髁突的分割Dice系数分别为0.604和0.800。Ha等
[34]提出了一种结合Transformer与U-Net的混合架构模型,实现了关节盘的精准分割,Dice系数达0.79,体现了该架构在医学图像分割任务中的技术优势与应用前景。
2 图像诊断
人工智能在颞下颌关节放射图像诊断中的主要应用为疾病分类,目前集中于退行性骨关节病(DJD)与关节盘前移位(ADD)。其技术路径主要有两种:一是基于影像组学特征,结合临床指标,利用传统机器学习方法构建诊断模型;二是采用深度学习算法直接从图像中学习特征并完成分类。后者主要包括目标检测(如R-CNN系列、YOLO与SSD等)与特征提取(如VGG、ResNet等)两类算法,可实现病灶定位识别与分类
[35]。
2.1 退行性骨关节病的诊断
颞下颌关节退行性骨关节病(DJD)是一种以关节软骨退行性变、骨质增生或破坏为主要特征的退行性疾病
[36-37],其诊断主要基于髁突和关节结节的影像学表现。临床上常用的影像检查手段中,曲面体层片可作初筛工具,CBCT是骨质评估的首选方法,能够准确观察皮质骨边缘的完整性及皮质骨下的组织结构,诊断方面较MRI表现更好
[38-39]。
2.1.1 基于曲面体层片的应用研究
Kim等
[40]比较了VGG16、ResNet和Inception V3三种经典CNN模型对DJD的诊断效能,其中VGG16准确率最高(0.84),但灵敏度较低(0.54),诊断稳定性不足。后续随着算法的优化,Jung等
[41]采用ResNet-152与EfficientNet-B7模型,两种模型诊断准确率可达0.88左右,优于TMD专家的表现。Azlağ等
[42]在CNN模型的基础上使用Adamax优化器调节参数,准确率甚至高达0.95。
2.1.2 基于CBCT的应用研究
主要包括在结构化数据和非结构化数据中的应用研究。
2.1.2.1 传统机器学习算法在结构化数据的应用
有研究尝试整合多源影像组学、临床及分子生物学特征构建具有高诊断效能的临床决策支持系统
[43-45]。Bianchi等
[43] 结合高分辨率CBCT影像组学特征与唾液、血清生物标志物,使用LightGBM和XGBoost筛选高诊断效能特征及特征组合,模型诊断DJD的准确率可达0.823。该统计学习模型中,发现影像与临床特征贡献显著,而生物标志物特征仅在组合中体现作用,但样本量有限且组合机制尚不明确。由于生物标志物在临床中不易获取,将其作为特权信息(privileged information)辅助机器学习筛选影像组学特征似乎是一种合理的选择
[46-47]。这种策略中,特权信息仅在模型训练阶段指导模型学习非特权信息,在测试集中并不参与模型预测。Zhang等
[47]研究发现特权信息法训练得到模型的诊断效能更好,采用KRVFL+(kernel-based random vector functional link network+)算法诊断DJD的AUC和准确率分别为0.8和0.756。值得注意的是,上述机器学习算法的成果均来自同一研究组,应谨慎考虑其结果可信性。
2.1.2.2 深度学习在非结构化数据的应用
目标检测算法在颞下颌关节骨关节病辅助诊断中展现出显著的应用潜力
[48],其中YOLO系列模型已成为该领域多数研究的选择。Eşer等
[49]基于YOLOv5模型实现了髁突三种病变类型的自动识别,其精确率和F1分数分别达到0.768和0.869。伍丹丹等
[50]亦使用同种模型取得较好效果,但未作病变具体分类。继此之后,Mourad等
[51]采用的YOLOv7模型,遵循国际公认的颞下颌关节紊乱病诊断标准(diagnostic criteria for temporomandibular disorders, DC/TMD)
[3],实现了对骨质磨损、骨质硬化、囊样变、骨赘形成四类病变的分类诊断,模型AUC达0.872~0.911,与专家评估结果高度一致。Mao等
[52]采用更为先进的YOLOv10模型,同样基于DC/TMD标准开展分类研究,取得了更优的性能表现,其各类别的准确率均提升至0.91~0.96,展现出该技术路线的持续进步与显著优势。
亦有研究探究其他模型的诊断潜力。Lee等
[53]采用SSD模型对CBCT矢状面二维图像进行DJD的诊断,其准确率、精确率、F1分数均在0.84~0.86。De Dumast等
[54]和Ribera等
[55]自行设计了一项深度神经网络模型——合并少数过采样技术(synthetic minority over-sampling technique, SMOTE)算法,其平衡了不同类别数据量差距,然而在多分类诊断方面表现有限(准确率47%)。
2.1.3 基于MRI的应用研究
尽管MRI对骨关节病的诊断价值仍有争议
[39, 56],但由于无电离辐射且能够同时检查软硬组织的特点,常作为主要检查手段之一
[57]。Nozawa等
[58]则探索了深度学习模型对颞下颌关节MRI中骨关节病的诊断性能,其中ResNet-18表现最佳,灵敏度和特异度均达0.85~0.89,诊断表现显著优于住院医师,并与专家水平相当。值得关注的是,Liu等
[39]研究显示住院医师的MRI诊断特异度仅0.43。因此,深度学习模型可作为辅助工具,以提升低年资医师的诊断准确性与一致性。
2.2 关节盘移位的诊断
颞下颌关节盘具有辅助下颌运动及缓冲咬合力的功能。关节盘前移位(ADD)是TMD最常见的表现之一,临床可表现为下颌运动功能受限、疼痛,影响患者情绪状态及睡眠质量
[59]。其影像学表现及诊断对临床治疗指导意义重大
[60]。目前相关研究主要基于深度学习模型进行图像特征提取以实现ADD识别
[61-67],亦有学者采用传统分类器筛选MRI影像组学特征构建诊断模型
[68-69]。
2.2.1 传统机器学习在关节盘前移位诊断的应用
Orhan等
[68]获取T1、T2和质子加权像MRI图像,使用一致性聚类(consensus clustering)筛选影像组学特征,并使用6种机器学习算法构建预测模型,其中随机森林算法在验证集中对ADD的诊断AUC值最高,为0.74,但在测试集中表现不佳。
Duyan等
[69]提供了改进思路,通过LASSO算法筛选关键影像组学特征以构建模型,并同时加入了开、闭口位图像信息,实现了对可复性与不可复性ADD的鉴别,在测试集的AUC达0.913。值得一提的是,临床诊断主要依据开闭口位下关节盘与骨性结构的位置关系,而基于影像组学特征的判断逻辑与此存在差异,存在可解释性差的问题。
2.2.2 深度学习在关节盘前移位诊断的应用
目前,基于深度学习模型的研究在ADD的诊断中取得了显著进展,且表现优于传统机器学习。Lee等
[61]比较了三种不同的训练策略对VGG-16模型性能的影响,发现采用预训练与微调(fine-tuning)策略所得模型的AUC最高。进一步将三种训练策略所得模型进行集成,模型对ADD诊断的准确率从0.769提升至0.831,超过了两名人类专家的诊断水平,灵敏度也从0.65提高至0.82,但特异度由0.94略有下降为0.85。Kao等
[63]比较了InceptionResNetV2、InceptionV3、DenseNet169和VGG16四种模型的分类效能。实验结果显示,四种模型对ADD的诊断均表现良好,其中InceptionV3和DenseNet169的综合性能最优,准确率可达0.85。Su等
[65]尝试使用VGG-16对多分期的ADD进行分类诊断,模型表现良好,总体预测准确率达到0.8473。Min等
[66] 则探索了集成深度学习与机器学习模型的策略,先采用SegNet网络分割髁突与关节盘并提取距离参数,再通过随机森林分类器进行分析。该混合模型对ADD的诊断准确率达0.89,显著优于单一深度学习模型。
上述研究探索了AI模型诊断的可行性,而Bai等
[67]将自行设计的CNN模型进一步应用于临床诊断场景,对比了有无AI辅助下医生诊断的效能和时间,发现在AI辅助下医生诊断的灵敏度、特异度、AUC均有显著提高,并将诊断时间由16.43 s降低为12.55 s。
图像的诊断标准也可能对训练结果产生影响。Lin等
[62]发现同时参考关节盘后带和中间带的位置对图像进行标注时,模型较仅参考关节中间带位置时诊断效能更优,其灵敏度、特异度及AUC值分别达到0.735、0.926和0.922,提示严谨、统一的标注标准是提升诊断模型性能的关键。
2.2.3 深度学习在可复性/不可复性关节盘前移位诊断的应用
为准确诊断关节盘是否可复性移位,临床需结合开、闭口位图像进行分析,对此需设计多模态图像融合算法。融合可在三个层次实现:原始数据层(input-level)进行像素级信息融合;特征层(layer-level)对各模态特征进行集成;决策层(decision-level)整合模型输出结果(
图2)。后两种方式因对噪声和配准误差不敏感,具有更佳的鲁棒性
[70-71]。
Yoon等
[64] 构建了一个多输入CNN,将患者开闭口位图像同时作为输入图像,模型可给出正常、可复性ADD和不可复性ADD三种诊断。该研究比较了上述三种融合策略,发现特征层融合模型的AUC值最高。此外,模型还采用了逐层深可分离卷积(depthwise separable convolution)算法,显著减少参数量并允许构建更深的网络。研究中训练集和测试集数据分别为不同时期、不同医院、不同成像设备的MRI图像,分别包含1 790张和600张图像 。测试集对ADD分类的诊断AUC、灵敏度、特异度分别为0.960、0.926、0.892。
2.3 多任务诊断模型
随着医学知识和医疗数据的爆炸增长,以及各类检查手段的丰富,临床医生面临多模态数据整合和个体化治疗权衡的挑战。在此背景下,通过人工智能辅助,将最新医学证据、患者个性化信息与临床工作流程结合的临床决策支持系统(clinical decision support system, CDSS)应运而生
[72-73]。颞下颌关节构成复杂、病种多样、检查手段丰富,上述单任务深度学习模型虽能验证可行性,但无法解决临床诊断的多任务需求。
Lang等
[74]提出了本领域首个多任务深度学习框架M⁴4TMD,融合了多序列、多切片的MRI影像与临床数据,能够同时完成DJD、ADD及关节积液(effusion)的联合影像学诊断。其中以ResNet50为主干网络(backbone)的模型表现最好,上述三种病变诊断任务的AUC值分别为0.831、0.913和0.961,诊断准确率与资深医生相当。后续研究应结合其他模态图像(诸如CBCT图像),并将多来源影像资料纳入测试集
[75],进一步验证模型泛化能力。
3 图像降噪
在大视野CBCT扫描中,颞下颌关节区往往位于视野(field of view, FOV)边缘,空间分辨率因锥形束效应(cone beam effect)而降低,容易出现图像噪声(noise)
[76]。当图像噪声明显时,会增加图像分割和诊断的难度
[77]。此外,由于CBCT图像中辐射剂量与噪声呈反比
[78],考虑到放射防护原则,有效的图像降噪技术有希望减少患者接受的辐射量。
传统CBCT降噪方法虽有良好的降噪性能
[79-80],但所需数据难以获取
[81],且可能改变噪声纹理和空间分辨率
[82],其实施依赖于投影设备制造商的支持与集成。基于深度学习的降噪算法近年兴起,其所需数据易获取,且不受噪声分布的限制
[83-84],部分复杂模型在降噪的同时能够保留图像细节,降噪效果优于传统降噪方式,但计算量较大
[85-86]。
Jo等
[87]使用来自设备厂商的重建算法,验证了深度学习算法对颞下颌关节区MRI图像降噪和减少扫描时间的潜力。而对于算法生成图像能否提升诊断效能仍存争论。Lee等
[88]利用商业化CNN模型对零回波时间MRI图像进行降噪及伪影去除,并以CBCT作为参照。结果表明,处理的图像在信噪比、主观评分以及骨关节病诊断一致性方面均显著优于常规MRI,且诊断一致性已接近CBCT水平(
κ>0.9)。而Kazimierczak等
[89]使用降噪网络ClariCT.AI对CBCT图像进行处理,结果显示降噪对主观诊断无显著影响。因此,AI对图像降噪的可行性及临床意义尚待进一步探索,尤其是Transformer等生成式模型在这类图像生成任务中有较大潜力
[90],有待后续学者验证。
4 人工智能可解释性
深度学习模型的“黑箱”特性阻碍了其在医学领域的进一步应用
[91-92],可解释性人工智能(explainable artificial intelligence,XAI)应运而生,旨在增强模型决策的透明度与可信度
[93-94]。Barredo等
[95]将其定义为:“对于特定的受众,XAI能生成细节或理由使其功能清晰或容易让人理解。”对于人工智能,可解释性是获得用户信任的前提。在临床实践中,XAI有助于医生理解模型的决策依据,从而验证其与医学知识的一致性,还能帮助识别模型可能存在的偏差或错误。
卷积神经网络(CNN)的可解释性技术有两类,一类是局部XAI,即将输出在输入空间中映射回去以理解决策过程;二是全局XAI,即深入网络内部理解内部特征的重要性分布
[94]。就影像领域而言,局部XAI因其直观性更易获得医生的信任,但也存在过度信赖风险
[96]。
目前研究多采用热图可视化技术(如Grad-CAM、类激活映射等)
[97-99]对模型的决策依据区域进行直观呈现,通过与人类专家标注的关键区域进行对比分析,验证模型关注区域与临床诊断重点的一致性。目前本领域多份研究
[61, 63, 100]采用了Grad-CAM算法,将输出层的权重投影到卷积特征图上来识别图像区域的重要性,其中Lee等
[61]提出84.69%的案例中模型的ROI区域与专家判断一致。Kim等
[101]尝试多种算法生成热图以可视化模型依据,但同样缺乏系统的定量分析。
总体而言,该领域XAI研究仍处于初步阶段,现有方法仅能提示局部区域的重要性,无法揭示模型所识别的具体特征或决策逻辑,未来仍需开发更深层次的可解释性技术以支撑临床应用的可信度。
5 展望与总结
目前,人工智能技术在颞下颌关节影像的相关研究中取得积极成果,在分割与诊断任务中表现出色,部分模型性能甚至优于专家评估。然而,该领域的研究仍存在以下几方面局限性:
首先,研究内容较为集中。在图像分割方面,现有文献较多关注髁突与关节盘的自动分割,并初步验证了其可行性,但对关节窝、关节结节等其他解剖结构或病变区域的研究仍较为缺乏;在疾病诊断方面,目前研究主要集中于DJD及ADD,而对于其他需影像学辅助诊断的疾病,如各类关节炎、关节强直和肿瘤性病变等,则尚显不足;在图像降噪方面,其临床必要性与技术可行性仍有待进一步验证。
其次,研究所采用的数据类型较为单一,难以覆盖临床实际场景。大多数研究仅基于单一影像模态进行算法验证,而真实临床诊断需综合患者的病史、临床表现、人口学特征及多项影像检查结果,以形成综合判断。目前已有少量多模态图像研究,但仍集中于单一检查手段来源,仍应以建立能够辅助临床综合诊断的CDSS为目标。
第三,人工智能模型的可推广性与可解释性研究尚不深入,限制了其临床转化应用。目前大多数研究使用来源单一的数据集进行模型训练与验证,其在不同设备、不同中心数据下的泛化能力令人担忧。此外,如前文所述,模型决策过程的可解释性仍有待加强,这是实现人工智能辅助诊断真正走向临床应用的关键环节。
当代计算机技术和算法发展迅速、日新月异,研究者应时刻关注前沿技术,推动人工智能与医学影像学领域的深层次结合。当前目标是构建一个以深度学习算法为核心技术支撑,融合临床信息与多源影像数据,具有良好可解释性、高诊断效能、良好泛化能力,并可实际应用于临床场景的一体化智能决策支持系统。