基于深度学习的多模态数据融合技术在口腔疾病中的应用及研究进展

Deep learning-based multimodal data fusion: applications and research progress in oral diseases

摘要

随着人工智能技术的飞速发展，基于深度学习的多模态数据融合技术在口腔疾病领域中的应用日益广泛并展现出巨大潜力。该技术通过构建深度神经网络，自动提取并融合来自临床文字信息、影像学信息、口内外电子扫描记录、组织病理学等多模态数据的特征，充分利用不同数据间的互补性，显著提升口腔疾病诊断的准确性、治疗规划的合理性以及预后预测的可靠性。本文系统探讨了深度学习在多模态数据融合中的核心优势，梳理了早期融合、中间融合与晚期融合等主要策略及其适用场景，综述了该技术在口腔癌、牙周炎、龋病、颞下颌关节紊乱等口腔疾病中的具体应用与最新研究进展。同时指出该技术在临床转化过程中仍面临高质量多模态标注数据稀缺、多模态语义特征对齐困难、模型可解释性不足、隐私与安全保护等关键挑战。未来，该技术将向新学习范式、智能化、自适应融合方向发展，并需融合可解释人工智能等技术以增强临床可信度，最终依靠大规模、多中心的临床验证体系推动其能够安全、有效地服务于临床实践。

Abstract

With the rapid advancement of artificial intelligence, deep learning-based multimodal data fusion technology has found increasing applications in the field of dental and stomatological diseases, and it has demonstrated great potential. This technology constructs deep neural networks to automatically extract and fuse features from multimodal data, such as clinical text information, medical imaging, intraoral and extraoral digital scanning records, and histopathological data. By fully leveraging the complementary information among these diverse data sources, it substantially enhances the accuracy of oral disease diagnosis, the rationality of treatment planning, and the reliability of prognosis prediction. This survey systematically explores the core advantages of deep learning in multimodal data fusion; outlines key main strategies, such as early fusion, intermediate fusion, and late fusion along with their applicable scenarios; and summarizes the specific applications and latest research progress of this technology in oral diseases, including oral cancer, periodontitis, dental caries, and temporomandibular disorders. We also highlight critical challenges in its clinical translation, such as complexity in multimodal data alignment, scarcity of high-quality annotated data, insufficient model interpretability, and privacy and security issues. In the future, this technology is expected to develop toward new learning paradigms, intelligentization, and adaptive fusion while integrating explainable artificial intelligence to enhance clinical credibility. Ultimately, large-scale, multicenter clinical validation systems will be required to ensure its safe and effective deployment in clinical practice.

Graphical abstract

关键词

人工智能 / 深度学习 / 多模态数据融合技术 / 融合策略 / 口腔癌 / 牙周炎 / 龋病 / 颞下颌关节紊乱病

Key words

artificial intelligence / deep learning / multimodal data fusion technology / fusion strategies / oral cancer / periodontitis / dental caries / temporomandibular disorders

近年来，人工智能（artificial intelligence，AI）的迅猛发展，特别是深度学习（deep learning）在医学领域的突破性进展，正在深刻改变口腔疾病的诊疗模式^［1-2］。然而在临床实践中，单模态数据（如病历信息、X线片）存在信息维度有限的固有问题，难以全面捕捉疾病的复杂特征^［3］。随着精准医疗需求的不断提升，不同医学影像手段、电生理信号、电子病历、基因组学等多模态数据呈现爆炸式增长态势，如何有效整合这些多源异构数据，以提高临床决策的效率和准确性，已成为现代医学所面临的重要挑战。在口腔医学领域，这一挑战尤为突出。疾病的准确诊疗需要综合多种信息，包括临床检查、影像学资料、组织病理学检测结果和病史等^［4］。虽然每种单模态数据都具有其独特价值，但不同模态数据间往往缺乏有效的关联与整合机制。在临床工作中，医生需要频繁切换和对比不同类型数据，这不仅影响诊疗效率，还可能降低诊断的准确性^［5］。基于深度学习的多模态数据融合技术凭借其强大的特征提取和非线性建模能力，为解决这一难题提供了新的解决思路和范式。通过构建多模态神经网络模型与设计相应的融合策略，深度学习多模态技术能够自动提取并融合不同模态数据间的互补信息和深层关联，从而获得比单模态分析更丰富、准确的特征表示。这种多模态融合分析方法为口腔疾病的早期诊断、个性化治疗方案制定和预后评估提供了更加可靠的技术支撑^［6］。

1 基于深度学习的多模态数据融合技术

多模态数据融合技术是指整合来自不同传感器或来源的多种类型数据（如图像、视频、音频、文本等），通过协同分析与互补，生成更全面、鲁棒和智能化决策的信息处理技术^［7］。多模态数据融合技术旨在融合多模态数据间的互补、冗余与协作信息，以消除单模态数据的歧义和局限，进而获得更全面、准确的分析结果，其能够自动从高维、复杂的异构数据中挖掘深层特征与关联，为实现这一目标提供了核心驱动力^{［6， 8］}。

多模态数据融合技术起源于20世纪70年代的传感器融合与信息集成研究^［9］。早期主要应用于军事监控、遥感等领域，后续逐渐被用于医学领域^［10-13］。当前，该技术已应用于癌症、神经系统、眼视光等多种疾病的诊断监测领域^［14-16］。进入21世纪，随着人工智能、计算能力提升及大数据爆发，多模态融合进入快速发展阶段，尤其是深度学习兴起后，跨模态表示学习、注意力机制等技术突破了模态间的语义鸿沟，实现了更深层次的语义对齐与协同推理。

机器学习（machine learning）作为AI的重要工具，长期以来被广泛应用于多模态数据融合分析^［17］。Alsubai等^［18］通过整合口腔健康调查问卷信息（包含人口统计学特征、行为习惯、口腔健康指标等43个变量），构建了基于机器学习的龋齿预测模型。该研究比较了3种特征工程策略在9种不同机器学习模型中的预测性能，发现采用主成分分析进行特征降维的投票分类器达到了97.36%的最高准确率。尽管基于机器学习方法配合复杂的特征工程在口腔疾病预测中取得了显著结果，但其局限性也日益凸显。首先，这类方法对特征工程的依赖强，特征选择和处理过程耗时耗力，且提取到的特征组合未必是最优解。其次，传统机器学习模型相对简单，处理能力有限，主要适用于低维数据（如文本信息），在面对高维数据（如医学影像、基因组学数据）时容易遭遇“维度灾难”，即随着特征维度增加，数据处理和机器学习任务的难度呈指数级增加，严重影响模型性能^［19-22］。随着精准医疗时代的到来，数据规模呈爆炸式增长，对模型的准确性和泛化能力提出了更高要求，亟须更先进的技术手段来应对这些挑战^［23-24］。

与传统机器学习方法相比，近年来深度学习凭借其强大的自动特征提取和非线性建模能力，逐渐成为多模态医学数据分析的新方向^［25］。基于深度学习的多模态融合模型具有显著优势：能够直接从原始数据中自主学习有效特征，避免了繁琐的特征工程；可以有效捕捉单模态数据内部的复杂模式以及不同模态间的交互关系；通过多种融合策略，在统一的框架内处理和整合异构数据^{［4， 19］}。例如，Zhao等^［26］开发的多模态深度学习模型成功实现了从口腔健康状态预测14类系统性疾病的目标。该模型能够自动提取口腔全景片的深层特征，并将其与电子健康记录（electronic health records，EHR）中的年龄、性别、牙周健康指标等8项临床特征进行融合。实验结果显示，模型在各类疾病预测中的平均曲线下面积（area under the curve，AUC）达到0.65—0.92，充分验证了多模态融合方法的有效性和可靠性。在具体应用中，多模态口腔医学分析常涉及卷积神经网络（convolutional neural network，CNN）、循环神经网络（recurrent neural network，RNN）和Transformer等多种深度学习架构^［27-29］。CNN作为医学影像处理的基石，是目前应用最广泛的网络架构之一，在口腔全景片和锥形束计算机断层扫描（cone beam computed tomography，CBCT）等影像的分割和特征提取任务中表现出色^［30-31］。RNN及其变体则擅长捕捉序列数据（如临床文本、时间序列信息）中的时间依赖性和上下文关联^［32］。Transformer架构凭借其独特的注意力机制简化了异构数据的融合过程，还能够实现不同模态间的直接交互，从而学习到更深层次的跨模态关联特征，在众多医学任务中展现出卓越的性能，被认为是当前最具发展潜力和应用前景的网络架构之一^［33］。

根据数据融合在模型中所处的阶段，融合策略可分为：早期融合（early fusion）、中间融合（intermediate fusion）和晚期融合（late fusion）（图1）^［34］。早期融合在输入层融合原始数据，其优势在于结果结构简单且能捕捉模态间的底层关联特征。然而，该方法对数据对齐要求严格，当面对高维数据时容易引发“维度灾难”，影响模型性能^［20］。晚期融合在决策层整合各独立模型的输出结果，具有较高的灵活性和较强的抗干扰能力，但其缺陷在于无法充分利用模态间的早期交互和底层关联特征^［35］。中间融合在特征层进行融合，保留各模态独特性的同时又能有效捕捉互补信息与协同效应，尽管该方法在性能上通常优于前两种策略，但其网络结构相对复杂，计算成本也较高^［36］。中间融合可进一步细分为分层融合和基于注意力的融合两种主要形式。分层融合通过构建层次化的融合架构实现多级特征融合，从而更全面地利用多模态数据的多层次相关性^［6］；基于注意力的融合则利用自注意力或交叉注意力机制对特征进行动态加权，能够聚焦关键信息并抑制噪声干扰，在建立全局信息模型的同时显著提升了模型的可解释性^［37］。需要指出的是，这三种融合策略各有其适用场景和固有局限，在实际应用中需要根据数据特性、任务需求和计算资源等因素，选择最合适的融合方法或策略组合，以实现最佳的融合效果（表1）。

2 基于深度学习的多模态数据融合技术在口腔疾病中的应用现状

口腔健康是全身健康的重要组成部分，与多种系统性疾病密切相关^［38-40］。口腔疾病的进展往往伴随解剖形态、组织功能和微生物群落的多维度改变，单一模态数据难以代表完整病例特征。现有临床诊断在很大程度上仍依赖医生的主观经验，不同医师间的诊断一致性有限^［41-42］。而临床中积累的大量数字化数据（影像学资料，电子病历记录等）——为AI的应用奠定坚实基础，推动基于深度学习的多模态数据融合技术的研究，使其能够融合多模态数据以提升诊断的自动化与客观性^［43］。目前，基于深度学习的多模态数据融合技术已应用于口腔癌、牙周病、龋病及颞下颌关节病等关键病种的辅助诊断、风险分层与疗效评估（图2），本文对相关代表性研究做出了总结（表2）。

2.1 口腔癌

口腔癌作为一种全球性健康挑战，2021年全球年龄标准化发病率为17.7/每10万人，早期诊断至关重要（Ⅰ期5年生存率80%，Ⅳ期降至54%）^［53-55］。传统诊断方式依赖医生视诊、触诊及组织病理学活检，主观性强且后者作为有创操作存在风险和难以全面评估多发病灶，易导致漏诊^［56］。亟须无创、精准的诊断工具，基于深度学习的多模态数据融合技术为此提供了新路径。

在细胞水平，Lian等^［44］利用刷检脱落口腔细胞的巴氏染色样本，同步采集其亮场（形态特征）与荧光（功能信息）双模态显微图像，评估了早期、晚期及三种中间融合策略（多任务级联卷积神经网络、超连接卷积神经网络与协同注意力融合网络）。结果显示多模态融合模型性能显著优于单模态模型，其中基于注意力机制的协同注意力融合网络模型在细胞级别的分类任务中F1分数达83.34%、准确率91.79%，性能超越人类专家，该方案“一次染色、双模成像”的高效流程兼具临床实用性与稳定性，为口腔癌细胞学筛查提供了全新的技术路径。在患者水平，针对口腔白斑的恶性转化风险的无创评估难题，Li等^［45］采用晚期融合开发口腔白斑多模态多任务预测网络模型，融合高分辨率临床图像（形态、纹理、颜色）与16项文字信息（年龄、吸烟史、临床分型等），通过多任务学习同步识别口腔上皮异常增生和癌症风险预测。在内部验证集中，模型表现卓越，上皮异常增生识别与癌症风险预测AUC分别达到0.921和0.959；外部验证集中AUC保持0.878和0.946，泛化能力强，为早期筛查提供可靠方案。

尽管口腔癌检测在细胞水平和患者水平取得了显著进展，但现有模型仍存在局限性。口腔白斑多模态多任务预测网络融合阶段滞后，未充分利用底层互补信息；协同注意力融合网络虽然对图像对齐敏感，但数据的预处理要求高；且两类模型均侧重于单一区域的融合分析，缺乏对肿瘤微环境中多尺度和多区域关联的协同探索。为此，Song等^［46］针对HPV相关的口咽鳞状细胞癌提出基于Swin Transformer的多模态多区域融合模型SMuRF，通过跨模态和跨区域的窗口自注意力机制融合涵盖原发肿瘤和转移性颈淋巴结的CT影像以及组织病理学切片，多任务进行生存预测和肿瘤分级。在数据验证集中，生存预测结果的一致性指数达0.81，肿瘤分级AUC达0.75，均优于单模态模型，实现了从微观到宏观的多尺度和多区域特征交互，为口腔癌多模态数据融合提供新范式。

2.2 牙周病

牙周病是发生在牙支持组织的慢性感染性疾病，与系统性疾病密切相关，2011至2020期间全球患病率61.6%，若得不到及时的诊断和治疗将导致牙齿的脱落丧失^［57-59］。传统诊断依赖探诊出血、临床附着丧失及根尖片，主观偏差大、辐射叠加且仅能提供二维骨吸收信息，难以早期发现微小病变^［60-61］。在当前使用的2018新分类中，不同医师进行分期诊断时与金标准相比一致性仅为68.7%^［62］。尽管基于CNN的单模态模型已可在全景片上自动量化牙槽骨吸收并完成分期^［63-64］。但其仅利用影像灰度特征，忽略了临床参数（探诊深度、出血指数、吸烟史、糖化血红蛋白等）与微生物组信息，敏感度和特异性仍不足以指导个体化治疗，从而催生多模态融合技术^［65］。

双模态融合主要结合影像信息和临床数据，例如Thanathornwong等^［47］采用晚期融合，通过融合全景X线片和22项临床数据（年龄、吸烟史、糖尿病状况等）构建临床决策支持模型：首先采用CNN从全景X线片自动提取牙周特征，再与临床数据融合至贝叶斯网络，根据预设的相关信息概率输出可解释的牙周治疗计划的支持概率，在5折交叉验证中AUC为0.733~0.875，显示其稳定的治疗计划推荐概率，辅助医生决策。与之不同的是，Zhao等^［26］将系统性疾病诊断标签加入模型，首先利用深度学习从1 188张全景X片中提取牙周炎形态特征，接下来融合从EHR中获取的8项临床信息（牙周炎分期、牙槽骨丧失程度等），并引入系统性疾病诊断标签，最终预测14类特定疾病风险，结果表明多模态模型预测性能显著优于单模态模型，且在血液系统疾病和神经系统疾病预测中的AUC分别为0.92和0.87，为牙周炎治疗中进行系统性疾病早期筛查提供全新的智能化工具。

上述方法均依赖二维X线片，无法充分捕捉牙周组织的三维空间关系，且多采用晚期融合，未能充分利用数据的互补性。为此，Tan等^［48］提出的PerioAI模型采用中间融合策略：分别从口内扫描（intra oral scans，IOS）中分割牙冠，从CBCT中分割牙齿（含牙根）与牙槽骨，并进行三维配准以实现软组织与硬组织的空间对齐，同时模型沿牙齿的长轴自动生成360个测量点计算龈骨距离，数字探诊测量的平均误差仅有0.04 mm且远超传统6点探诊。该模型构建了一个全栈式、自动化的多模态牙周炎诊断模型，并且已经在多中心数据集上验证了其卓越性能，为医生提供了一种非侵入性的高精度牙周炎诊断与治疗决策支持工具。

2.3 龋病

龋病是一种由细菌主导、多因素作用的牙体硬组织的慢性进行性破坏性疾病^［66-67］。其早期诊断具有重要临床意义，若未能及时诊断并阻止其进展，致病菌可能进一步侵入牙髓或根尖周组织，显著增加后续治疗难度^［68］。传统诊断依赖医生的临床检查和影像学检查相结合的方式，但临床检查易受主观经验影响，不同医师在判断咬合面龋损的活动性时与专家基准仅为中等水平（Kappa=0.5）；常用的二维X线片在检测边缘区可疑病变时灵敏度不足，容易出现漏诊或误诊^［69-71］。

Ngnamsie Njimbouom等^［49］针对椅旁早筛场景提出多模态龋齿预测模型模型，以中间融合架构整合风险与视觉信息：一路轻量级人工神经网络将年龄、性别、龈出血史等28项临床变量压缩为8维关键预测因子；另一路DenseNet201从口内彩色照片提取128维深度视觉特征，二者在潜空间拼接后由两层全连接完成龋病二元分类。模型在测试集中准确率达90%，显著优于单模态方法，为开发自动化龋齿筛查工具提供了技术支持，同时体现了中间融合在口腔疾病风险预测中的价值。Zheng等^［50］则在“深龋—牙髓炎”鉴别诊断中验证晚期融合优势：先以ResNet18在根尖片上独立输出深龋概率（82%准确率，优于VGG19与InceptionV3），再在决策层与冷刺激反应、探诊等5项特征进行学习加权投票，使AUC从0.89提高至0.94，特异性提升18%，减少27%可逆性牙髓炎的过度转诊。尽管深度学习在龋病诊断中展现出潜力，但基于深度学习的多模态数据融合技术在龋病研究仍是新兴领域^［72］。

2.4 颞下颌关节紊乱

颞下颌关节紊乱（temporomandibular disorders，TMD）是一类影响颞下颌关节（temporomandibular joint，TMJ）及咀嚼肌的复杂疾病，可能会引起关节区疼痛、关节弹响及下颌运动障碍等症状^［73-74］。当前临床中对于TMJ的检查包括临床检查，CBCT评估骨组织和牙体组织，磁共振成像（magnetic resonance imaging，MRI）检查关节盘位置、形态及周围软组织^［75］。当前已有相关研究利用深度学习模型针对CBCT、MRI等单模态数据实现TMJ解剖结构分割与疾病分类等任务，并取得显著进展^［76-77］。但受限于单模态数据，模型难以同时显示软硬组织的详细信息，从而精准模拟TMJ的结构和功能，因此必须转向多模态数据融合^［78］。

为了同时显示TMJ中骨组织与关节盘及周围软组织的详细信息，当前研究多聚焦于CBCT和MRI图像的融合分析。例如，Wang等^［51］采用图像配准等传统图像融合方法，将CBCT和MRI图像对齐后生成融合图像，并系统比较CBCT、MRI及融合图像在关节盘前移位（anterior disc displacement，ADD）和骨改变（骨缺损、骨增生）方面的诊断性能。融合图像在ADD诊断中AUC达0.92，在骨缺损和骨增生诊断中AUC分别为0.87和0.85，这种融合图像为医生提供了更全面且直观的解剖关系，但是过程繁琐且依赖人工干预，亟须利用深度学习实现自动对齐与融合。另外，Lee等^［52］针对TMJ积液问题，利用深度学习模型（VGG16、CNN）从MRI图像中自动提取特征并预测积液概率，随后构建深度神经网络（deep neural net，DNN）融合影像特征与患者临床数据（年龄、性别、疼痛视觉模拟评分法评分等），探索影像信息与临床信息融合能否实现更精准的个体化诊断。然而，融合模型性能并未显著优于单模态模型：例如在41~60岁年龄组，单模态模型AUC为0.827，而DNN融合模型AUC为0.825，无统计学差异。可视化分析显示，模型能聚焦于关节盘周围积液区域，但临床数据的加入可能因样本限制引入噪声。多模态数据融合高度依赖数据质量与算法设计，盲目堆砌模态数量可能无法提升性能，反而引入噪声增加复杂性^［79］。

2.5 其他

此外针对牙列缺失、严重磨耗和种植体手术规划等需要进行咬合重建的病例，传统的方法依赖口内扫描、CBCT和动态咬合轨迹等对患者口颌系统进行整体评估与人工整合，流程繁琐且效率低下。基于深度学习的多模态数据融合技术，能够实现不同模态数据在相同时空同步与一体化分析，从而优化诊断与修复计划并减少操作时间^［80］。孙欣荣等^［81］融合多模态数据与计算机辅助设计/计算机辅助制造（computer aided design/computer aided manufacturing，CAD/CAM）设备结合，获得可操作的四维虚拟患者。而Liu等^［82］提出的深度牙科多模态融合框架模型采用中间融合策略，首先通过深度学习分割网络分别从CBCT和IOS数据中提取牙根-骨组织与牙冠特征，随后利用三维融合算法实现两类特征的高精度自动融合生成完整的牙冠-牙根-骨的三维模型，503例患者验证数据显示，融合后的平均对称表面距离仅为0.17 mm，保证高精度的同时显著提升临床工作效率，为后续数字化修复设计提供了可靠的解剖基础。

在颌面外科的上颌扩弓治疗中，腭中缝成熟度的精确评估是决定采用常规扩弓还是手术辅助扩弓的关键，其分期的准确性直接影响治疗方案的可靠性及患者预后^［83］。Cai等^［84］提出的深度腭中缝成熟度评估模型融合CBCT、侧位头颅X线片及4个临床指标，通过基于注意力的融合策略实现多模态信息的深度融合。该模型在200例患者的数据中实现了93.75%的准确率和93.81%的F1分数，在关键的C、D两阶段区分上F1分数分别达到92%与93%，其性能显著优于单模态模型和临床医师的手动评估准确率。研究说明基于注意力机制的中间融合能有效利用多模态数据间的互补性，为标准化、可重复的腭中缝评估提供了可靠的自动化决策支持工具。

3 应用挑战与发展趋势

3.1 当前难点与挑战

虽然基于深度学习的多模态数据融合技术在口腔疾病诊疗中展现出巨大潜力，但仍存在技术难点导致其临床转化与应用面临严峻挑战。模型训练所需的高质量标注数据稀缺、语义对齐困难、数据安全风险与深度学习固有的“黑箱”特性是多模态数据融合的共性挑战^［85-87］。而口腔医学领域的多模态数据由于其获取机制、时间尺度以及语义表达的差异而呈现出极高的异质性，给融合分析带来严峻挑战。以静态CBCT骨形态与动态下颌运动轨迹融合为例，其本质在于如何使在不同坐标系、不同时间维度下获取的两种数据能够实现精准对应。坐标系统一需要稳定且可重复识别的解剖标志点，现有方法包括刚性变换以及可变性模型等^［88］。这些方法虽能实现空间配准，但难以将时间断面上的CBCT快照与时间轴上的运动轨迹这一连续函数进行有效整合，因此仍需要更加复杂的时空对齐算法来解决。此外，口腔是人体中金属修复体最为集中的区域，种植体、正畸托槽等金属成分会在CBCT图像中呈现条纹、阴影、亮斑等伪影，干扰融合精度，如何处理金属伪影对影像数据融合的影响也是面临的特有挑战之一^［89］。潜在的策略是先去伪影后融合，或是在融合过程中利用IOS指导伪影的识别和修正^［90-91］。然而，现有评估指标多聚焦图像本身，而非对融合任务的影响，因此如何评估金属伪影处理对数据融合的实际贡献仍有待商榷。

尽管多模态融合技术在口腔疾病领域展现出广阔前景，但Lee等^［52］在研究中发现的“融合无效”甚至“融合负增益”现象揭示了多模态融合研究中的一个事实：模态越多效果并非越好。当单模态能够提供足够的判别信息时，其他模态的加入可能沦为冗余信息^［92］。若新增的模态数据质量较差，或与主模态存在语义冲突，融合过程实质上在引入噪声^［93］。对于深龋与牙髓炎的鉴别，根尖片结合冷热刺激等临床信息已能提供足够的信息，其他模态可能带来冗余而非增益。TMD中MRI影像显示的结构异常（如关节盘移位）与临床症状（疼痛、弹响）之间并非严格对应，若是简单融合MRI特征与视觉模拟评分法，模型反而被这种不一致性混淆，导致性能下降。因此，判断临床问题是否真正需要多模态融合需要建立一套完整的评价体系，从信息互补性、任务相关性、病理生理合理性以及模态质量等维度进行综合评估，避免盲目追求模态数量而忽视实际临床获益。

3.2 未来发展趋势

随着深度学习方法的演化改进与算力的增强，口腔医学领域的多模态数据融合技术将进一步向端到端的自动化与自适应学习、新型深度学习策略（如半监督、弱监督、自监督乃至无监督学习等）、可解释性、安全可靠性等方向发展^［94-95］。首先，针对自动化与自适应学习问题，未来系统将实现从数据识别、对齐到模型构建的全流程自动化，显著降低人工干预，提升处理效率与精度。例如，可构建基于大型语言模型如ChatGPT、Deepseek等为核心的多模态集成系统，能够自动分析EHR、生成医疗报告，并与视觉（X线片、CBCT）、音频等数据协同，构建全自动诊疗辅助系统，大幅减轻医生工作负担^［96-97］。同时，还可以通过引入强化学习技术——深度Q网络或演员—评论家模型，使得系统在虚拟环境中模拟治疗方案，根据虚拟患者的反馈不断调整策略以找到最优解。

其次，为应对口腔疾病多模态数据融合中的数据标注不足和标注缺失问题，可以通过多模态数据增强和多模态数据生成来扩充多模态样本量，例如对图像进行多种变换或用GAN网络/扩散模型生成口腔医学影像数据量。还可以通过弱监督学习、半监督学习、自监督学习等新型学习策略进行改进^［98-99］。例如，弱监督学习可以利用不完整、不精确或噪声标签进行训练；半监督学习中可以用已标注数据训练初始模型，并预测未标注数据，然后将高置信度预测加入训练集迭代；自监督学习时可以通过遮盖部分图像块进行图像重建、旋转预测对比学习等方法。

再者，“黑箱”问题则需可解释人工智能来破解^［100］。未来模型将嵌入可解释架构，例如使用梯度加权类激活映射或Score-CAM等技术生成热力图与特征定位，动态展示决策依据，使输出符合病理生理学机制，增强临床可信度。最后，口腔多模态融合AI技术落地需要严格的大规模临床验证，应建立统一的数据采集标准与评估体系，通过多中心协作扩大样本，并公开模型细节。同时在后续随访中持续验证与迭代优化，最终构建从研发、验证到临床应用的完整生态系统，推动技术安全、有效地服务于临床实践。

Generative AI statement

Figures in this manuscript were created with Figdraw 2.0. The manuscript did not use generative AI software during the creative process, but DeepSeek1.8.0 was used for text polishing. The authors reviewed and edited the output and take full responsibility for the manuscript.

参考文献

[1] Zayed SO, Abd-Rabou RYM, Abdelhameed GM, et al. The innovation of AI-based software in oral diseases: clinical-histopathological correlation diagnostic accuracy primary study[J]. BMC Oral Health, 2024, 24(1): 598. doi: 10.1186/s12903-024-04347-x .

[2] Tay FR, Loveless R, Ravenel TD. The role of artificial intelligence in shaping dentistry through advancement in data acquisition, clinical practice, education, and research[J]. Dent Res, 2026, 1(1): 100005. doi: 10.1016/j.dtrs.2025.100005 .

[3] Artsi Y, Sorin V, Glicksberg BS, et al. Advancing clinical practice: the potential of multimodal technology in modern medicine[J]. J Clin Med, 2024, 13(20): 6246. doi: 10.3390/jcm13206246 .

[4] Chen B, Jin J, Liu H, et al. Trends and hotspots in research on medical images with deep learning: a bibliometric analysis from 2013 to 2023[J]. Front Artif Intell, 2023, 6: 1289669. doi: 10.3389/frai.2023.1289669 .

[5] Diaz-Garelli F, Strowd R, Lawson VL, et al. Workflow differences affect data accuracy in oncologic EHRs: a first step toward detangling the diagnosis data babel[J]. JCO Clin Cancer Inform, 2020, 4: 529-538. doi: 10.1200/CCI.19.00114 .

[6] Stahlschmidt SR, Ulfenborg B, Synnergren J. Multimodal deep learning for biomedical data fusion: a review[J]. Brief Bioinform, 2022, 23(2): bbab569. doi: 10.1093/bib/bbab569 .

[7] Gialampoukidis I, Chatzilari E, Nikolopoulos S. Multimodal fusion of big multimedia data[M]. New York: John Wiley & Sons, Ltd, 2019. doi:10.1002/9781119376996.ch5

[8] Liu J, Cen X, Yi C, et al. Challenges in AI-driven biomedical multimodal data fusion and analysis[J]. Genomics Proteomics Bioinformatics, 2025, 23(1): qzaf011. doi: 10.1093/gpbjnl/qzaf011 .

[9] Lahat D, Adali T, Jutten C. Multimodal data fusion: an overview of methods, challenges, and prospects[J]. Proc IEEE, 2015, 103(9): 1449-1477. doi: 10.1109/JPROC.2015.2460697 .

[10] Barillot C, Lemoine D, Le Briquer L, et al. Data fusion in medical imaging: merging multimodal and multipatient images, identification of structures and 3D display aspects[J]. Eur J Radiol, 1993, 17(1): 22-27. doi: 10.1016/0720-048x(93)90024-h .

[11] Calhoun VD, Adali T. Feature-based fusion of medical imaging data[J]. IEEE Trans Inf Technol Biomed, 2009, 13(5): 711-720. doi: 10.1109/TITB.2008.923773 .

[12] Zhang Z, Yao J, Bajwa S, et al. “Automatic” multimodal medical image fusion [C]//Proceedings of the 2003 IEEE International Workshop on Soft Computing in Industrial Applications, 2003. SMCia/03. Binghamton, NY, USA: IEEE, 2003: 161-166. doi:10.1109/smcia.2003.1231333

[13] Gao Y, Ventura-Diaz S, Wang X, et al. An explainable longitudinal multi-modal fusion model for predicting neoadjuvant therapy response in women with breast cancer[J]. Nat Commun, 2024, 15(1): 9613. doi: 10.1038/s41467-024-53450-8 .

[14] Lu D, Popuri K, Ding GW, et al. Multimodal and multiscale deep neural networks for the early diagnosis of Alzheimer’s disease using structural MR and FDG-PET images[J]. Sci Rep, 2018, 8(1): 5697. doi: 10.1038/s41598-018-22871-z .

[15] 钱朝旭, 周凌翔, 冯雪丽, 等. 基于多模态数据的深度学习在青光眼诊断和严重程度分级中的应用[J]. 中华实验眼科杂志, 2024, 42(12): 1149-1154. doi: 10.3760/cma.j.cn115989-20240104-00005 .

[16] Qian CX, Zhou LX, Feng XL, et al. Application of deep learning with multimodal data in glaucoma diagnosis and severity grading[J]. Chin J Exp Ophthalmol, 2024, 42(12): 1149-1154. doi: 10.3760/cma.j.cn115989-20240104-00005 .

[17] Ye G, Wu G, Qi Y, et al. Non-invasive multimodal CT deep learning biomarker to predict pathological complete response of non-small cell lung cancer following neoadjuvant immunochemotherapy: a multicenter study[J]. J Immunother Cancer, 2024, 12(9): e009348. doi: 10.1136/jitc-2024-009348 .

[18] Kline A, Wang H, Li Y, et al. Multimodal machine learning in precision health: a scoping review[J]. NPJ Digit Med, 2022, 5(1): 171. doi: 10.1038/s41746-022-00712-8 .

[19] Alsubai S. Enhancing prediction of tooth caries using significant features and multi-model classifier[J]. PeerJ Comput Sci, 2023, 9: e1631. doi:10.7717/peerj-cs.1631 .

[20] Li Y, El Habib Daho M, Conze PH, et al. A review of deep learning-based information fusion techniques for multimodal medical image classification[J]. Comput Biol Med, 2024, 177: 108635. doi: 10.1016/j.compbiomed.2024.108635 .

[21] Zhao F, Zhang C, Geng B. Deep multimodal data fusion[J]. ACM Comput Surv, 2024, 56(9): 1-36. doi: 10.1145/3649447 .

[22] Abraham A, Jose R, Farooqui N, et al. The role of artificiaI intelligence in brain tumor diagnosis: an evaluation of a machine learning model[J]. Cureus, 2024, 16(6): e61483. doi: 10.7759/cureus.61483 .

[23] Wang K, Adjeroh DA, Fang W, et al. Comparison of deep learning and traditional machine learning models for predicting mild cognitive impairment using plasma proteomic biomarkers[J]. Int J Mol Sci, 2025, 26(6): 2428. doi: 10.3390/ijms26062428 .

[24] Carini C, Seyhan AA. Tribulations and future opportunities for artificial intelligence in precision medicine[J]. J Transl Med, 2024, 22(1): 411. doi: 10.1186/s12967-024-05067-0 .

[25] Shen X, Shao W, Wang C, et al. Deep learning-based pseudo-mass spectrometry imaging analysis for precision medicine[J]. Brief Bioinform, 2022, 23(5): bbac331. doi: 10.1093/bib/bbac331 .

[26] Chauhan D, Anyanwu E, Goes J, et al. Comparison of machine learning and deep learning for view identification from cardiac magnetic resonance images[J]. Clin Imaging, 2022, 82: 121-126. doi: 10.1016/j.clinimag.2021.11.013 .

[27] Zhao D, Homayounfar M, Zhen Z, et al. A multimodal deep learning approach to predicting systemic diseases from oral conditions[J]. Diagnostics (Basel), 2022, 12(12): 3192. doi: 10.3390/diagnostics12123192 .

[28] Bayoudh K, Knani R, Hamdaoui F, et al. A survey on deep multimodal learning for computer vision: advances, trends, applications, and datasets[J]. Vis Comput, 2022, 38(8): 2939-2970. doi: 10.1007/s00371-021-02166-7 .

[29] Wang Q, Fan X, Wu S, et al. PM-CNN: microbiome status recognition and disease detection model based on phylogeny and multi-path neural network[J]. Bioinform Adv, 2024, 4(1): vbae013. doi: 10.1093/bioadv/vbae013 .

[30] Xu Y, Hosny A, Zeleznik R, et al. Deep learning predicts lung cancer treatment response from serial medical imaging[J]. Clin Cancer Res, 2019, 25(11): 3266-3275. doi: 10.1158/1078-0432.CCR-18-2495 .

[31] Karobari MI, Adil AH, Mathur A, et al. Applications and clinical translation of artificial intelligence in CBCT-based detection of endodontic lesions: a scoping review[J]. Oral Radiol, 2026, 42(2): 251-261. doi: 10.1007/s11282-025-00876-5 .

[32] Negi S, Mathur A, Tripathy S, et al. Artificial intelligence in dental caries diagnosis and detection: an umbrella review[J]. Clin Exp Dent Res, 2024, 10(4): e70004. doi: 10.1002/cre2.70004 .

[33] Al Olaimat M, Bozdag S. TA-RNN: an attention-based time-aware recurrent neural network architecture for electronic health records[J]. Bioinformatics, 2024, 40(): i169-i179. doi: 10.1093/bioinformatics/btae264 .

[34] Raminedi S, Shridevi S, Won D. Multi-modal transformer architecture for medical image analysis and automated report generation[J]. Sci Rep, 2024, 14(1): 19281. doi:10.1038/s41598-024-69981-5 .

[35] Steyaert S, Pizurica M, Nagaraj D, et al. Multimodal data fusion for cancer biomarker discovery with deep learning[J]. Nat Mach Intell, 2023, 5(4): 351-362. doi: 10.1038/s42256-023-00633-5 .

[36] Carrillo-Perez F, Morales JC, Castillo-Secilla D, et al. Machine-learning-based late fusion on multi-omics and multi-scale data for non-small-cell lung cancer diagnosis[J]. J Pers Med, 2022, 12(4): 601. doi: 10.3390/jpm12040601 .

[37] Xu H, Zhong S, Zhang Y. Multi-level fusion network for mild cognitive impairment identification using multi-modal neuroimages[J]. Phys Med Biol, 2023, 68(9): 095018. doi: 10.1088/1361-6560/accac8 .

[38] Huang S, Liu Y, Zhang J, et al. Multimodal attention fusion deep self-reconstruction presentation model for Alzheimer’s disease diagnosis and biomarker identification[J]. Artif Cells Nanomed Biotechnol, 2025, 53(1): 231-243. doi: 10.1080/21691401.2025.2506591 .

[39] Sabharwal A, Stellrecht E, Scannapieco FA. Associations between dental caries and systemic diseases: a scoping review[J]. BMC Oral Health, 2021, 21(1): 472. doi: 10.1186/s12903-021-01803-w .

[40] 周陆军, 陈柏延, 李雨霖, 等. 口腔微生物与全身系统性疾病的关系[J]. 四川大学学报(医学版), 2023, 54(1): 1-6. doi: 10.12182/20230160504 .

[41] Zhou LJ, Chen BY, Li YL, et al. Oral microbiome and systemic diseases[J]. J Sichuan Univ Med Sci, 2023, 54(1): 1-6. doi: 10.12182/20230160504 .

[42] Gan G, Lin S, Luo Y, et al. Unveiling the oral-gut connection: chronic apical periodontitis accelerates atherosclerosis via gut microbiota dysbiosis and altered metabolites in apoE^-/- mice on a high-fat diet[J]. Int J Oral Sci, 2024, 16(1): 39. doi: 10.1038/s41368-024-00301-3 .

[43] Lee JH. Special issue “artificial intelligence in oral health”[J]. Diagnostics (Basel), 2022, 12(8): 1866. doi: 10.3390/diagnostics12081866 .

[44] Azim AA, Merdad K, Peters OA. Diagnosis consensus among endodontic specialists and general practitioners: an international survey and a proposed modification to the current diagnostic terminology[J]. Int Endod J, 2022, 55(11): 1202-1211. doi: 10.1111/iej.13816 .

[45] 刘舒钰, 何静晨, 唐珺书, 等. 人工智能在牙体牙髓病学中的应用研究进展[J]. 中国实用口腔科杂志, 2025, 18(3): 343-350. doi: 10.19538/j.kq.2025.03.014 .

[46] Liu SY, He JC, Tang JS, et al. Research progress on the application of artificial intelligence in endodontics[J]. Chin J Pract Stomatol, 2025, 18(3): 343-350. doi: 10.19538/j.kq.2025.03.014 .

[47] Lian W, Lindblad J, Runow Stark C, et al. Let it shine: Autofluorescence of papanicolaou-stain improves AI-based cytological oral cancer detection[J]. Comput Biol Med, 2025, 185: 109498. doi: 10.1016/j.compbiomed.2024.109498 .

[48] Li J, Zhou Y, Zhang M, et al. Next-generation AI framework for comprehensive oral leukoplakia evaluation and management[J]. NPJ Digit Med, 2025, 8(1): 513. doi: 10.1038/s41746-025-01885-8 .

[49] Song B, Leroy A, Yang K, et al. Deep learning informed multimodal fusion of radiology and pathology to predict outcomes in HPV-associated oropharyngeal squamous cell carcinoma[J]. EBioMedicine, 2025, 114: 105663. doi: 10.1016/j.ebiom.2025.105663 .

[50] Thanathornwong B, Ouivirach K, Wuttisarnwattana P, et al. Enhancing periodontal treatment through the integration of deep learning-based detection with Bayesian network models[J]. Stud Health Technol Inform, 2024, 316: 1729-1730. doi: 10.3233/SHTI240758 .

[51] Tan M, Cui Z, Li Y, et al. PerioAI: a digital system for periodontal disease diagnosis from an intra-oral scan and cone-beam CT image[J]. Cell Rep Med, 2025, 6(6): 102186. doi: 10.1016/j.xcrm.2025.102186 .

[52] Ngnamsie Njimbouom S, Lee K, Kim JD. MMDCP: multi-modal dental caries prediction for decision support system using deep learning[J]. Int J Environ Res Public Health, 2022, 19(17): 10928. doi: 10.3390/ijerph191710928 .

[53] Zheng L, Wang H, Mei L, et al. Artificial intelligence in digital cariology: a new tool for the diagnosis of deep caries and pulpitis using convolutional neural networks[J]. Ann Transl Med, 2021, 9(9): 763. doi: 10.21037/atm-21-119 .

[54] Wang YH, Ma RH, Li JJ, et al. Diagnostic efficacy of CBCT, MRI and CBCT-MRI fused images in determining anterior disc displacement and bone changes of temporomandibular joint[J]. Dentomaxillofac Radiol, 2022, 51(2): 20210286. doi: 10.1259/dmfr.20210286 .

[55] Lee YH, Jeon S, Won JH, et al. Automatic detection and visualization of temporomandibular joint effusion with deep neural network[J]. Sci Rep, 2024, 14(1): 18865. doi: 10.1038/s41598-024-69848-9 .

[56] Bai Z, Han J, An J, et al. The global, regional, and national patterns of change in the burden of congenital birth defects, 1990-2021: an analysis of the global burden of disease study 2021 and forecast to 2040[J]. EClinicalMedicine, 2024, 77: 102873. doi: 10.1016/j.eclinm.2024.102873 .

[57] Yu Z, Ma X, Xiao H, et al. Disease burden and attributable risk factors of lip and oral cavity cancer in China from 1990 to 2021 and its prediction to 2031[J]. Front Public Health, 2024, 12: 1419428. doi: 10.3389/fpubh.2024.1419428 .

[58] Xie X, Yu W, Chen Z, et al. Early-stage oral cancer diagnosis by artificial intelligence-based SERS using Ag NWs@ZIF core-shell nanochains[J]. Nanoscale, 2023, 15(32): 13466-13472. doi: 10.1039/d3nr02662k .

[59] Singh SP, Ibrahim O, Byrne HJ, et al. Recent advances in optical diagnosis of oral cancers: review and future perspectives[J]. Head Neck, 2016, 38 : E2403-E2411. doi: 10.1002/hed.24293 .

[60] Nascimento GG, Alves-Costa S, Romandini M. Burden of severe periodontitis and edentulism in 2021, with projections up to 2050: the global burden of disease 2021 study[J]. J Periodontal Res, 2024, 59(5): 823-867. doi: 10.1111/jre.13337 .

[61] Trindade D, Carvalho R, Machado V, et al. Prevalence of periodontitis in dentate people between 2011 and 2020: a systematic review and meta-analysis of epidemiological studies[J]. J Clin Periodontol, 2023, 50(5): 604-626. doi: 10.1111/jcpe.13769 .

[62] Zhou LJ, Lin WZ, Meng XQ, et al. Periodontitis exacerbates atherosclerosis through Fusobacterium nucleatum-promoted hepatic glycolysis and lipogenesis[J]. Cardiovasc Res, 2023, 119(8): 1706-1717. doi: 10.1093/cvr/cvad045 .

[63] Agrawal P, Sanikop S, Patil S. New developments in tools for periodontal diagnosis[J]. Int Dent J, 2012, 62(2): 57-64. doi: 10.1111/j.1875-595X.2011.00099.x .

[64] Marini L, Tonetti MS, Nibali L, et al. The staging and grading system in defining periodontitis cases: consistency and accuracy amongst periodontal experts, general dentists and undergraduate students[J]. J Clin Periodontol, 2021, 48(2): 205-215. doi: 10.1111/jcpe.13406 .

[65] Herrero F, Terenzani M, Marconi L, et al. Level of agreement among dental students and general dentists on the diagnosis of periodontitis using the new classification of periodontal diseases[J]. Acta Odontol Latinoam, 2025, 38(2): 154-161. doi: 10.54589/aol.38/2/154 .

[66] Xue T, Chen L, Sun Q. Deep learning method to automatically diagnose periodontal bone loss and periodontitis stage in dental panoramic radiograph[J]. J Dent, 2024, 150: 105373. doi: 10.1016/j.jdent.2024.105373 .

[67] Li X, Chen K, Zhao D, et al. Deep learning for staging periodontitis using panoramic radiographs[J]. Oral Dis, 2025, 31(7): 2273-2281. doi: 10.1111/odi.15269 .

[68] 柴桢, 李晔, 游民黎, 等. 基于人工智能的多模态融合诊断: 牙周炎精准诊断新进展[J]. 中华口腔医学杂志, 2025, 60(5): 558-566. doi: 10.3760/cma.j.cn112144-20250110-00009 .

[69] Chai Z, Li Y, You ML, et al. Artificial intelligence-based multimodal fusion diagnosis: advances in precision diagnosis of periodontitis[J]. Chin J Stomatol, 2025, 60(5): 558-566. doi: 10.3760/cma.j.cn112144-20250110-00009 .

[70] 伍丽静, 陶奕伟, 曾博, 等. 根面龋微生态管理策略的研究进展[J]. 口腔疾病防治, 2025, 33(3): 244-251. doi: 10.12016/j.issn.2096-1456.202440068 .

[71] Wu LJ, Tao YW, Zeng B, et al. Research progress on the microecological strategies of root caries management[J]. J Prev Treat Stomatol Dis, 2025, 33(3): 244-251. doi: 10.12016/j.issn.2096-1456.202440068 .

[72] Liu R, Liu Y, Yi J, et al. Imbalance of oral microbiome homeostasis: the relationship between microbiota and the occurrence of dental caries[J]. BMC Microbiol, 2025, 25(1): 46. doi: 10.1186/s12866-025-03762-6 .

[73] Al Saffan AD. Current approaches to diagnosis of early proximal carious lesion: a literature review[J]. Cureus, 2023, 15(8): e43487. doi: 10.7759/cureus.43489 .

[74] Carvalho JC, Qvist V, Aimée NR, et al. Diagnosis, risk assessment, and treatment decisions for occlusal caries: a survey from the Danish public dental health service[J]. Caries Res, 2018, 52(1/2): 58-70. doi: 10.1159/000484987 .

[75] Han D, Gupta A, Adeniyi A, et al. Methods used for caries detection and diagnosis in Ontario dental practices: a cross-sectional survey[J]. BMC Oral Health, 2024, 24(1): 1160. doi: 10.1186/s12903-024-04934-y .

[76] Valizadeh S, Safi Y, Beigvand A, et al. Comparative diagnostic accuracy of VistaCam IX proxi and bitewing radiography for detection of interproximal caries[J]. J Dent, 2023, 24(4): 395-403. doi: 10.30476/dentjods.2022.95326.1860 .

[77] 周小洁, 侯本祥. 基于深度学习技术诊断龋病方法的研究进展[J]. 国际口腔医学杂志, 2025, 52(5): 579-585. doi: 10.7518/gjkq.2025052 .

[78] Zhou XJ, Hou BX. Research progress on the methods for caries diagnosis based on deep learning[J]. Int J Stomatol, 2025, 52(5): 579-585. doi: 10.7518/gjkq.2025052 .

[79] Aiello V, Ferrillo M, Marotta N, et al. Temporomandibular joint arthritis in rheumatic diseases patients: which are the effective rehabilitative approaches for pain relief? A systematic review[J]. BMC Musculoskelet Disord, 2025, 26(1): 159. doi: 10.1186/s12891-024-08196-1 .

[80] Yao L, Sadeghirad B, Li M, et al. Management of chronic pain secondary to temporomandibular disorders: a systematic review and network meta-analysis of randomised trials[J]. BMJ, 2023, 383: e076226. doi: 10.1136/bmj-2023-076226 .

[81] Ohrbach R, Dworkin SF. The evolution of TMD diagnosis: past, present, future[J]. J Dent Res, 2016, 95(10): 1093-1101. doi: 10.1177/0022034516653922 .

[82] Yoon K, Kim JY, Kim SJ, et al. Multi-class segmentation of temporomandibular joint using ensemble deep learning[J]. Sci Rep, 2024, 14(1): 18990. doi: 10.1038/s41598-024-69814-5 .

[83] Lee YH, Won JH, Kim S, et al. Advantages of deep learning with convolutional neural network in detecting disc displacement of the temporomandibular joint in magnetic resonance imaging[J]. Sci Rep, 2022, 12(1): 11352. doi: 10.1038/s41598-022-15231-5 .

[84] Jung HJ, Ju D, Kim C, et al. Multimodal deep learning with anatomically constrained attention for screening MRI-detectable TMJ abnormalities from panoramic images[J]. NPJ Digit Med, 2026, 9(1): 189. doi: 10.1038/s41746-026-02378-y .

[85] Singh S, Saber E, Markopoulos PP, et al. Regulating modality utilization within multimodal fusion networks[J]. Sensors, 2024, 24(18): 6054. doi: 10.3390/s24186054 .

[86] 刘伟才. 多模态数据融合技术在口颌系统功能评估中的应用[J]. 口腔医学, 2022, 42(1): 14-19. doi: 10.13591/j.cnki.kqyx.2022.01.003 .

[87] Liu WC. Application of multimodal data fusion in functional evaluation of oral and maxillofacial system[J]. Stomatology, 2022, 42(1): 14-19. doi: 10.13591/j.cnki.kqyx.2022.01.003 .

[88] 孙欣荣, 冯玥, 刘伟才. 多模态数据融合的可视化技术在咬合重建中的应用[J]. 华西口腔医学杂志, 2022, 40(4): 468-475. doi: 10.7518/hxkq.2022.04.015 .

[89] Sun XR, Feng Y, Liu WC. Application of visualization technology of multimode data fusion in occlusal rehabilitation[J]. West Chin J Stomatol, 2022, 40(4): 468-475. doi: 10.7518/hxkq.2022.04.015 .

[90] Liu J, Hao J, Lin H, et al. Deep learning-enabled 3D multimodal fusion of cone-beam CT and intraoral mesh scans for clinically applicable tooth-bone reconstruction[J]. Patterns, 2023, 4(9): 100825. doi: 10.1016/j.patter.2023.100825 .

[91] Zhu Z, Zhou N, Qian W, et al. Evaluating midpalatal suture maturation using cone-beam computed tomography in East Asian individuals aged 16-50 years[J]. BMC Oral Health, 2025, 25(1): 1482. doi:10.1186/s12903-025-06883-6 .

[92] Cai J, Wang Z, Wang H, et al. Multimodal deep learning for midpalatal suture assessment in maxillary expansion[J]. Sci Rep, 2025, 15(1): 39723. doi:10.1038/s41598-025-23500-2 .

[93] Taleb A, Rohrer C, Bergner B, et al. Self-supervised learning methods for label-efficient dental caries classification[J]. Diagnostics, 2022, 12(5): 1237. doi: 10.3390/diagnostics12051237 .

[94] Li Z, Zhang L, Zhang K, et al. Improving image-text matching with bidirectional consistency of cross-modal alignment[J]. IEEE Trans Circuits Syst Video Technol, 2024, 34(7): 6590-6607. doi: 10.1109/TCSVT.2024.3369656 .

[95] Qamar T, Bawany NZ. Understanding the black-box: towards interpretable and reliable deep learning models[J]. PeerJ Comput Sci, 2023, 9: e1629. doi: 10.7717/peerj-cs.1629 .

[96] Kalla MP, Economopoulos TL, Matsopoulos GK. 3D dental image registration using exhaustive deformable models: a comparative study[J]. Dentomaxillofac Radiol, 2017, 46(7): 20160390. doi: 10.1259/dmfr.20160390 .

[97] Ayoub A, Pulijala Y. The application of virtual reality and augmented reality in oral & maxillofacial Surgery[J]. BMC Oral Health, 2019, 19(1): 238. doi: 10.1186/s12903-019-0937-8 .

[98] Ni X, Shi Z, Song X, et al. Metal artifacts reduction in kV-CT images with polymetallic dentures and complex metals based on MV-CBCT images in radiotherapy[J]. Sci Rep, 2023, 13(1): 8970. doi: 10.1038/s41598-023-35736-x .

[99] Hyun CM, Bayaraa T, Yun HS, et al. Deep learning method for reducing metal artifacts in dental cone-beam CT using supplementary information from intra-oral scan[J]. Phys Med Biol, 2022, 67(17): 175007. doi: 10.1088/1361-6560/ac8852 .

[100] Khobo IL, Jankiewicz M, Holmes MJ, et al. Multimodal magnetic resonance neuroimaging measures characteristic of early cART-treated pediatric HIV: a feature selection approach[J]. Hum Brain Mapp, 2022, 43(13): 4128-4144. doi: 10.1002/hbm.25907 .

[101] Zhang YD, Dong Z, Wang SH, et al. Advances in multimodal data fusion in neuroimaging: overview, challenges, and novel orientation[J]. Inf Fusion, 2020, 64: 149-187. doi: 10.1016/j.inffus.2020.07.006 .

[102] Miralles D, Garrofé G, Parés C, et al. Multi-modal self-adaptation during object recognition in an artificial cognitive system[J]. Sci Rep, 2022, 12(1): 3772. doi: 10.1038/s41598-022-07424-9 .

[103] Yin K, Ding Z, Ji X, et al. Self-attention fusion and adaptive continual updating for multimodal federated learning with heterogeneous data[J]. Neural Netw, 2025, 187: 107345. doi: 10.1016/j.neunet.2025.107345 .

[104] Kaygisiz ÖF, Teke MT. Can deepseek and ChatGPT be used in the diagnosis of oral pathologies?[J]. BMC Oral Health, 2025, 25(1): 638. doi: 10.1186/s12903-025-06034-x .

[105] Brigo F, Broggi S, Strigaro G, et al. Artificial intelligence (ChatGPT 4.0) vs. human expertise for epileptic seizure and epilepsy diagnosis and classification in adults: an exploratory study[J]. Epilepsy Behav, 2025, 166: 110364. doi: 10.1016/j.yebeh.2025.110364 .

[106] Singh P, Raman B. Self-supervised and unsupervised learning in deep learning[M]//Deep learning through the prism of tensors. Singapore: Springer, 2024: 483-540. doi:10.1007/978-981-97-8019-8_9

[107] Doersch C, Zisserman A. Multi-task self-supervised visual learning [C/OL]//2017 IEEE international conference on computer vision (ICCV). Venice, Italy. IEEE, 2017: 2070-2079. doi:10.1109/iccv.2017.226

[108] Yang G, Ye Q, Xia J. Unbox the black-box for the medical explainable AI via multi-modal and multi-centre data fusion: a mini-review, two showcases and beyond[J]. Inf Fusion, 2022, 77: 29-52. doi: 10.1016/j.inffus.2021.07.016 .