近年来，随着计算机技术、人工智能和生物医学工程的飞速发展，患者临床数据、影像学数据、口腔扫描数据、三维颜面扫描数据、生物力学数据、电子面弓数据等越来越多地应用于正畸临床，虽然单一数据信息对诊断和治疗的价值毋庸置疑，但是这些数据之间缺少有效的联系和整合。在临床实践中，医生需要对患者的口腔结构有一个精确的三维评估，以实现高效的疾病诊断、治疗方案设计和预后疗效评估，而目前人们只能依赖单一数据源，导致医生在诊断、治疗和预后评估过程中需要频繁切换不同数据源，影响了诊疗效率和准确性。近年来，多模态数据融合技术的出现为解决这一难题提供了有效的途径，并在口腔正畸领域取得了显著的研究成果。随着计算机视觉、机器学习和深度学习等技术的快速发展，这一领域正经历着技术革新，旨在将这些分散的数据整合为一体，构建一个“三维动态患者模型”
[1-3]。这种模型不仅用于患者资料的存储，还能在疾病诊断分析、治疗过程模拟、生物力学分析、矫治器设计与制作、治疗效果评估等多个方面发挥作用。多模态数据融合技术在口腔正畸学领域的应用逐渐受到广泛关注，它能够为医生提供更为全面和准确的诊断依据和治疗方案。本文就多模态数据融合技术在口腔正畸领域的应用研究进展作一综述。
1 多模态数据融合技术原理
多模态数据融合技术是人工智能领域中的一种数据处理技术，是指利用计算机对多模态数据，如图片、文字、音频与视频等进行综合处理，将不同模态的数据进行整合和融合的方法，旨在提高模型对复杂信息的处理和理解能力
[4-5]。其核心在于结合不同模态的数据，通过互补性、关联性和通用性提升模型的认知能力，以获得更全面准确的分析和决策能力。多模态融合方法分为特征级融合、决策级融合和混合级融合。特征级融合或早期融合将模态特征组合成联合表示以进行决策，注重于创建一个综合的特征集，但这种方法可能会面临过拟合的风险，并且在跨视图动态建模方面可能表现不佳
[6-7]。而决策级融合或后期融合则根据单峰特征预测结果，然后组合这些结果，相比之下，决策级融合能够更好地对特定视图的动态进行建模，并适应不同模态的数据，但它在探索动态交互和低级模态互动方面存在不足
[8]。混合级融合则结合了这两种级别的优势，旨在提升结果的质量、准确性和鲁棒性
[9]。它允许在不同级别上选择和组合多种技术，从而为算法的设计和优化提供了更大的灵活性。然而，由于需要集成和实现多种技术，混合级融合在复杂性和计算成本上都高于单一级别的融合方法（
表1）。为了弥补传统融合策略的缺陷，人们开发了一系列模态交互策略来增强不同数据源的集成并提高整体性能
[10]，通过利用注意力机制、跨模态学习和协同训练等先进技术，这些策略可以更好地捕获每种模态的互补信息，从而产生更全面、更可靠的结果
[11-13]。在口腔医学领域，特征融合和混合融合技术在口腔医学领域中更为常用，而决策融合技术的应用相对较少。特征融合技术在影像分析和诊断中发挥作用，混合融合技术则在手术导航和教育中显示出其重要性。通过采集不同模态的数据，如患者临床数据、影像学数据、生物力学数据等，利用计算机算法对这些数据进行整合和处理，以获得更全面、准确的患者信息。
2 多模态数据融合技术在口腔正畸领域的应用现状
2.1 三维重建与可视化
三维重建与可视化技术是多模态数据融合技术在口腔正畸领域的重要应用，通过整合患者的锥形束计算机断层扫描（cone beam computed tomography，CBCT）、数字化口腔扫描以及三维颜面扫描成像等数据，利用计算机图形学和虚拟现实技术，可以构建出三维动态患者模型
[14-17]。利用此模型可以将患者的多方面信息整合在一起，可以提供更加全面的信息。这种模型不仅可以直观地展示患者的牙齿排列、颌骨形态、颜面部等信息，很好地实现了软硬组织的结合，还涉及颌骨的形态、牙齿与软组织之间的相对位置关系等关键信息。此模型在临床上已应用于口颌系统功能评价，包括颞下颌关节结构和空间关系评价、上下牙列动静态咬合接触评估、下颌运动过程中髁状突和牙列的运动轨迹等，得出患者全面且个性化的诊断
[18]；还可以模拟正畸治疗过程中的牙齿移动和颌骨变化
[19-21]，以及进行微笑的虚拟设计
[22]，为医生提供更为直观、全面、准确的诊断依据，有利于制定更科学的治疗方案。
近年来，深度学习算法在三维重建领域取得了显著进展
[23-24]，在口腔正畸领域，深度学习算法能够自动提取影像学数据中的特征，并生成高精度的三维模型
[25]。这不仅提高了重建效率，还减少了人为误差，使得重建结果更加可靠。在一项研究
[26]中，研究人员利用深度学习算法对患者的多模态数据进行了三维重建，并使用虚拟现实技术进行了可视化展示，结果表明，深度学习算法能够显著提高重建精度和效率。同时，虚拟现实技术的应用使得医生能够更加直观地观察和分析患者的口腔结构，从而提高了诊断的准确性和治疗的个性化程度
[27]。
2.2 生物力学分析与优化
生物力学分析是口腔正畸领域的重要研究方向之一。通过整合患者的影像学数据、咬合力数据等，利用有限元分析等方法，可以对患者的牙齿和颌骨进行生物力学分析，预测正畸治疗过程中可能出现的应力和形变情况
[28-29]。基于这些分析结果，可以更精确地预测正畸治疗过程中可能出现的问题，并提前制订相应的应对策略，优化治疗方案
[28]。
随着机器学习技术的快速发展，越来越多的研究者开始将其应用于口腔正畸领域的生物力学优化中
[30]。夏泽洋
[31]基于机器人学、生物力学及口腔正畸学等多学科交叉建立了精准口腔正畸诊疗机器人，从多个方面提高正畸治疗效果、降低综合治疗成本，从而推动临床口腔正畸诊疗从经验模式提升到精准模式，最终实现在合理的时间内给予患者个性化、可预测的口腔正畸治疗。
2.3 个性化矫治器设计与制造
个性化矫治器设计与制造是多模态数据融合技术在口腔正畸领域的又一重要应用。通过整合患者的口腔临床信息、影像学数据、口内三维扫描数据、三维颜面成像数据等，利用计算机辅助设计、逆向工程等技术，根据患者的具体口腔结构和治疗需求，利用计算机辅助设计技术可以为患者定制个性化的矫治器
[32]。这种个性化矫治器不仅可以提高治疗效果，还可以减少治疗过程中的不适和并发症。并且可以将通过设计软件生成矫治器模型导入到3D打印机中，可以快速、准确地制造出个性化矫治器，这不仅大大缩短了矫治器的制作周期，还提高了其精度和质量。
通过人工智能排牙软件可以实现排牙模拟，自动生成一种或多种矫治方案供医生选择，这种智能化的设计方式不仅提高了矫治方案的科学性和合理性，还大大缩短了设计时间，例如：时代天使开发的iOrtho平台通过软件、算法以及大数据等技术应用，可以在计算机上模拟呈现诊疗全流程，并进行智能诊断，自动完成排牙过程及数字化治疗方案设计。通过动画模拟的形式，人工智能可以预测治疗后的效果，实现治疗的“可视化”
[33]。这不仅方便患者直观地了解自己的矫治方案，还有助于医生与患者之间的沟通，在无托槽隐形矫治领域应用广泛
[34]。利用深度学习算法，人工智能可以训练模型来学习正畸矫治器的设计方案，模型可以自动提取矫治器的设计特征，并根据患者的牙齿情况生成个性化的矫治器设计方案，唐敏等
[35]通过软件配准的方法将10名错𬌗畸形患者的2种数字化模型融合，切除CBCT模型牙冠部分，获得三维整合牙颌模型，在此模型上进行虚拟排牙和个性化舌侧托槽计算机辅助设计，以期实现治疗后良好的牙冠牙根排列。这种设计方式不仅提高了矫治器的贴合度，还降低了设计成本。满足患者的个性化需求，人工智能可以根据患者的个人喜好、面部特征等因素，设计出个性化的矫治器，这种设计方式使得患者在接受正畸治疗的同时，也能保持自己的个性。
2.4 远程监控与随访
随着互联网技术的飞速发展，远程监控与随访已成为口腔正畸领域的一个重要趋势
[36]。Yoon等
[37]通过使用基于级联区域的深度卷积神经网络模型将牙齿编号识别和龋齿检测集成在全口内摄影图像中，可以实现人工智能驱动的自动龋齿识别。Duy等
[38]利用计算机视觉和自然语言处理，为每张图像创建描述，使用深度学习诊断牙龈炎的图像描述而设计的新数据集，全面描述牙龈炎的严重程度以及上颌和下颌的位置。通过多模态数据融合技术，利用互联网技术，医生可以实时监控患者的正畸治疗过程，可以实时获取患者的口腔健康状况和治疗进展，从而及时调整治疗方案。人工智能技术在远程监控和随访中的应用，使得医生能够通过患者自行拍摄的口内照片来远程查看患者的矫正进程，例如，时代天使发布的“MOOELI”远程解决方案，帮助患者在不便复诊或出现突发情况时，辅助医生远程监控。Snider等
[39]利用移动设备和大数据分析技术相结合的方法，对一组患者进行了远程监控与随访；结果表明，这种方法不仅提高了患者的依从性，还显著降低了失访率；同时，医生也能够更加及时地发现问题并进行干预，确保治疗效果。
3 多模态数据融合技术在口腔正畸领域面临的挑战
多模态数据融合技术在口腔正畸领域的应用还面临着许多挑战，如数据获取与处理的复杂性、数据融合算法复杂程度高、数据安全与隐私保护问题等问题，
表2列举了主要的挑战及可能的应对策略。
3.1 数据获取与处理的复杂性
多模态数据融合技术在口腔正畸领域的应用面临着数据获取和处理的巨大挑战
[40-41]。多模态数据融合技术需要采集和处理多种数据源，如患者口腔临床信息、影像学数据、口腔扫描数据、三维颜面扫描成像、生物力学数据等，这些数据的获取和处理难度较大，需要专业的设备和技术支持
[42]。不同模态的数据在采集、存储和处理过程中存在显著的差异，每种数据类型都有其独特的格式和标准，这增加了数据整合的难度。此外，数据的质量和一致性也是关键问题，低质量或不准确的数据会直接影响融合结果的可靠性。可以通过制定统一的数据采集和处理标准，以减少不同模态间的差异；对数据进行清洗和预处理，以提高数据质量和一致性
[43]；还可以研发先进的设备和技术，以提高数据采集和处理的效率和准确性。
3.2 数据融合算法复杂程度高
尽管近年来计算机视觉、机器学习和深度学习等技术取得了显著进展
[44-45]，但多模态数据融合算法的复杂度仍然较高。不同模态的数据之间存在异构性，如何有效地将这些异构数据进行融合并提取出有价值的信息是一个难题。现有的融合算法在处理大规模、高维度数据时，往往面临计算资源不足和计算时间过长的问题
[46]。此外，算法的可解释性也需要进一步提升，以确保在实际应用中的稳定性和可靠性。可以通过开发和优化算法以及增加计算资源，提高处理大规模、高维度数据的能力，以减少计算时间研究和开发更易于解释的算法，以提高算法的透明度和可靠性
[47]。
3.3 数据安全与隐私保护问题
多模态数据融合技术涉及患者的敏感信息，在多模态数据融合过程中，患者的信息面临着较高的泄露风险。数据在传输、存储和使用过程中都需要严格的安全措施，如何在保证数据可用性的前提下，最大限度地保护患者的隐私是一个亟待解决的难题。可以通过数据加密、隐私保护技术，如区块链、联邦学习、同构加密和差分隐私技术等
[48]，以及完善和遵守相关法规和政策来确保患者的隐私权益得到保护。
4 多模态数据融合技术未来的发展与展望
未来的多模态数据融合技术将更加多元化、智能化与自动化，整合更多种类的数据源和采用更多种类的算法。除了患者的口腔健康信息、影像学数据、口腔扫描数据、三维颜面扫描成像数据外，生物力学数据、基因数据、代谢数据等新兴数据源也将被纳入融合体系，提供更为全面的信息。此外，量子计算在处理大规模、高维度数据时具有显著优势，可以大幅提高计算速度和精度
[49]；区块链技术则可以在数据传输和存储过程中提供更高的安全性和隐私保护
[50]。量子计算和区块链等前沿技术的应用也将为多模态数据融合技术带来新的突破。
4.1 数据的智能化与自动化处理
随着人工智能和机器学习技术的不断进步，多模态数据融合技术将更加智能化和自动化
[51]。未来的系统将能够自动识别和处理不同模态的数据，减少人工干预，提高数据处理的速度和精度。深度学习算法在特征提取和模式识别方面的优势将进一步增强，使得系统能够更准确进行口腔疾病检测、评估、诊断、疗效预测和评估。此外，自动化技术的应用还将降低操作的难度，提高医生的工作效率。
4.2 远程监控与随访的普及
随着互联网技术和移动医疗设备的快速发展，远程监控与随访将成为口腔正畸领域的常态
[52]。未来的系统将能够实时采集和分析患者的数据，如牙齿移动情况，牙套佩戴情况、口腔卫生状况等，及时发现问题并调整治疗方案，提高治疗的连续性和稳定性。通过智能手机等设备，患者可以随时随地上传自己的口腔健康数据，医生则可以通过云端平台实时查看和分析这些数据，提供及时的反馈和建议。不仅能提高矫治效率和效果，而且通过虚拟现实和增强现实技术有助于提高患者的参与度和满意度。
4.3 精准化与个性化治疗的深入探索
精准医疗
[53]和个性化治疗是未来口腔正畸领域的重要发展方向。多模态数据融合技术通过整合多种数据源，可以为医生提供更为全面和准确的诊断依据和治疗方案。未来的研究将更加注重个体差异，利用大数据分析和机器学习算法，制定个性化的治疗计划，提高治疗的成功率和患者的满意度。大规模的多模态数据融合可以为正畸临床研究提供丰富的数据资源，有助于发现新的治疗模式和方法。通过数据分析，可以更好地理解正畸治疗与患者口腔健康、面部发育之间的关系。
4.4 自然语言模型的深入应用
基于深度学习的自然语言处理技术在医疗保健领域的应用前景确实非常广阔
[54]。目前，这些技术已经在辅助诊断、问答系统、医学研究和医学教育等多个领域带来了创新和变革
[55]，它们通过提高医疗数据的解释、处理和应用能力，为临床决策、患者监测和风险评估等应用提供了强有力的支持。在临床问诊和复诊监控过程中，患者的临床主诉和反馈是进行诊断和疗效评价的关键信息，深度学习驱动的自然语言处理技术能够高效地分析和理解这些非结构化数据，从而为医生提供更准确的诊断依据和治疗建议。
综上所述，多模态数据融合技术在口腔正畸领域的应用具有广阔的前景和重要的意义。通过整合多种数据源，可以实现从三维虚拟患者到四维虚拟患者口腔的模型，构建出患者牙齿、肌肉、骨骼、颞下颌关节等器官的实时动态模型，为医生提供更为全面、准确的诊断依据和个性化的治疗方案，提高治疗效果和患者满意度。然而，多模态数据融合技术在口腔正畸领域仍面临诸多挑战，需要加强技术研发和人才培养，提高技术的普及和应用水平。
京公网安备11010202008535号
PDF
(840KB)
