卷积神经网络ResNet-101和Inception-v3对口腔曲面体层片中下颌第一磨牙远舌根变异的诊断

Application of convolutional neural networks ResNet-101 and Inception-v3 for detecting three-rooted mandibular first molars in panoramic radiographs

摘要

目的 基于深度卷积神经网络（CNN）ResNet-101和Inception-v3对口腔曲面体层片中下颌第一磨牙远舌根变异进行诊断，并评估其准确性。 方法 从口腔影像科采集锥形束CT（CBCT）和口腔曲面体层片。患者被分为2组：A组CBCT图像和口腔曲面体层片来自相同患者，通过切割曲面体层片，制备了1 444个下颌第一磨牙的图像块（其中367个为三根型）；B组患者无常规口腔曲面体层片，基于其拍摄的CBCT影像，重建取得模拟的口腔曲面体层片，通过切割获得1 203个下颌第一磨牙的图像块（其中283个为三根型）。采用2个CNN模型（ResNet-101和Inception-v3），基于上述2组图像对模型进行训练与测试，对图像块进行分类（三根及双根型）。以锥形束CT检查为金标准，受试者工作特征（ROC）曲线分析CNN模型的诊断效能，并与5位口腔医学专业人员的诊断效能进行比较。 结果 2个CNN模型的诊断性能良好，其中ResNet-101的诊断效能更佳。在A组，其准确度、灵敏度、特异性分别为87.5%、83.6%和88.9%；AUC为0.908，明显高于Inception-v3的0.857（P<0.01）。采用B组图像训练CNN模型，再用A组图像进行测试，可以取得和A组图像训练相当的诊断效能，对于表现较好的ResNet-101，其准确度、灵敏度、特异性和曲线下面积（AUC）值分别为85.1%、75.8%、88.1%和0.893。而5位口腔医学专业人员的诊断效能均较低，AUC值仅为0.532~0.668。 结论 CNN模型对口腔曲面体层片中三根型下颌第一磨牙的诊断具有较高的准确性。口腔曲面体层片训练集在图片数量和质量上存在不足时，利用CBCT生成的模拟口腔曲面体层片训练CNN模型，可获得相似的诊断效果。

Abstract

Objective This study aimed to develop a convolutional neural network (CNN)-based deep learning system for detecting three-rooted mandibular first molars (MFMs) on panoramic radiographs and evaluate its diagnostic performance. Methods Cone beam computed tomography (CBCT) and panoramic radiographs were obtained from the Department of Oral Radiology. The patients were assigned into two groups. In group A, CBCT and conventional panoramic images were derived from the same patients, and the dataset comprised image patches of 1 444 MFMs (of which, 367 teeth had three roots). In group B, the patients underwent CBCT examinations in the absence of available panoramic images; CBCT images were acquired and utilized to generate simulated panoramic images, and the dataset consisted of image patches of 1 203 MFMs (of which, 283 teeth had three roots). Two CNNs (ResNet-101 and Inception-v3) were employed to classify three- and two-rooted MFMs based on training and testing with two groups of image patches. Receiver operating characteristic (ROC) curve analyses were performed to assess diagnostic performance, using the CBCT examination as the gold standard. The performance of CNNs was compared with that of five dental professionals. Results Both CNN models achieved satisfactory performance in their respective evaluations. In Group A, the accuracy, sensitivity, and specificity of ResNet-101 were 87.5%, 83.6%, and 88.9%, respectively, and the AUC value (0.908) was significantly higher than 0.857 achieved by Inception-v3 (P<0.01). Notably, the CNN models trained on CBCT-generated panoramic images (group B dataset) achieved comparable performance when tested on conventional panoramic images (group A dataset). For ResNet-101, the accuracy, sensitivity, specificity, and AUC were 85.1%, 75.8%, 88.1%, and 0.893, respectively. The five dental professionals achieved significantly lower diagnostic performance compared with CNNs, and the AUC values were 0.532-0.668. Conclusion The CNN-based deep learning system exhibited a high level of accuracy in detecting three-rooted MFMs on panoramic radiographs. CBCT-generated panoramic images can effectively replace conventional panoramic images in the training of CNN models when the quantity and quality of conventional images are inadequate.

Graphical abstract

关键词

深度学习 / 卷积神经网络 / 口腔曲面体层片 / 锥形束CT / 下颌第一恒磨牙

Key words

deep learning / convolutional neural network / panoramic radiography / cone beam computed tomography / mandibular first molar

下颌第一磨牙远舌根变异在中国人具有较高的发生率（23.6%~29.0%），而在白人或黑人中发生率较低，一般低于5%^[1-4]。远舌根的发生会给根管治疗带来困难。在常规的二维X线片上，远舌根常常被远颊根阻挡而被漏诊，从而导致治疗失败^[5-7]。锥形束CT（cone beam computed tomography，CBCT）具有精度高、三维成像的优点，是临床上诊断根管及牙根解剖的金标准^[4]。然而，与常规X线片或口腔曲面体层片相比，CBCT具有更高的辐射剂量，不能作为常规的检查手段^[7-8]。

近年来，深度学习作为人工智能领域的核心技术已应用于口腔医学^[9-10]。卷积神经网络（convolutional neural network，CNN）是深度学习中的重要模型，特别适用于处理图像数据^[11]。CNN能够自动学习和提取图像中的特征，从而实现图像分类、分割和检测等任务。在医学影像诊断中，CNN表现出色，显著提高了诊断的准确性与效率，为医生提供了更可靠且便捷的辅助诊断工具。目前，CNN已广泛应用于龋齿^[11]、根折^[12]、根尖周病^[13]、牙根及根管变异^[14-16]等口腔疾病的X线片诊断。本研究旨在基于CNN深度学习模型，诊断口腔曲面体层片中下颌第一磨牙（mandibular first molar，MFM）的远舌根变异，并评估其诊断准确性。

1　 材料和方法

1.1　 研究对象及数据采集

本研究回顾性收集了2020年1月—2024年10月在苏州市第九人民医院口腔影像科拍摄的CBCT图像及口腔曲面体层片，纳入标准：1）CBCT图像及口腔曲面体层片来自相同患者（纳入A组）；2）患者只有CBCT图像，而未采集到口腔曲面体层片（纳入B组）；3）性别和年龄记录准确；4）图像质量良好；5）MFM无牙髓治疗史；6）MFM无明显的错位或扭转。共纳入1 340例患者，其中男性556例，女性784例，年龄为12~70岁，平均（27.9±10.3）岁，A、B两组患者间平均年龄差异无统计学意义（P>0.05）。本研究经过苏州市第九人民医院伦理委员会批准（批准号：KY2022-089-01）。

1.2　 CBCT及口腔曲面体层片的拍摄

CBCT检查采用3D eXam i型CBCT机（KaVo公司，德国）。拍摄参数：视野（field of view，FOV）=14 cm×8.5 cm；电压120 kVp；电流30.89 mA；扫描时间23 s；体素0.25 mm。采用Kavo eXam Vision软件读取并分析图像数据，重建生成模拟的口腔曲面体层片。数字化口腔曲面体层片的拍摄采用Planmeca Promax 3D Classic型口腔颌面曲面体层X射线机（Planmeca Oy公司，芬兰），拍摄参数：电压66 kV，电流 8 mA，扫描时间15.8 s。

1.3　 图像数据集的构建及标注

使用Photoshop CS3软件（Adobe公司，美国）对A组和B组口腔曲面体层片的感兴趣区域（region of interest，ROI），即双侧下颌第一磨牙进行裁切，获得双侧MFM的矩形图像块，图像块完整显示牙根（图1A~F）。以CBCT检查为金标准，通过观察一系列连续的横截面（图1G），可以准确诊断MFM牙根的数目；据此将对应的2组MFM图像块进行分类（分为三根型和双根型2类）与标注。A组图像集包含1 444幅图像，包括367个三根型MFM和1 077个双根型MFM；B组图像集包含1 203幅图像，包括283个三根型MFM及920个双根型MFM。在进一步分析之前，所有图像块文件均进行了去标识化处理。

1.4　 CNN模型的训练及验证

计算机硬件配置：Intel Core i9-13900KF中央处理器（Intel公司，美国），24GB GDDR6X显存的NVIDIA GeForce RTX 4090图形处理单元（graphics processing unit，GPU）（NVIDIA公司，美国）。网络架构设计基于Pytorch机器学习框架（版本1.13.1），所有训练任务均在GPU上执行。为优化训练效率，集成了NVIDIA CUDA平台（版本11.4）并辅以cuDNN库（版本8.2.2）。编程语言为Python。本研究采用了2个CNN模型——ResNet-101^[17]和Inception-v3^[18]，并基于A、B两组图像数据集对双根型和三根型MSM进行分类。所有CNN模型均在ImageNet数据库^[19]上完成了预训练。

在数据处理阶段，通过Python编写的代码将2组MFM图像数据集随机分为训练集和测试集，比例为7∶3。A组训练集包含257张三根型MFM图像和754张双根型MFM图像，用于模型训练；测试集包含110张三根型MFM图像和323张双根型MFM图像。B组训练集包含201张三根型MFM图像和644张双根型MFM图像，用于模型训练；测试集包含82张三根型MFM图像和276张双根型MFM图像。将B组的全部图像数据用于模型训练，再将A全部图像数据用于模型测试。

在深度学习模型分析之前，首先对MFM图像块进行预处理。通过Torchvision库（版本0.14.1）的Transform子库，将所有MFM图像统一调整为224×224像素的分辨率；随后进行标准化处理，将图像像素值缩放至（0，1）范围，以消除因亮度、对比度等因素造成的差异。在模型训练阶段，采用随机梯度下降（stochastic gradient descent，SG-D）算法作为优化器，初始学习率设为0.1，批量大小为64，并进行了批量归一化。为了评估模型性能，采用了k折交叉验证法（将数据集随机分为k个子集，每次选择1个子集作为验证集，其余子集为训练集）。每次迭代中，模型遍历训练集50次（即50个epoch），总共训练500个epoch。

1.5　 CNN模型性能的评估及与临床医师诊断的比较

调取A组图像的测试集（包含433个MFM的图像块），由5位口腔医学专业人员对其类型进行诊断：1位具有超过20年工作经验的高年资口腔牙体牙髓病科医师，2位拥有2年工作经验的低年资口腔全科医师以及2位医学院口腔医学专业的硕士研究生。评估指标包括诊断的准确率、灵敏度、特异性、阳性预测值、阴性预测值和F1分数，其详细计算方法见文献^[20]。

1.6　 统计学方法

率的比较采用卡方检验，受试者工作特征（receiver operating characteristic，ROC）曲线分析评估CNN模型及临床医师的诊断效能，DeLong检验比较曲线下面积（area under curve，AUC）。P<0.05记为差异有统计学意义。

2　 结果

CBCT检查（金标准）显示，A组三根型MS-M的发生率为25.4%（367/1 444），B组三根型MSM的发生率为23.5%（283/1 203），2组间差异无统计学意义（X^{\mathrm{2}}=1.267，P=0.260）。

CNN模型及临床医师对MFM图像块分类的准确性见表1、图2。在2个CNN模型中，以ResNet-101的准确性更高。在A组中，ResNet-101的AUC值为0.908，准确率为87.5%，灵敏度为83.6%，特异性为88.9%。Delong检验显示，Res-Net-101的AUC（0.908）显著高于Inception-v3（0.857）（P<0.01）。而5位口腔医学专业人员的诊断准确性均较差，其中3位临床医师取得的AUC值分别为0.668、0.664和0.657，而2位口腔医学研究生的AUC更低，分别为0.541和0.532（P>0.05）。

表1显示，以B组图像训练、测试CNN模型，2个模型的各项评价指标均有所提升（以B组图像为测试集具有测试价值，但无临床意义）。而将B组全部图像块作为训练集训练模型后，再用A组全部图像作为测试集评估模型，发现2个CNN模型的诊断性能均未见显著变化，对于ResNet-101，AUC值、准确率、灵敏度和特异性分别为0.893、85.1%、75.8%及88.1%。对于Inception-v3，与用A组图像训练模型相比，各项评估指标基本保持不变，甚至略有升高。

3　 讨论

根管治疗前，通过术前X线片掌握牙根及根管变异状况对于治疗的成功至关重要。然而，临床上对MFM远舌根变异的漏诊情况较为常见^[6]。本研究中，三根型MFM的发生率高达24.6%。

近年来，CNN作为一种深度学习模型，在辅助临床医师进行影像学诊断方面表现出了显著的优势。CNN的核心结构主要由以下部分构成：数据输入层（用于接收原始图像数据，并进行去均值、归一化等预处理操作）、卷积计算层（通过卷积核在输入图像上滑动，进行局部关联计算，从而提取图像特征）、激励层（采用ReLU等激活函数引入非线性因素，使网络能够学习更加复杂的特征）、池化层（通过下采样操作减少特征图的维度，降低计算复杂度，同时保留图像的关键特征信息），以及全连接层（将前述卷积层和池化层提取的特征进行综合，通过权重和偏置进行线性变换，并通过激活函数进行非线性变换，最终输出分类结果）。CNN通过卷积操作自动提取输入图像中的特征，这些特征在网络的各个层次中逐步进行抽象与组合，最终形成对图像内容的全面理解。CNN能够自动分析X线片、CT扫描、磁共振成像等医学影像，提取病变特征，从而辅助临床医师进行疾病诊断。与临床医师相比，CNN在诊断过程中能够有效克服人为因素所引起的主观偏差以及裸眼辨识图像时的生理限制。在口腔疾病的诊断和细微特征的识别中，CNN展现出了较高的敏感度和特异性，表明其在临床应用中的潜力与优势^[21]。

本研究采用了2种常用的CNN模型——Res-Net-101及Inception-v3，对口腔曲面体层片中MFM的远舌根变异进行识别与诊断。在正式的模型训练和测试前，上述模型均在ImageNet数据库上进行过预训练，以确保其能够有效提取丰富的图像特征，并具备良好的泛化能力（即迁移学习）。通过冻结部分层和微调剩余层，迁移学习将源任务上学习到的知识迁移到目标任务中，从而减少了对标注数据的需求，缩短了训练时间，并提高了模型的整体性能。此外，选择这2种模型的原因在于它们各自独特的架构优势：ResNet-101通过残差学习机制有效解决了深层网络中常见的梯度消失和梯度爆炸问题^[17]；而Inception-v3则采用并行卷积结构，显著提升了模型在多尺度特征提取方面的能力，从而增强了其对复杂图像特征的捕捉与表示能力^[18]。表1显示，ResNet-101的诊断能力优于Inception-v3，其AUC值高达0.908，准确率为87.5%。Inception-v3的分类性能也令人满意，AUC值达到0.857，准确率为83.8%。而3位临床医师在常规口腔曲面体层片上的诊断准确率仅为73.0%~75.5%，灵敏度约为50%。这意味着约有一半的病例可能被漏诊，且高年资专科医师与低年资全科医师相比，在诊断水平上并未表现出显著优势，表明即使在积累大量临床经验后，三根型MFM的诊断能力并未见显著提高。而2位研究生取得的AUC接近0.5，表明在缺乏临床经验的情况下，其预测能力几乎等同于随机猜测。本研究中2种CNN模型表现均远超过临床医师。Hiraiwa等^[14]采用其他2种CNN模型（AlexNet及Goo-gleNet）对口腔曲面体层片上三根型及双根型MFM进行分类判别，结果显示，AlexNet模型取得的AUC值为0.87，准确率为87.4%；而Google-Net模型的AUC值为0.85，准确率为85.3%。与本研究相比，AlexNet及GoogleNet的性能略低于ResNet-101，但与Inception-v3的表现较为接近。尽管这些不同的CNN模型在架构特点及适用场合上有所差异，但均表现出优于临床医师的诊断能力。这提示了基于CNN的深度学习系统在未来临床应用中具有广阔的前景，它能够有效协助医师提高二维X线影像的诊断效能，尤其能大大提高下颌磨牙远舌根变异的确诊率，从而减少CBCT拍摄的频率，降低辐射剂量及医疗费用，更好地符合ALARA（尽可能低的辐射剂量）原则。

CNN模型的训练集大小对其诊断能力具有重要影响。通常而言，较大的训练集能够使模型学习到更多样化的数据特征，从而提高其对新样本的泛化能力，从而提高诊断准确性。此外，训练集的质量同样关键，图像的清晰度，数据的代表性和标注的准确性，都会影响模型的诊断能力。在临床实践中，采集大量同一患者的CBCT图像和口腔曲面体层片作为训练集往往较为困难。这主要由于CBCT的拍摄需要遵循ALARA原则^[5]，因此在CBCT检查之前，患者通常仅拍摄局部根尖片，而非口腔曲面体层片，其拍摄视野未必涵盖MFM。以往研究表明，CBCT通过重建生成的曲面体层片在图像质量上与传统口腔曲面体层片相当，甚至更高，但其是否能用于CNN模型训练尚未见报道。由于CBCT软件可以通过调整牙弓的“扫描”轨迹及厚度范围，在模拟曲面体层片上更好地展示MFM的牙根（图1B、C），从而使得CBCT模拟曲面体层片的图像失真及变形程度更低。因此，使用B组图像（模拟口腔曲面体层片）训练、测试CNN模型时，2种模型的各项评价指标均优于A组（表1）。然而，需要注意的是，对CBCT模拟口腔曲面体层片进行分类本身并不具有临床意义（仅有测试价值）。而使用模拟口腔曲面体层片训练CNN模型，再在常规曲面体层片上进行测试，发现2种模型同样能取得满意的诊断效能。对于ResNet-101和Inception-v3，各项评估指标基本保持不变，AUC值分别为0.893和0.868，准确率分别为85.1%和76.2%。综上所述，CBCT图像生成的模拟口腔曲面体层片具有更高的图像质量、更少的噪声，并且更不容易出现标注错误，可以替代或补充传统口腔曲面体层片用于CNN训练集的构建。

本研究仍存在一些局限性。首先，对于CNN深度学习模型而言，数据集的多样性仍是一个重要挑战。不同医院以及不同设备生成的图像可能存在一定差异，这增加了模型在不同环境中应用的复杂性。因此，未来可以通过大样本、多中心的研究设计来提升模型的泛化能力。其次，CNN等深度学习模型通常被视为“黑箱”模型，其决策过程缺乏透明性，这在某些需要高度透明度的医疗场景中限制了CNN的应用。此外，医学图像中常见的噪声、伪影等干扰因素可能会影响CNN的性能，尽管CNN具有一定的鲁棒性，但在极端情况下，模型仍可能产生误判。而在缺乏透明性的情况下，这些误判可能进一步导致临床决策的错误。因此，如何提高算法决策过程的透明度、确保其公正性和可靠性，仍是目前医学人工智能应用中的一个重要伦理挑战。

综上所述，CNN深度学习模型在口腔曲面体层片中对MFM远舌根变异的诊断中表现出较高的准确性。在训练集图像数据质量和数量上不足的情况下，CBCT重建生成的模拟口腔曲面体层片可以用于CNN模型的训练。

参考文献

[1] Hatipoğlu FP, Mağat G, Hatipoğlu Ö, et al. Assessment of the prevalence of radix entomolaris and distolingual canal in mandibular first molars in 15 countries: a multinational cross-sectional study with meta-analysis[J]. J Endod, 2023, 49(10): 1308-1318.

[2] Martins JNR, Gu Y, Marques D, et al. Differences on the root and root canal morphologies between Asian and white ethnic groups analyzed by cone-beam computed tomography[J]. J Endod, 2018, 44(7): 1096-1104.

[3] Zhang R, Wang H, Tian YY, et al. Use of cone-beam computed tomography to evaluate root and canal morphology of mandibular molars in Chinese individuals[J]. Int Endod J, 2011, 44(11): 990-999.

[4] 汤颖, 裴凡, 陈秀春, 等. 儿童三根型下颌磨牙的CBCT影像学分析[J]. 实用口腔医学杂志, 2024, 40(4): 60-64.

[5] Tang Y, Pei F, Chen XC, et al. CBCT imaging analysis of three-rooted mandibular molars in children[J]. J Pract Stomatol, 2024, 40(4): 60-64.

[6] Gu Y, Lu Q, Wang P, et al. Root canal morphology of permanent three-rooted mandibular first molars: partⅡ—Measurement of root canal curvatures[J]. J Endod, 2010, 36(8): 1341-1346.

[7] Jiang C, Pei F, Wu Y, et al. Investigation of three-rooted deciduous mandibular second molars in a Chinese population using cone-beam computed tomography[J]. BMC Oral Health, 2022, 22(1): 329.

[8] Tu MG, Huang HL, Hsue SS, et al. Detection of permanent three-rooted mandibular first molars by cone-beam computed tomography imaging in Taiwanese individuals[J]. J Endod, 2009, 35(4): 503-507.

[9] Bai B, Tang Y, Wu Y, et al. Ex vivo detection of mandibular incisors’ root canal morphology using cone-beam computed tomography with 4 different voxel sizes and micro-computed tomography[J]. BMC Oral Health, 2023, 23(1): 656.

[10] Singh NK, Raza K. Progress in deep learning-based dental and maxillofacial image analysis: a systema-tic review[J]. Expert Syst Appl, 2022, 199: 116968.

[11] Schwendicke F, Samek W, Krois J. Artificial intelligence in dentistry: chances and challenges[J]. J Dent Res, 2020, 99(7): 769-774.

[12] Lee JH, Kim DH, Jeong SN, et al. Detection and dia-gnosis of dental caries using a deep learning-based convolutional neural network algorithm[J]. J Dent, 2018, 77: 106-111.

[13] Fukuda M, Inamoto K, Shibata N, et al. Evaluation of an artificial intelligence system for detecting vertical root fracture on panoramic radiography[J]. Oral Radiol, 2020, 36(4): 337-343.

[14] Orhan K, Bayrakdar IS, Ezhov M, et al. Evaluation of artificial intelligence for detecting periapical pathosis on cone-beam computed tomography scans[J]. Int Endod J, 2020, 53(5): 680-689.

[15] Hiraiwa T, Ariji Y, Fukuda M, et al. A deep-learning artificial intelligence system for assessment of root morphology of the mandibular first molar on pano-ramic radiography[J]. Dentomaxillofac Radiol, 2019, 48(3): 20180218.

[16] Yang S, Lee H, Jang B, et al. Development and validation of a visually explainable deep learning model for classification of C-shaped canals of the mandibular second molars in periapical and panoramic dental radiographs[J]. J Endod, 2022, 48(7): 914-921.

[17] Jeon SJ, Yun JP, Yeom HG, et al. Deep-learning for predicting C-shaped canals in mandibular second molars on panoramic radiographs[J]. Dentomaxillofac Radiol, 2021, 50(5): 20200513.

[18] He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[J]. IEEE, 2016. doi: 10.1109/CVPR.2016.90 .

[19] Szegedy C, Ioffe S, Vanhoucke V, et al. Inception-v4, Inception-ResNet and the impact of residual connections on learning[J]. arXiv, 2016. doi: 10.48550/arXiv.1602.07261 .

[20] Deng J, Dong W, Socher R, et al. ImageNet: a large-scale hierarchical image database[C]//2009 IEEE Conference on Computer Vision and Pattern Recognition. Miami, USA: IEEE, 2009: 248-255.

[21] Jin L, Zhou W, Tang Y, et al. Detection of C-shaped mandibular second molars on panoramic radiographs using deep convolutional neural networks[J]. Clin Oral Investig, 2024, 28(12): 646.

[22] 齐帅, 张旗. 卷积神经网络在牙体牙髓病影像诊断中的研究和应用[J]. 口腔医学研究, 2023, 39(11): 960-964.

[23] Qi S, Zhang Q. Research and application of convolutional neural network in endodontic imaging diagnosis[J]. J Oral Sci Res, 2023, 39(11): 960-964.

基金资助

苏州市科技发展计划(SKY2022030)