深度学习在膝关节MRI图像分割中的研究进展

Research progress of knee joint MRI image segmentation based on deep learning

摘要

随着人口老龄化程度的加重，以膝关节骨性关节炎（Knee osteoarthritis， KOA）为代表的慢性关节病发病率逐年升高。自动分割膝关节MRI图像可以显著提高诊断和治疗效率，减轻医师负担。传统的MRI图像分割技术存在步骤繁琐、精度低、泛化能力差等问题。近年来，深度学习在医学图像分析领域展现了巨大的潜力和优势，在对膝关节MRI图像的分割中，骨骼分割的Dice相似系数（Dice similarity coefficient，DSC）达到了98%，且所有结构的DSC均＞70%。本文综述了深度学习在膝关节MRI图像分割中的研究进展，着重讨论了在5类不同分割任务中，深度学习模型所取得的成果和面临的挑战。文献复习结果表明，膝关节分割研究在医学方面的发展已取得了显著进步，但要实现其在临床中的全面应用，还需要面临数据多样性、模型泛化能力、实时性和标准化等方面的挑战。

关键词

膝关节 / 深度学习 / 图像分割 / 磁共振成像

Key words

Knee joint / Deep learning / Image segmentation / Magnetic resonance imaging

骨关节炎（Osteoarthritis，OA）作为一种最常见的退行性肌肉骨骼疾病，全球约有5%的人口受其影响^［1］。其中膝关节是骨关节炎最常侵犯的部位^［2］。膝关节骨性关节炎（Knee osteoarthritis， KOA）在老年人群中的发病率较高，临床表现为膝关节疼痛、功能受损以及活动受限，显著降低患者的生活质量^［3-5］。随着研究深入，KOA现被视为一种涉及关节透明软骨、软骨下骨和周围软组织等结构的慢性关节疾病，这些结构均直接影响膝关节的运动^［6］。因此，实现KOA的早期诊断并准确评估患者病情具有重要意义。骨关节疾病种类繁多，超过70%的诊断需要借助医学影像检查。相较而言，MRI凭借其高软组织对比度、多方位和多参数成像能力，以及可定量分析的特性，被视为评估关节软骨最有效的无创方法^［7］，可实现对骨骼、软骨、肌肉和韧带等多种结构的综合成像。因此，在诊断和评估KOA的过程中，从MRI图像准确分割膝关节组织尤为关键。

目前临床上分割医学图像中的目标结构主要采用手动或半自动方式，较为耗时费力。根据分割方式，可以将传统的半自动分割方法划分为基于阈值、基于区域、基于模型、基于图谱的方法和聚类方法^［8-10］。有学者^［11］提出基于随机游走的半自动分割方法来分割膝关节软骨，其计算速度快并能保证产生全局最小解，但缺点是需要人工干预初始化，效率低。传统方法提取的是图片中的灰度、对比度和纹理等低级别特征，忽略了图片中的空间特征，具有对噪声敏感、对边界模糊不敏感等缺点，面对复杂的医学图像环境（如伪影、噪声等）性能会下降。

基于深度学习的分割技术在KOA的预测、诊断、治疗、预后方面都有广泛的研究与应用，可以辅助医师进行全流程KOA诊治。通过深度学习对膝关节MRI图像进行分割，能够获取各解剖结构的完整体积，重建三维立体结构，辅助临床进行手术规划^［12］；构建基于解剖形状特征的模型，可用于评估组织形态变化对放射学OA进展的影响^［1］。自动化且可靠的分割工具可以为临床分析提供准确且客观的参数，从而显著推动定量MRI技术的临床应用。

1 深度学习分割

深度学习是机器学习的一个分支，它通过人工神经网络（Artificial neural network，ANN）模拟人类神经元的工作机制。神经元是神经网络学习和表达信息的基本单元，神经元通过学习权重和偏置，将输入映射到输出。神经网络是通过多个层次的神经元相互连接而形成的复杂模型，随着模型层数增加和复杂度提高，能够捕捉到更加细微的数据特征，模型的性能进一步得到提升。

分割是对患者进行特异性诊断、植入物设计以及术前和术中规划的必要前提步骤^［13］。全卷积神经网络（Fully convolutional neural network，FCN）^［14］是最早将深度学习应用于语义分割的网络之一，其创新在于用卷积层替代传统卷积神经网络（Convolutional neural network，CNN）中的全连接层，使网络能够接受任意尺寸的输入图像，并输出对应尺寸的分割图，为处理各种大小图像提供了极大的灵活性。FCN中使用的卷积层具有参数共享的特性，相比CNN的全连接层显著减少了模型参数的数量，提高了计算效率。受其启发，后续各种深度学习分割模型涌现，如U-Net^［15］、SegNet^［16］、DeepLab系列^［17］等。这些模型在解决图像分割问题时各有优势，通常根据具体任务需求和数据特点来选择。总体来说，相比于传统方法，深度学习模型能够捕捉更深层次的、抽象的特征，对于复杂和多变的场景更加鲁棒，且不需要图像前后处理和配准的过程，在性能和时间上也得到显著改善。深度学习分割技术的应用，标志着医学图像处理领域从依赖个人专业知识向自动化、高效率分析转变。本文将深度学习在膝关节MRI图像分割中的应用依照解剖结构分为骨骼、软骨、半月板、韧带和全膝关节5个类别，针对其应用场景和改进策略进行分析与总结。

2 基于深度学习的膝关节MRI图像分割

2.1　骨骼

通过识别出骨骼结构，可以大幅提高分割软骨、骨髓病变、半月板等结构的准确率^［18］。在众多方法中，由成对编码器和解码器组成的卷积编码器-解码器（Convolutional encoder-decoder，CED）网络在多项研究中被使用。LIU F等^［19］开发并评估了一种新的肌肉骨骼分割算法，该方法集成了SegNet和3D单纯形变方法，通过3D单纯形变模型对分割进行细化，在保持解剖整体形状的同时平滑了边界。U-Net起初作为一种专门应用于医学图像分割的编码器-解码器网络，通过引入跳跃连接解决了深度神经网络中的上下文语义信息丢失问题，并且能够适应不同模态的输入图像。ALMAJALID R等^［18］使用2个改进的U-Net完成了对骨骼切片的检测和分割，基于所获得的图像分割结果可以系统地估算骨骼体积。CHEN H等^［13］则提出了一种类似于pix2pix的网络结构，它由一个用于生成掩码的生成器和一个区分掩码和真实标签的判别器组成，通过引入对抗损失提高了骨骼的分割性能，在SKI10数据集的验证总分超过了76分。

解剖结构的关键标志点在图片中的分布具有相对固定的位置，受此启发，LI X等^［20］提出了一种SDMT网络结构，将空间位置信息与分割任务相结合。通过引入多头注意力机制，在保留单个任务的长距离相关性的同时又建立起2个任务之间的空间依赖性，使定位任务和分割任务相互促进。他们在SKI10数据集基础上增加对髌骨的评估，最终5种结构的平均Dice相似系数（Dice similarity coefficient，DSC）达到了83.91%。

2.2　软骨

膝骨关节炎初期主要表现为软骨退行性变性和逐渐消失^［21］。近年来，定量MRI技术在临床诊断与治疗中作用显著，基于精准分割的关节软骨定量MRI技术对于早期诊断KOA以及制定有效的治疗策略至关重要。

NORMAN B等^［22］采用638例3.0 T扰相梯度回波（Spoiled gradient recalled acquisition in steady state，SPGR）序列图像和3D双回波稳态（Double echo steady state，DESS）序列图像，基于U-Net模型自动分割软骨和半月板，采用加权交叉熵损失函数来解决软骨和半月板相对于整个成像区域像素比例差异较大的类别不平衡问题，结果显示，DESS数据集的结果优于SPGR数据集，可能是2个数据集的数量和空间分辨率差异所致。LI Z等^［23］提出了一种两阶段的关节软骨自动分割方法，在第一阶段，使用nnU-Net对硬组织和关节软骨进行分割，在第二阶段，将得到的距离图和熵图拼接到原始图像上对分割进行优化。该方法在股骨软骨和胫骨软骨上的DSC分别达到了（89.8±2.50）%和（86.4±4.13）%。由于关节软骨在影像中通常只有极薄一层且容易受到伪影和噪声的影响，分割难度大。为了克服这一难题，LIU H等^［24］对3 DU-Net进行改进，提出了一种基于先验知识的3 DU-Net算法用于股骨软骨和胫骨软骨分割，引入亚像素技术来提高图像分辨率，使软骨边缘的分割更加精确，最终DSC为74.02%，交并比（Intersection over union，IoU）为57.56%，平均对称表面距离（Average symmetric surface distance，ASD）为0.51 mm，95%豪斯多夫距离（Hausdorff distance，HD）为3.89 mm，这些量化指标均高于同类U-Net模型和FCN模型。

2.3　半月板

TACK A等^［25］首次展示了基于全自动分割的半月板生物标志物测量在预测KOA发展中的潜力，在研究中，使用卷积神经网络和统计形状模型结合的方法，使内、外侧半月板的DSC分别达到了83.8%、88.9%。但其缺陷是仅采用了矢状面DESS MRI图像，在其他激发序列中的效果有待验证。GAJ S等^［26］所提出的UNet-CGAN分割网络包含1个生成器网络和1个判别器网络，通过在损失函数中融合Dice损失函数和交叉熵损失函数来指导生成器的训练过程，使用对抗训练方法来提高分割精度，该模型分割内、外侧半月板的DSC分别为87%、89%，并且软骨和半月板的平均DSC达到了88%，显著高于NORMAN B等^［22］使用2D U-Net得到的79.2%、RAJ A等^［27］使用3D U-Net得到的82.4%。

在连续切片中，半月板的位置和大小并不完全一致，如果选择的ROI面积太小，可能无法完全包含半月板，太大则会增大其他组织的干扰，因此感兴趣区和层面的选择是预处理阶段的重要步骤。DUDHMANDE R P等^［28］指出，在使用统一的扫描协议获取图像时，半月板在其所出现的层面位置会趋于相对稳定。PEDOIA V等^［29］将2D CNN与3D CNN串联，实现了半月板分割和半月板损伤程度评估的多任务，诊断半月板损伤的敏感度、特异度分别达到了89.81%、81.98%。且将3D CNN的预测结果与患者的年龄和性别等人口学因素结合，提高了损伤程度分期的准确性。

2.4　韧带

韧带损伤也是骨关节炎风险因素之一，准确的分割可以促进对韧带撕裂的分析和分类。前交叉韧带（Anterior cruciate ligament，ACL）、后交叉韧带（Posterior cruciate ligament，PCL）、内侧副韧带（Medial collateral ligament，MCL）和外侧副韧带（Lateral collateral ligament，LCL）是膝关节最主要的4条韧带。目前基于深度学习的膝关节韧带分割的相关研究主要关注于ACL。

SUN M等^［30］在U-Net和DeepLabv3plus 2种编码器-解码器架构基础上探索不同变体的分割性能，发现带有SE模块的DeepLabv3plus网络在MRI分割中能更好地捕捉结构特征。FLANNERY S W等^［31］在246例具有完整ACL的MRI图像上对改进的2D U-Net模型进行训练、验证和测试，克服了ACL与周围组织的低对比度和边界模糊带来的困难，展示出深度学习在ACL分割上的应用潜力并证明了模型比手动分割更具可重复性和时效性。相比手动分割每例耗时1～2 h，自动分割大幅缩短了分割时间至每例0.33 s。同时提出可以将稳态构成干扰（Constructive interference in steady state，CISS）序列上的模型迁移学习到其他低对比度的序列，从而有助于模型训练。AWAN M J等^［32］在研究中纳入ACL损伤病例，其分割流程可以拆解为三阶段，第一阶段将数据转换为JPEG格式，第二阶段生成膝关节掩码，第三阶段在微调后的U-Net上进行训练和测试。最终在测试数据集上的准确度、交并比、DSC、精确率、召回率等均超过93%。如果能在未来继续进行ACL损伤分类研究，将有助于提升模型的临床应用价值。

2.5　全膝关节

在全膝关节解剖的分割任务中，主要难点是解决小解剖结构的类别不平衡问题。ZHOU Z等^［33］基于3D快速自旋回波序列（Fast spin echo，FSE）图像，通过结合CNN、3D全连接条件随机场（Conditional random field，CRF）和3D单纯形变模型提高了对12种膝关节组织分割的效率和准确性。沈乐等^［34］采用SegResNet对154例3D脂肪抑制中间加权FSE序列图像的15种解剖结构分割，所有解剖结构的平均DSC达到了92.92%，同时验证了对骨关节炎患者也具有较高的分割准确性。但各项指标仍是在骨骼上表现良好，小解剖结构效果较差。值得注意的是，以上研究都是基于3D MRI图像，但目前临床工作中2D图像仍然广泛使用，期待未来会有更多基于2D MRI图像的分割研究。

3 挑战与展望

用于膝关节分割深度学习模型的开发是一个活跃的研究领域，大量关于膝关节分割的深度神经网络已经与其他策略结合使用来提高分割性能。但目前大部分仍处于研究阶段，其临床转归还有一段距离，针对其面临的挑战提出了相应可能的研究方向：

①数据多样性：未来的研究应着重于扩大和多样化训练数据集。包括不同人群（年龄、性别、种族等）、不同序列、不同主磁体场强和品牌的MRI设备获取的数据，以及在不同临床条件下获得的图像。这将有助于提高模型的泛化能力和在多变临床环境中的应用潜力。

②实时性能：在临床应用中，分割任务的实时性是极为重要的。未来可以探索轻量级网络设计、模型压缩和优化技术，以减少模型的计算需求，实现快速、高效的图像分割，满足实时诊断和术中导航的需求。

③规范标注：目前用于模型性能比较的金标准基于专家的手动标注，存在个人主观因素。未来可以通过制定统一的标注指南和流程来确保不同标注者的工作尽可能一致。基于专家共识的数据库的建立也有其必要性。

④迁移学习：深度学习的性能依赖于大量经过专业人员标注的高质量数据，由于医学图像获取困难以及标注难度大，其数量和质量要求很难得到满足。因此通过对医学学科的多模态知识源进行预训练，开发具有小样本学习能力的模型具有重要意义。

⑤算法鲁棒性：医学影像复杂多变，尤以磁共振成像最为突出，图像质量会受到多种因素的影响，例如设备、运动以及磁化率导致的伪影等，因此这对模型的鲁棒性提出了更高的要求。可以考虑采用多模型融合策略，以增强模型对不同图像质量和复杂解剖结构的适应性。

⑥应用转化：膝关节解剖结构复杂，因此，目前运用深度学习进行膝关节的分割研究通常针对各类解剖结构单独设计网络模型，虽然精度较高，但缺乏临床应用价值。目前需要克服类别增加使网络学习任务难度加大的问题，开发出能够对全膝关节解剖结构进行精准分割的网络模型具有重要意义。

开发精准的自动化影像分割技术，进而构建针对膝关节MRI的计算机辅助诊断（Computer aided diagnosis，CAD）系统，有望辅助低年资医师进行临床诊断，优化治疗策略，并最终改善膝骨关节炎患者的预后。利用深度学习在膝关节MRI图像中进行分割还处于研究与探索阶段，随着人工智能在医学领域的不断发展，预计未来会在医疗行业中发挥强大的作用，从而为广大患者带来实质性的健康改善。

参考文献

[1] MORALES MARTINEZ A， CALIVA F， FLAMENT I， et al. Learning osteoarthritis imaging biomarkers from bone surface spherical encoding［J］. Magn Reson Med， 2020，84（4）：2190-2203.

[2] NASSER Y， JENNANE R， CHETOUANI A， et al. Discriminative regularized auto-encoder for early detection of knee osteoarthritis： data from the osteoarthritis initiative［J］. IEEE Trans Med Imaging， 2020，39（9）：2976-2984.

[3] 岳峰.不同综合疗法对老年性重度膝骨关节炎的临床观察［J］.中国医药导刊，2013，15（2）：247-249.

[4] 中华医学会骨科分会关节外科学组，吴阶平医学基金会骨科学专家委员会.膝骨关节炎阶梯治疗专家共识（2018年版）［J/OL］.中华关节外科杂志（电子版），2019，13（1）：124-130.

[5] 帖小佳，郑如庚，赵梦，中国中老年人膝关节骨关节炎患病率的Meta分析［J］.中国组织工程研究，2018，22（4）：650-656.

[6] FELSON D T. Osteoarthritis： new insights. part 1： the disease and its risk factors［J］. Ann Intern Med， 2000，133（8）：635.

[7] CRAWFORD R， WALLEY G， BRIDGMAN S， et al. Magnetic resonance imaging versus arthroscopy in the diagnosis of knee pathology， concentrating on meniscal lesions and ACL tears： a systematic review［J］. Br Med Bull， 2007，84：5-23.

[8] MALLIKARJUNA SWAMY M S， HOLI M S. Knee joint cartilage visualization and quantification in normal and osteoarthritis［C］//2010 International Conference on Systems in Medicine and Biology. December 16-18， 2010， Kharagpur， India. IEEE， 2010：138-142.

[9] FOLKESSON J， CARBALLIDO-GAMIO J， ECKSTEIN F， et al. Local bone enhancement fuzzy clustering for segmentation of MR trabecular bone images［J］. Med Phys， 2010，37（1）：295-302.

[10] JIANG J G， GUO Y， ZHAN S， et al. Segmentation of knee joints based on improved multiphase Chan-vese model［C］//2008 2nd International Conference on Bioinformatics and Biomedical Engineering. May 16-18， 2008， Shanghai， China. IEEE， 2008：2418-2422.

[11] GAN H S， TAN T S， SAYUTI K A， et al. Multilabel graph based approach for knee cartilage segmentation： data from the osteoarthritis initiative［C］//2014 IEEE Conference on Biomedical Engineering and Sciences （IECBES）. December 8-10， 2014， Kuala Lumpur， Malaysia. IEEE， 2014：210-213.

[12] 唐雄风.膝关节磁共振多组织三维智能分割与定量分析研究［D］.长春：吉林大学，2023.

[13] CHEN H， ZHAO N， TAN T， et al. Knee bone and cartilage segmentation based on a 3D deep neural network using adversarial loss for prior shape constraint［J］. Front Med （Lausanne）， 2022，9：792900.

[14] SHELHAMER E， LONG J， DARRELL T. Fully convolutional networks for semantic segmentation［J］. IEEE Trans Pattern Anal Mach Intell， 2017，39（4）：640-651.

[15] RONNEBERGER O， FISCHER P， BROX T. U-Net： convolutional networks for biomedical image segmentation［C］// Medical Image Computing and Computer-Assisted Intervention-MICCAI 2015. Cham： Springer International Publishing， 2015：234-241.

[16] BADRINARAYANAN V， KENDALL A， CIPOLLA R. SegNet： a deep convolutional encoder-decoder architecture for image segmentation［J］. IEEE Trans Pattern Anal Mach Intell， 2017，39（12）：2481-2495.

[17] CHEN L C， PAPANDREOU G， KOKKINOS I， et al. DeepLab： semantic image segmentation with deep convolutional nets， atrous convolution， and fully connected CRFs［J］. IEEE Trans Pattern Anal Mach Intell， 2018，40（4）：834-848.

[18] ALMAJALID R， ZHANG M， SHAN J. Fully automatic knee bone detection and segmentation on three-dimensional MRI［J］. Diagnostics （Basel）， 2022，12（1）：123.

[19] LIU F， ZHOU Z， JANG H， et al. Deep convolutional neural network and 3D deformable approach for tissue segmentation in musculoskeletal magnetic resonance imaging［J］. Magn Reson Med， 2018，79（4）：2379-2391.

[20] LI X， LV S， LI M， et al. SDMT： spatial dependence multi-task transformer network for 3D knee MRI segmentation and landmark localization［J］. IEEE Trans Med Imaging， 2023，42（8）：2274-2285.

[21] ECKSTEIN F， WIRTH W. Quantitative cartilage imaging in knee osteoarthritis［J］. Arthritis， 2011，2011：475684.

[22] NORMAN B， PEDOIA V， MAJUMDAR S. Use of 2D U-net convolutional neural networks for automated cartilage and Meniscus segmentation of knee MR imaging data to determine relaxometry and morphometry［J］. Radiology， 2018，288（1）：177-185.

[23] LI Z， CHEN K， LIU P， et al. Entropy and distance maps-guided segmentation of articular cartilage： data from the osteoarthritis initiative［J］. Int J Comput Assist Radiol Surg， 2022，17（3）：553-560.

[24] LIU H， SUN Y， CHENG X， et al. Prior-based 3D U-net： a model for knee-cartilage segmentation in MRI images［J］. Comput Graph， 2023，115：167-180.

[25] TACK A， MUKHOPADHYAY A， ZACHOW S. Knee menisci segmentation using convolutional neural networks： data from the osteoarthritis initiative［J］. Osteoarthritis Cartilage， 2018，26（5）：680-688.

[26] GAJ S， YANG M， NAKAMURA K， et al. Automated cartilage and Meniscus segmentation of knee MRI with conditional generative adversarial networks［J］. Magn Reson Med， 2020，84（1）：437-449.

[27] RAJ A， VISHWANATHAN S， AJANI B， et al. Automatic knee cartilage segmentation using fully volumetric convolutional neural networks for evaluation of osteoarthritis［C］//2018 IEEE 15th International Symposium on Biomedical Imaging （ISBI 2018）. April 4-7， 2018， Washington， DC， USA. IEEE， 2018：851-854.

[28] DUDHMANDE R P， RAJURKAR A M， KOTTAWAR V G. Extraction of whole and torn Meniscus in M. R.I. images and detection of meniscal tears［C］//2017 1st International Conference on Intelligent Systems and Information Management （ICISIM）. October 5-6， 2017， Aurangabad， India. IEEE， 2017：11-17.

[29] PEDOIA V， NORMAN B， MEHANY S N， et al. 3D convolutional neural networks for detection and severity staging of Meniscus and PFJ cartilage morphological degenerative changes in osteoarthritis and anterior cruciate ligament subjects［J］. J Magn Reson Imaging， 2019，49（2）：400-410.

[30] SUN M， LU L， HAMEED I A， et al. Detecting small anatomical structures in 3D knee MRI segmentation by fully convolutional networks［J］. Appl Sci， 2022，12（1）：283.

[31] FLANNERY S W， KIAPOUR A M， EDGAR D J， et al. Automated magnetic resonance image segmentation of the anterior cruciate ligament［J］. J Orthop Res， 2021，39（4）：831-840.

[32] AWAN M J， RAHIM M S M， SALIM N， et al. Automated knee MR images segmentation of anterior cruciate ligament tears［J］. Sensors， 2022，22（4）：1552.

[33] ZHOU Z， ZHAO G， KIJOWSKI R， et al. Deep convolutional neural network for segmentation of knee joint anatomy［J］. Magn Reson Med， 2018，80（6）：2759-2770.

[34] 沈乐，卢倩，唐虎，膝关节三维磁共振影像语义分割的可行性研究［J］.CT理论与应用研究，2022，31（5）：531-542.