AConvLSTM U-Net：基于双向稠密连接和注意力机制的多尺度颌骨囊肿分割模型

AConvLSTM U-Net: a multi-scale jaw cyst segmentation model based on bidirectional dense connection and attention mechanism

摘要

目的 提出一种基于双向稠密连接和注意力机制的多尺度颌骨囊肿分割模型（AConvLSTM U-Net），实现颌骨囊肿图像的准确自动分割。 方法 使用含有2592张颌骨囊肿图像数据集。首先，AConvLSTM U-Net在编码路径上设计移动翻转瓶颈卷积模块（MBC）以增强特征提取能力。其次，采用双路径稠密卷积（DPD）连接编码器和解码器，在跳跃连接中引入双向ConvLSTM以获取丰富的语义信息。然后，解码路径上使用基于空间和通道注意力的解码块（scSE），以提升对重要信息的关注。最后，设计了全尺寸深度监督模块（DS），并结合联合损失函数对模型进行优化，以进一步提高分割精度。 结果 AConvLSTM U-Net在颌骨囊肿病灶分割的实验结果在MCC、DSC和JSC方面分别达到93.8443%、93.9067%、88.5133%，性能均优于所有被比较的分割模型。 结论 所提出的算法在颌骨囊肿数据集上表现出较高的准确性与鲁棒性，优于多种主流方法，展现了AConvLSTM U-Net在颌骨囊肿图像分割的优越性能和辅助诊断的巨大潜力。

Abstract

Objective We propose a multi-scale jaw cyst segmentation model, AConvLSTM U-Net, which is based on bidirectional dense connections and attention mechanisms to achieve accurate automatic segmentation of mandibular cyst images. Methods A dataset consisting of 2592 jaw cyst images was used. AConvLSTM U-Net designs a MBC on the encoding path to enhance feature extraction capabilities. A DPD was used to connect the encoder and decoder, and a bidirectional ConvLSTM was introduced in the jump connection to obtain rich semantic information. A decoding block based on scSE was then used on the decoding path to enhance the focus on important information. Finally, a DS was designed, and the model was optimized by integrating a joint loss function to further improve the segmentation accuracy. Results The experiment with AConvLSTM U-Net for jaw cyst lesion segmentation showed a MCC of 93.8443%, a DSC of 93.9067%, and a JSC of 88.5133%, outperforming all the other comparison segmentation models. Conclusion The proposed algorithm shows a high accuracy and robustness on the jaw cyst dataset, demonstrating its superior performance over many existing methods for automatic segmentation of jaw cyst images and its potential to assist clinical diagnosis.

Graphical abstract

关键词

注意力机制 / 多尺度颌骨囊肿分割模型 / 稠密卷积

Key words

attention mechanism / jaw cyst segmentation / dense convolution

深度学习在医学图像分割领域应用广泛^［1-7］，其性能远超传统的分割方法^［8-11］，主要应用于医生的术前预判和术后疗效评估。然而，颌骨囊肿在影像中常表现出囊肿大小和形状随时间变化、边界不明确、结构重叠等特征，导致口腔颌骨囊肿分割面临着两个方面的挑战：一是影像中的颌骨囊肿与周围的口腔环境边界模糊不清，二是口腔颌骨囊肿的大小、形状等存在差异，缺少较为统一的标准形态。

传统的医学图像分割算法包括阈值分割法^{［12， 15］}、区域生长法^{［16， 18］}、聚类分割法^{［19， 21］}和边缘检测法^{［22， 23］}。传统的医学图像分割算法存在对噪声敏感，对灰度差异不明显以及不同目标灰度值有重叠等问题，无法从医学影像上精确地分割出囊肿的边界，对囊肿分割算法造成了严峻的挑战。相比之下，基于深度学习的分割算法核心优势在于其能够自动进行特征学习，有效降低对人工干预的依赖，提高囊肿分割的精度和效率。FCN^［24］首次提出是深度学习在图像分割领域应用的一个重要里程碑，通过使用卷积层替代传统的全连接层，使得网络能够处理任意尺寸的输入图像，促进了医学图像分割的发展。在FCN的基础上，U-Net模型^［25］的提出进一步优化了深度学习在医学图像分割的性能。U-Net模型具有高精度和快速收敛速度的特性，已成为医学图像分割领域的经典模型。U-Net模型独特的网络结构包括用于特征提取的收缩路径和用于精确定位的扩张路径，确保模型能够在保持高分辨率细节和精确分割。MARes-Net^［26］通过残差连接、尺度感知特征提取和多尺度压缩激励模块，在下颌囊肿图像分割方面取得了显著效果。HIMS-Net^［27］，使用水平和垂直交互机制和多侧输出策略，旨在提升上下颌囊肿的分割精度。MFI-Net^［28］通过引入SE-Res2Conv编码器和上下文提取模块，实现了低级细节与高级语义特征的有效整合，在原始和增强数据集上均表现出优越的分割性能。基于U-Net的优越性能对上颌窦进行自动分割，验证了U-Net模型在CT图像分割中的高效性和准确性，特别是在处理复杂解剖结构和病理变化方面^［29］。为了实现对釉质母细胞瘤进行了自动分割，通过Mask R-CNN验证了模型在有限数据集上的高效性。然而，该研究在面对不同肿瘤类型时的适应性表现存在一定的局限^［30］。基于Mask R-CNN对牙周韧带的自动分割中取得了较好的成果。然而，在处理复杂的牙周结构和背景噪声时，模型的表现存在波动^［31］。现有的研究在处理下颌囊肿图像的多尺度特征提取、上下文信息捕捉以及边界模糊问题方面仍存在一定的不足。因此，本文的研究方法基于先前的工作，进一步提出了一种结合多尺度特征提取和上下文注意力机制的方法，旨在提升分割精度和鲁棒性，从而更好地满足临床诊断和干预的需求。

尽管基于深度学习的颌骨囊肿图像分割方法性能优异，但仍然存在一些问题，导致模型在复杂的分割任务中性能受限。患者颌骨囊肿形态会随时间变化导致囊肿边界不清晰和结构重叠等问题，导致有效图像细节信息减少，降低了囊肿分割边缘模糊区域的准确性。针对上述问题，本文提出了一种颌骨囊肿分割方法AConvLSTM U-Net，具体而言，主要设计了4个模块，包括MBC模块、DPD模块、scSE模块和DS模块。综上所述，本文的主要贡献总结如下：

MBC模块可以强化编码阶段的特征提取能力，并且可以降低模型的参数量；DPD模块作为连接编码器和解码器之间的桥梁，增强信息的重用以及丰富感受野；scSE模块采用sSE和cSE两个子模块，可以在解码阶段时有效关注囊肿边缘的特征，抑制噪声干扰，确保分割边缘更加平滑；DS模块从多个层次中学习特征表示，可以有效监督解码器的每个阶段，加快模型的收敛速度。

1 资料和方法

1.1 基于稠密连接的双向ConvLSTM U-Net方法

稠密连接的双向ConvLSTM U-Net^［29］（BCDU-Net），是一种用于医学图像分割的深度学习网络（图1）。本文采用BCDU-Net作为Baseline，该模型基于U-Net的改进，结合U-Net模型的优势、双向卷积长短期记忆网络以及密集连接卷积的机制^［30］。

在U-Net的跳跃连接中，BCDU-Net采用BConvLSTM以非线性方式结合从相应编码路径与之前解码上卷积层的特征图。该模型在编码阶段的最终卷积单元中采用稠密连接，这种设计策略能够促进特征的有效传递并增强特征的再利用。BCDU-Net包含两个主要模块，分别是双向卷积长短期记忆网络和密集连接。

1.1.1 双向ConvLSTM模块

本文采用模块用于增强上下文信息的捕捉和利用（图2）。ConvLSTM^［31］是LSTM的一种变体，专门设计用于处理具有空间结构的数据。与传统LSTM不同，ConvLSTM在输入、状态转移和输出中都使用卷积操作，能够更有效地捕捉空间特征。它由四个主要组件构成：输入门i_t、遗忘门f_t、记忆单元c_t和输出门o_t。输入、遗忘和输出门作为控制门负责管理记忆单元的状态，包括信息的接收、消除和更新，公式如下：

i_t=\sigma (W_{xi}\mathrm{*}{\mathrm{𝒳}}_t+W_{hi}\mathrm{*}{\mathrm{\mathscr{H}}}_{t-\mathrm{1}}+W_{ci}\circ C_{t-\mathrm{1}}+b_i)（1）

i_t=\sigma (W_{xf}\mathrm{*}{\mathrm{𝒳}}_t+W_{hf}\mathrm{*}{\mathrm{\mathscr{H}}}_{t-\mathrm{1}}+W_{cf}\circ C_{t-\mathrm{1}}+b_f)（2）

C_t=f_t\circ C_{t-\mathrm{1}}+i_t\circ tanh(W_{xc}\mathrm{*}{\mathrm{𝒳}}_t+W_{hc}\mathrm{*}{\mathrm{\mathscr{H}}}_{t-\mathrm{1}}+b_c)（3）

o_t=\sigma (W_{xo}\mathrm{*}{\mathrm{𝒳}}_t+W_{ho}\mathrm{*}{\mathrm{\mathscr{H}}}_{t-\mathrm{1}}+W_{co}\circ C_t+b_o)（4）

{\mathrm{\mathscr{H}}}_t=o_t\circ tanh(C_t)（5）

在公式（1）至公式（5）中，\mathrm{*}和\circ表示卷积和哈达玛函数。{\mathrm{𝒳}}_t是输入张量（即{\mathrm{𝒳}}_e和{\widehat{\mathrm{𝒳}}}_d^{up}），{\mathrm{\mathscr{H}}}_t是隐藏状态张量，W_{xo}和W_{ho}分别是输入和隐藏状态的卷积核，b_i、b_f、b_c和b_o是偏差项，tanh表示双曲正切函数。

在BCDU-Net中，双向ConvLSTM通过同时处理前向和后向的时序信息，进一步丰富上下文信息。通过这种双向处理，网络能够更全面地理解图像中的上下文关系，特别是在复杂的医学图像中，这种能力尤为重要。双向ConvLSTM的输出公式如下：

{\mathbf{{\rm Y}}}_t=tanh(W_y^{{}^{\stackrel{⃑}{\mathrm{\mathscr{H}}}}}\mathrm{*}{\stackrel{}{\stackrel{⃑}{\mathrm{\mathscr{H}}}}}_t+W_y^{{}^{\stackrel{⃖}{{}^{\mathrm{\mathscr{H}}}}}}\mathrm{*}{\stackrel{}{\stackrel{⃖}{\mathrm{\mathscr{H}}}}}_t+b)（6）

在公式（6）中，{\stackrel{\rightharpoonup }{\mathrm{\mathscr{H}}}}_t和\stackrel{⃖}{\mathrm{\mathscr{H}}}分别代表前向与反向状态的隐藏状态张量，b表示偏置参数，融合双向的时空信息的输出是{\mathbf{{\rm Y}}}_t。

1.1.2 稠密连接卷积

本文使用稠密卷积来连接编码器和解码器有助于网络学习不同的特征图的有效信息，抑制冗余特征，并且可以使网络避免梯度爆炸或梯度消失的问题（图3）。

1.2 AConvLSTM U-Net模型结构

本文提出的AConvLSTM U-Net结构（图4A），主要包括移动翻转瓶颈卷积块、空间及通道注意力机制、双路径稠密卷积以及深度监督模块。

1.2.1 移动翻转瓶颈卷积块

本文所提出的算法AConvLSTM U-Net在编码阶段采用移动翻转瓶颈卷积，进行特征提取与编码（图4B）。移动翻转瓶颈卷积最初是在EfficientNet^［32］中通过神经网络架构搜索得到，该模块结构与深度分离卷积^［33］相似，采用尺度先放大在收缩的概念。首先，对输入进行1×1的卷积根据扩展比例改变输出通道维度，接着进行3×3的逐通道卷积，对每个输入通道独立进行卷积操作，保持通道数一致，减少模型的参数量。然后引入SE模块^［34］，SE模块中主要包含压缩与激励两部分。输入的特征图大小为w×h×c。在压缩阶段，通过全局平均池化将特征图大小被压缩成1×1×c，实现特征的全局整合。激励阶段将1×1×c的输入映射至1×1×（c×SERatio）的输出，其中SERatio是一个可调参数，降低模型计算复杂度。然后，将1×1×（c×SERatio）的输入调整为1×1×c，最终通过将这些通道权重与原始特征图相乘，实现特征的动态调整。再以1×1的逐点卷积恢复原通道数并使用批量归一化^［35］。最后进行随机失活和输入的残差连接。激活函数使用Swish激活函数^［36］，公式如下：

f(x)=x\cdot \sigma (\beta x)（7）

在公式（7）中，\sigma为Sigmod函数，\beta为一个可选的参数。

1.2.2 双路径稠密卷积块

本文所提模型AConvLSTM U-Net在连接编码器和解码器的桥梁上，受GoogLeNet^［37］启发，设计DPD模块来获得不同尺度的感受野，同时也使用1×1的卷积核降维，显著降低模型的参数量。DPD一条路径使用卷积核大小3×3的卷积，能够较好地捕捉小尺度目标；另一条路径使用两个卷积核大小为3×3卷积来提取不同感受野的特征，DPD结构（图4D）。在连接桥梁上使用4个DPD块串行连接，最后使用一个1×1卷积降维到512（图5）。

1.2.3 空间及通道注意力机制

本文所提模型AConvLSTM U-Net在编码阶段，设计scSE模块（图6）。该模块包含sSE和cSE两个子模块。其中，sSE模块在特征图的空间维度展开信息增强整合，通过提取权重信息，再将权重信息同原始特征图相乘得到注意力增强效果，使用输出通道数为1，卷积核大小为1×1的卷积层，进行信息整合，得到一个维度为1×h×w的权重矩阵。然后将权重进行Sigmod归一化处理后得到最终的权重矩阵。最后将权重矩阵同原始特征图在空间维度相乘，得到空间信息增强特征图。cSE模块引入通道注意力机制，通过全局平均池化将特征图从c×h×w变为c×1×1，对通道维度的特征信息进行整合；再通过两个1×1的卷积对得到的注意力权重进行降维再升维的操作得到c维的向量，有效整合通道信息，并且降低模块复杂度；然后使用Sigmod函数进行归一化得到对应的权重向量。最后与原始特征图的对应通道相乘，增强网络对重要特征的捕捉能力。scSE模块通过sSE模块和cSE模块并联可以获得更为精准的特征图，即同时对空间维度和通道维度进行信息整合增强，将两者的特征结果沿着通道维度进行相加。scSE模块可以增强网络对输入图像中重要区域和通道的响应，从而提高特征表示的质量。在解码器中，每个解码块中不仅加入scSE模块，同时加入批量归一化，可以提高网络的训练效率和泛化能力，解码块结构（图4C）。

1.2.4 深度监督模块

本文提出了一种DS模块，AConvLSTM U-Net可以从全尺度来学习特征图 （图7）。DS模块能够有效提升特征利用率，并使网络能够在不同分辨率下学习多层次的特征表示，进而获得更加丰富且细致的图像语义信息。通过在解码器的各个阶段引入监督信号，DS模块能够引导网络在训练过程中同时关注不同层次的特征图，有效避免深层网络梯度消失或梯度爆炸。此外，DS模块还能在各层次上强化目标区域的特征学习，从而提高模型对边界复杂目标的分割精度和全局一致性，通过将每个解码器都进行输出然后与正确的标注数据进行比较计算损失来实现。每个解码块的最后一层是一个卷积核大小为3×3、输出通道为1的卷积层，然后通过双线性上采样得到和标注数据一样大小的特征图，再使用Sigmod函数进行归一化得到分割结果。

1.3 联合损失函数

本文提出的联合损失函数，采取结合二元交叉熵损失函数^［38］和Dice损失函数^［39］。BCE Loss关注于预测概率的准确性，模型为每个像素产生准确的概率估计。Dice Loss则关注于分割的精确度，即预测的边界与真实边界的对齐情况，模型预测与真实标签更接近的分割结果。两者的结合可以提高模型在分割边界处的性能。本文设计的联合损失函数，综合考虑类别级别和像素级别的损失，提高模型的性能。

BCE Loss能够计算真实标签和预测概率之间的对数差异，采用对图片中的每个像素的预测值都与实际值进行比较来计算差异，公式如下：

Los{s}_{BCE}\left(y,\widehat{y}\right)=-\frac{\mathrm{1}}{N}{\sum }_{i=\mathrm{1}}^N\left[y_i\mathrm{l}\mathrm{o}\mathrm{g}{\widehat{y}}_i+\left(\mathrm{1}-y_i\right)\mathrm{l}\mathrm{o}\mathrm{g}\left(\mathrm{1}-{\widehat{y}}_i\right)\right]（8）

在公式（8）中，N表示样本的数量，y_i表示第i个样本的真实标签（0或者1），{\widehat{y}}_i表示第i个样本的预测概率。

Dice Loss为了解决图像分割中常见的目标与非目标区域不平衡问题，在训练过程中，特别重视对包含目标的区域进行深入挖掘，以提高模型对关键区域的识别能力，公式如下：

Los{s}_{Dice}=\mathrm{1}-Dice=\mathrm{1}-\frac{\mathrm{2}\times \left|X\bigcap Y\right|}{\left|X\right|+\left|Y\right|}（9）

在公式（9）中，X表示真实分割图像的像素标签，Y表示模型预测分割图像的像素类别，\left|X\bigcap Y\right|近似为预测图像的像素与真实标签图像的像素之间的点乘，并将点乘结果相加，\left|X\right|和\left|Y\right|分别近似为它们各自对应图像中的像素相加。

因此，结合公式（8）与公式（9），联合损失函数Los{s}_{seg}表示为：

Los{s}_{seg}=Los{s}_{BCE}+Los{s}_{Dice}（10）

1.4 数据集介绍

本文所采用的颌骨囊肿医学图像（JCMI）数据采集于自衢州市人民医院，患者的隐私信息已移除，数据集包含2592张图像，图像大小均为256×256，示例图像（图8）。其中，1558张用于训练集，517张图像用于测试集，517张用于验证集。采用Breast Ultra Sound Images （BUSI）^［40］数据集和CVC-ClinicDB数据集进一步验证模型的泛化性能。其中，BUSI包括乳腺癌正常、良、恶性病例的超声图像以及相应的分割图，图像的大小调整到分辨率为256×256。CVC-ClinicDB数据集包含612张结肠镜图像，分辨率为288×384。

1.5 评估指标

本文通过采用马修斯相关系数^［41］、Dice相似系数^［42］、Jaccard相似系数^［43］来评估检测实验的结果。马修斯相关系数（MCC）指标是一种二元分类评价指标，用于评估模型预测与实际标签之间的一致性。其值域属于［-1，1］，其中1代表完全一致，-1代表完全相反，0表示无相关性。MCC能够同时考虑模型的特异性和敏感性，因此在样本不平衡的情况下，MCC比准确率和召回率更能反映模型的性能，公式如下：

MCC=\frac{TP\times TN-FP\times FN}{\sqrt[]{\left(TP+FN\right)\left(TP+FP\right)\left(TN+FN\right)\left(TN+FP\right)}}（11）

在公式（11）中，TP表示真正例，FP表示假正例，TN表示真负例，FN表示假负例。

Dice相似系数（DSC）用于评估两个集合的相似度。Dice系数的取值介于0到1之间，当Dice系数为1时，表示分割结果与真实标签完全一致；而当Dice系数为0时，表示分割结果与真实标签完全不重叠，公式如下：

DSC=\frac{\mathrm{2}\times \left|X\bigcap Y\right|}{\left|X\right|+\left|Y\right|}（12）

Jaccard相似系数（JSC）是用于衡量两个集合相似度的指标。在图像分割中，Jaccard系数常用于评估分割算法的性能，计算公式为：

JSC=\frac{\left|X\bigcap Y\right|}{\left|X\bigcup Y\right|}（13）

1.6 实验设置

本文中的所有实验在Ubuntu 22.04，Cuda版本12.3，使用Python语言中的Tensorflow框架来实现的，设备包含一张NVIDIA A10 24GB GPU和Intel Xeon Platinum 8369B @2.7GHz CPU，实验均未加载预训练权重，所有模型从零开始训练，以确保实验结果的公平性。

首先，在训练阶段对训练图片预处理，将训练图片调整为256×256大小，并对图片执行归一化操作。然后，每次从训练集中随机选取16个不同的图像作为一批量数据。本文采用Adam优化器，训练过程一共200轮，采用自定义的学习率下降方式，当验证集上的Dice相似系数7轮没有上升时，将学习率下调，下调因子为0.2。另外，当验证集上的相似系数超过30轮没有上升时，将停止训练。

2 结果

2.1 与主流医学图像分割方法比较

AConvLSTM U-Net在MCC、DSC和JSC方面分别达到93.8443%、93.9067%、88.5133%，优于主流分割方法。通过模型在JCMI和BUSI数据集上的性能对比，证明了AConvLSTM U-Net在颌骨囊肿区域分割中的准确性和鲁棒性（表1、2）。

2.2 消融研究

逐步引入MBC模块、scSE模块、DPD模块和DS模块，模型的DSC、MCC和JSC逐步提升，最终分别达到93.039%、92.968%、87.183%。与Baseline相比，加入所有模块后模型参数减少5M，同时分割性能显著提升，验证了各模块的有效性和联合损失函数对模型优化的作用（表3、4）。

2.3 可视化结果

AConvLSTM U-Net分割颌骨囊肿的可视化结果（图9）。其中，A为颌骨囊肿的原始CT图像，B为真实分割标签图像，C为BCDUNet模型分割图像，D为本文所提方法分割图像，E为基线模型分割图像热力图，F为本文所提方法分割图像热力图。实验结果显示，针对于病灶的集中区域，AConvLSTM U-Net在分割颌骨囊肿时具有更高的准确性和更好的边界清晰度。从图C与图D的对比中可以观察到，本文方法对比真实分割标签图像，相较于BCDUNet模型具有更精确的检测结果和更加平滑的分割边界。从图E与图F的对比中可以观察到，本文所提方法的热力图关注点更集中于病灶区域，且在边缘部分更加细致。可视化结果表明，本文方法不仅能够更有效地捕捉到病灶的特征，还能更精确地定位病灶的边界。为了探究模型的分割效率，本文增加了模型单张图片推理时间和资源占用情况进行定量评估，单张图片的推理时间为0.3 s，CPU使用率为11%，GPU显存占用为6G。为了直观的看到模型训练过程中训练和验证的损失，确保所提出的网络工作的收敛，模型在JCMI数据集的训练和验证损失（图10）。结果表明，网络收敛得非常快，即在第175个epoch之后，网络达到最佳效果。同时，本文对模型在验证集上的准确率迭代曲线、召回率迭代曲线（图11）。综上，AConvLSTM U-Net 在捕捉病灶特征和处理边缘细节方面显著优于基线模型，展现了其在医学图像分割任务中的应用潜力和研究价值。

2.4 交叉验证

本文使用五重交叉验证法在BUSI数据集上对模型进行交叉验证和模型评估（表5）。此外，我们还在BUSI数据集上探究学习率对模型精确度的影响（表6）。实验结果表明模型学习率设置为1×10^-2时模型无法收敛，学习率为1×10^-4时，模型性能最佳。为了验证分割模型AConvLSTM U-Net的泛化能力，采用CVC-ClinicDB数据集进行实验，实验结果表明本文方法在指标DSC上取得了最优性能，指标IoU仅次于TASPP-Unet（表7）。

3 讨论

颌骨囊肿是口腔颌面外科常见的疾病之一，其准确诊断对于治疗方案的选择至关重要。通过基于计算机视觉的辅助诊断方法进行颌骨囊肿的分割，可以帮助医生更准确地识别和定位囊肿，从而提高诊断的准确性。自动化的囊肿分割方法可以显著提高医生的工作效率，减少人工分割所需的时间和精力，使医生能够将更多的时间用于患者的诊疗和关怀。因此，研究额骨囊肿分割算法是具有重要的。

本文针对颌骨囊肿这一常见口腔疾病的自动分割问题，提出了一种创新的AConvLSTM U-Net模型。首先，在编码路径上设计MBC模块，提高特征提取效率并降低网络参数量。其次，采用DPD模块连接编码器和解码器，以获取丰富的语义信息，在跳跃连接中引入双向ConvLSTM，增强上下文信息的交互。然后，解码路径上使用scSE模块，以提升对重要信息的关注。最后，设计DS模块并结合联合损失函数，更加有效地优化模型，提高模型分割性能，通过消融实验验证方法的有效性。实验结果显示，该模型在处理分割边界模糊、重叠结构等复杂情况时表现优异，各项指标均优于主流方法。表2中的实验结果显示，相较于基线网络，引入MBC模块后，指标DSC、MCC和JSC有明显改善。进一步集成空间及通道注意力机制模块后，DSC、MCC和JSC有显著的提升。当结合MBC模块和DPD模块时，DSC、MCC和JSC性能表现再次提升。最后，在此基础上加入DS模块时，获得最佳性能，也进一步验证了模型改进的必要性，当基线模型和AConvLSTM U-Net仅使用Dice Loss时，模型无法正常的收敛，进一步验证了Dice Loss在小目标分割中的局限性。联合损失函数的引入对于提高模型在颌骨囊肿图像分割任务中的性能至关重要，不仅能够缓解Dice Loss无法收敛的问题，也进一步提升模型的泛化能力和分割精度，联合损失函数取得最佳的DSC、MCC和JSC值，分别为93.907%、93.844%和88.513%，进一步验证了重新设计优化损失函数的必要性。图9的可视化结果表明AConvLSTM U-Net的关注点更集中于病灶区域，且在边缘部分分割更加细致，进一步验证了方法的优异性能，可以实现颌骨囊肿的精确分割。

为了进一步提高模型的泛化能力和分割精度，未来工作将以优化模型结构，减少参数量，提升实时性，扩充数据集数量，结合多模态数据提取更全面特征，以及加入更多的深度学习方法，如迁移学习、监督学习等，提高网络的学习能力，有效地提升模型的性能并推广至更广泛的口腔颌面疾病诊断中。

参考文献

[1] Ding X, Jiang X, Zheng H, et al. MARes-Net: multi-scale attention residual network for jaw cyst image segmentation[J]. Front Bioeng Biotechnol, 2024, 12: 1454728.

[2] Niu G, Zhang G, Chen JM, et al. A 3-year follow-up clinical study on the preservation for vitality of involved tooth in jaw cysts through an innovative method[J]. Sci Rep, 2024, 14(1): 128.

[3] Zheng HX, Jiang XL, Xu X, et al. MFI-net: multi-level feature integration network with SE-Res2Conv encoder for jaw cyst segmentation[J]. IEEE Access, 2024, 12: 67355-67.

[4] Li H, Liu Z, Jiang L, et al. Epidemiological analysis of the clinicopathologic characteristics, treatment, and prognosis of 2648 jaw cysts in West China[J]. Chin Med J: Engl, 2024, 137(9): 1124-6.

[5] Tran T P, Ngoc V T N, Linh L N P, et al. Effectiveness of marsupialization on the reduction of cystic jaw lesions in children: A scoping review[J]. Oral Science International, 2025, 22(1): e1267.

[6] Jiang X, Zheng H, Yuan Z, et al. HIMS-Net: Horizontal-vertical interaction and multiple side-outputs network for cyst segmentation in jaw images[J]. Math Biosci Eng, 2024, 21(3): 4036-55.

[7] Guangyan W, Yanan J, Aihemaiti G, et al. Research on Cyst of Jaw Detection Algorithm Based on Alex Net Deep Learning Model. Research Square[J]. 2024.

[8] 梁利渡, 张浩杰, 鲁 倩, 等. aFaster RCNN： 一种基于平扫 CT 的多疾病阶段胰腺病灶检测模型[J]. 南方医科大学学报, 2023, 43(5): 755. DOI: 10.12122/j.issn.1673-4254.2023.05.11

[9] 吴雪扬, 张 煜, 张 华, 等. 基于注意力机制和多模态特征融合的猕猴脑磁共振图像全脑分割[J]. 南方医科大学学报, 2023, 43(12): 2118. DOI: 10.12122/j.issn.1673-4254.2023.12.17

[10] 黄品瑜, 钟丽明, 郑楷宜, 等. 多期相 CT 合成辅助的腹部多器官图像分割[J].南方医科大学学报, 2024, 44(1): 83. DOI: 10.12122/j.issn.1673-4254.2024.01.10

[11] Pham DL, Xu C, Prince JL. Current methods in medical image segmentation[J]. Annu Rev Biomed Eng, 2000, 2: 315-37.

[12] Varga-Szemes A, Muscogiuri G, Schoepf UJ, et al. Clinical feasibility of a myocardial signal intensity threshold-based semi-automated cardiac magnetic resonance segmentation method[J]. Eur Radiol, 2016, 26(5): 1503-11.

[13] Sankur B. Survey over image thresholding techniques and quantitative performance evaluation[J]. J Electron Imaging, 2004, 13(1): 146.

[14] Otsu N. A threshold selection method from gray-level histograms[J]. IEEE Trans Syst, Man, Cybern, 9(1): 62-6.

[15] Kapur JN, Sahoo PK, Wong AKC. A new method for gray-level picture thresholding using the entropy of the histogram[J]. Comput Vis Graph Image Process, 1985, 29(3): 273-85.

[16] Adams R, Bischof L. Seeded region growing[J]. IEEE Trans Pattern Anal Machine Intell, 16(6): 641-7.

[17] Mehnert A, Jackway P. An improved seeded region growing algorithm[J]. Pattern Recognit Lett, 1997, 18(10): 1065-71.

[18] Fan J, Yau DY, Elmagarmid AK, et al. Automatic image segmentation by integrating color-edge extraction and seeded region growing[J]. IEEE Trans Image Process, 2001, 10(10): 1454-66.

[19] Bezdek JC, Ehrlich R, Full W. FCM: The fuzzy c-means clustering algorithm[J]. Comput Geosci, 1984, 10(2/3): 191-203.

[20] Ng HP, Ong SH, Foong KWC, et al. Medical image segmentation using K-means clustering and improved watershed algorithm[C]// IEEE Southwest Symposium on Image Analysis and Interpretation. Denver, CO. IEEE, 2006, 61-65.

[21] Sulaiman S, Mat Isa N. Adaptive fuzzy-K-means clustering algorithm for image segmentation[J]. IEEE Trans Consumer Electron, 56(4): 2661-8.

[22] Cumani A. Edge detection in multispectral images[J]. CVGIP Graph Models Image Process, 1991, 53(1): 40-51.

[23] Canny J. A computational approach to edge detection[J]. IEEE Trans.Pattern Anal. Mach. Intell, 1986, 8(6): 679-98.

[24] Long J, Shelhamer E, Darrell T. Fully convolutional networks for semantic segmentation[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). June 7-12, 2015. Boston, MA, USA. IEEE, 2015: 3431-40.

[25] Ronneberger O, Fischer P, Brox T. U-Net: convolutional networks for biomedical image segmentation[C]//Medical Image Computing and Computer-Assisted Intervention (MICCAI). Cham: Springer International Publishing, 2015: 234-41.

[26] Ozturk B, Taspinar YS, Koklu M, et al. Automatic segmentation of the maxillary sinus on cone beam computed tomographic images with U-Net deep learning model[J]. Eur Arch Oto Rhino Laryngol, 2024, 281(11): 6111-21.

[27] Xu L, Qiu K, Li K, et al. Automatic segmentation of ameloblastoma on ct images using deep learning with limited data[J]. BMC Oral Health, 2024, 24(1): 55.

[28] Su S, Jia X, Zhan L, et al. Automatic tooth periodontal ligament segmentation of cone beam computed tomography based on instance segmentation network[J]. Heliyon, 2024, 10(2): e24097.

[29] Azad R, Asadi-Aghbolaghi M, Fathy M, et al. Bi-directional ConvLSTM U-Net with densley connected convolutions[C]//2019 IEEE/CVF International Conference on Computer Vision Workshop (ICCVW). October 27-28, 2019. Seoul, Korea (South). IEEE, 2019.

[30] Huang G, Liu Z, Van Der Maaten L, et al. Densely connected convolutional networks[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). July 21-26, 2017. Honolulu, HI. IEEE, 2017: 4700-4708.

[31] Sønderby SK, Sønderby CK, Nielsen H, et al. Convolutional LSTM networks for subcellular localization of proteins[C]//Algorithms for Computational Biology. Cham: Springer International Publishing, 2015: 68-80.

[32] Tan MX, Le QV. Efficientnet: Rethinking model scaling for convolutional neural networks[C]//International conference on machine learning (ICML). 2019: 6105-14.

[33] Chollet F. Xception: deep learning with depthwise separable convolutions[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). July 21-26, 2017. Honolulu, HI. IEEE, 2017: 1251-1258.

[34] Hu J, Shen L, Sun G. Squeeze-and-excitation networks[C]//2018 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). June 18-23, 2018. Salt Lake City, UT. IEEE, 2018: 7132-41.

[35] Ioffe S, Szegedy C, Paranhos L, et al. Batch normalization: Accelerating deep network training by reducing internal covariate shift[C]//International conference on machine learning (ICML). 2015: 448-56.

[36] Ramachandran P, Zoph B, Le QV. Searching for activation functions[J]. arXiv preprint arXiv:2017.

[37] Szegedy C, Liu W, Jia YQ, et al. Going deeper with convolutions[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). June 7-12, 2015. Boston, MA, USA. IEEE, 2015: 1-9.

[38] Mao AQ, Mohri M, Zhong YT. Cross-entropy loss functions: theoretical analysis and applications[C]// International Conference on Machine Learning (ICML). Honolulu, Hawaii, USA, 2023, 992(26): 23803-28.

[39] Li XY, Sun XF, Meng YX, et al. Dice loss for data-imbalanced NLP tasks[J]. 2019: 1911.02855.

[40] Al-Dhabyani W, Gomaa M, Khaled H, et al. Dataset of breast ultrasound images[J]. Data Brief, 2020, 28: 104863.

[41] Jiang M, Zhai FH, Kong J. A novel deep learning model DDU-net using edge features to enhance brain tumor segmentation on MR images[J]. Artif Intell Med, 2021, 121: 102180.

[42] Yang YY, Feng C, Wang RF. Automatic segmentation model combining U-Net and level set method for medical images[J]. Expert Syst Appl, 2020, 153: 113419.

[43] Zhao C, Shuai RJ, Ma L, et al. Segmentation of dermoscopy images based on deformable 3D convolution and ResU-NeXt++[J]. Med Biol Eng Comput, 2021, 59(9): 1815-32.

[44] Ma J, He Y, Li F, et al. Segment anything in medical images[J]. Nat Commun, 2024, 15(1): 654.

[45] Lin AL, Chen BZ, Xu JY, et al. DS-TransUNet: dual swin transformer U-Net for medical image segmentation[J]. IEEE Trans Instrum Meas, 2022, 71: 1-15.

[46] He A, Wang K, Li T, et al. H2Former: an efficient hierarchical hybrid transformer for medical image segmentation[J]. IEEE Trans Med Imaging, 2023, 42(9): 2763-75.

[47] Cao H, Wang YY, Chen J, et al. Swin-unet: Unet-like pure transformer for medical image segmentation[C]//European conference on computer vision (ECCV). Cham: Springer Nature Switzerland, 2022: 205-18.

[48] Zhou ZW, Rahman Siddiquee MM, Tajbakhsh N, et al. UNet++: A nested U-Net architecture for medical image segmentation[C]//Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support. Cham: Springer International Publishing, 2018: 3-11.

[49] Zhang ZX, Liu QJ, Wang YH. Road extraction by deep residual U-net[J]. IEEE Geosci Remote Sensing Lett, 15(5): 749-53.

[50] Valanarasu JMJ, Oza P, Hacihaliloglu I, et al. Medical transformer: gated axial-attention for medical image segmentation[C]//Medical Image Computing and Computer Assisted Intervention (MICCAI). Cham: Springer International Publishing, 2021: 36-46.

[51] Chen JN, Lu YY, Yu QH, et al. TransUNet: transformers make strong encoders for medical image segmentation[J]. 2021: 2102. 04306.

[52] Valanarasu JMJ, Patel VM. UNeXt: MLP-based rapid medical image segmentation network[C]//Medical Image Computing and Computer Assisted Intervention (MICCAI). Cham: Springer Nature Switzerland, 2022: 23-33.

[53] Chen G, Li L, Dai Y, et al. AAU-Net: an adaptive attention U-Net for breast lesions segmentation in ultrasound images[J]. IEEE Trans Med Imaging, 2023, 42(5): 1289-300.

[54] Selvaraju RR, Cogswell M, Das A, et al. Grad-CAM: visual explanations from deep networks via gradient-based localization[C]//2017 IEEE International Conference on Computer Vision (ICCV). October 22-29, 2017. Venice. IEEE, 2017: 618-26.

基金资助

RIGHTS & PERMISSIONS

版权所有©《南方医科大学学报》编辑部2021