PRNet:渐进式消减不确定区域的息肉分割网络

PRNet： Progressive Reduction Network for Polyp Segmentation in Uncertain Areas

摘要

由于息肉图像的自动分割病灶区域大小不一和边界模糊，从而导致分割精度较低.针对这两个问题，本文提出先定位后逐步精细的渐进式消减网络（Progressive Reduction Network,PRNet）.该网络采用Res2Net提取病灶区域特征，利用多尺度跨级融合模块将注意融合机制与跨级特征结合，有效应对病灶区域多尺度问题，提升定位准确度.在自上而下恢复图像分辨率的过程中，引入不确定区域处理模块和多尺度上下文感知模块.前者通过设定递减的阈值逐步挖掘息肉边缘信息，增强边缘细节特征的识别能力；后者则进一步探索病灶区域周围潜在的上下文语义，提升模型的整体表征能力.此外，本算法还设计了一个简单的特征过滤模块，用于筛选编码器特征中的有效信息.在Kvasir-SEG、CVC-Clinic和ETIS数据集上的实验结果表明，所提算法的Dice系数分别达到了92.09%、93.05%和74.19%，优于现有的息肉分割算法，展示出了较好的鲁棒性和泛化性.

Abstract

Automatic segmentation of polyp images usually results in low segmentation accuracy due to the various sizes of lesion regions and blurry boundaries. Based on these two perspectives， a novel Progressive Reduction Network （PRNet） is proposed， which first locates polyps and then gradually refines their boundaries. The network utilizes Res2Net to extract features from the lesion region and leverages the multi-scale cross-level fusion module to improve localization accuracy. By combining the attention fusion mechanism with cross-level features in this module， the network can effectively solve the issue of multi-scale lesion areas. Furthermore， PRNet combines an uncertain region processing module and a multi-scale context-aware module when restoring image resolution from top to bottom. The former gradually mines polyp edge information by setting decreasing thresholds to enhance the recognition of edge detail features， while the latter， to improve the overall representation capability of the model， further explores the inherent potential contextual semantics of lesion regions. In addition， a simple feature filtering module is designed in this algorithm to filter the valid information in the encoder features. Experimental results on the Kvasir-SEG， CVC-Clinic， and ETIS datasets show that the Dice coefficients of the algorithm reach 92.09%， 93.05%， and 74.19%， respectively. Compared with other existing polyp segmentation algorithms， PRNet outperforms them and demonstrates its superior robustness and generalization.

Graphical abstract

关键词

医学图像处理 / 息肉分割 / 结肠镜 / 不确定区域 / 多尺度

根据世界卫生组织国际癌症研究机构发布的2020年全球癌症（GLOBOCAN）统计报告^［1］，结直肠癌在世界范围内位居第三，死亡人数位居第二.它一般开始于被称作息肉的小型非肿瘤细胞群.随着时间推移，一些息肉可能会发展为恶性肿瘤，即结直肠癌.因此，定期筛查、分割和切除结直肠息肉是非常重要的.目前，结肠镜检查是发现结直肠息肉的常用方法，通过结肠内镜检查，能够直观地观察到肿瘤的外观以及结肠黏膜的病变情况.但在临床实践中，因为医师的主观判断和操作技巧等原因，四分之一的息肉无法被准确鉴别^［2］.即便息肉能够被准确鉴别，手动分割结直肠息肉仍是一个耗时的操作^［3］.因此，设计一种高效、准确的计算机辅助结直肠息肉分割算法对于减轻医护人员工作，减少医疗差错具有重要意义.

随着深度学习技术在医学图像领域的发展，许多深度卷积网络被应用于结肠镜图像息肉分割中并取得了较好的效果.完全卷积网络^［4］是语义分割中的经典网络，其变体^［5］成功应用在了息肉分割任务中.Jha等提出的ResUNet++^［6］利用U-Net^［7］的U形结构将残差模块^［8］、挤压激励机制^［9］和空洞空间金字塔池化模块^［10］有效结合，在息肉分割数据集上实现了较高的分割精度.虽然上述算法取得了不错的效果，但由于结肠镜图像中的病灶区域具有形状大小各异、与周围正常黏膜组织对比度低的特点，因此精确分割息肉仍是一项具有挑战性的任务.

一些研究鉴于以上难点，提出了相应的解决方法.PraNet^［11］利用部分解码器融合高级语义特征生成全局特征图，并借助反向注意力^［12］通过逐步消除背景中的非目标区域逐步挖掘更精确的边界线索. ACSNet^［13］利用边界信息概率值在0.5左右这一特点来提取边界，约束编码器特征并在解码路径中构建ASM模块融合高级语义特征、低级细节特征和全局上下文特征，减小层级特征之间的语义鸿沟.CCBANet^［14］相比ACSNet对特征信息的提取更为细致，它在每个编码阶段之后，进行全局和局部信息的提取和整合，并将前景信息、背景信息和边缘信息三者融合以达到更好的分割性能.UACANet^［15］则从不确定区域的角度出发，将前景、背景和不确定区域三部分结合共同挖掘息肉的边界信息.通过加入对不确定区域的探索，有效提升了息肉分割的精度.基于此思路，Guo等^［16］通过使不确定区域被突出显示为更多的前景物体同时强行抑制背景中的噪声信息来逐步挖掘边界区域，并进一步提出特征增强结构来应对多尺度病灶区域的问题.

虽然上述算法能够在一定程度上解决息肉分割过程中的难题，但模型在设计过程中仍存在以下几个问题：对于多尺度特征的提取和层级特征之间的融合不够充分，造成一些小息肉的漏分割和较大息肉的误分割；（Convolutional Neural Networks，CNN）编码器利用卷积层提取的多级特征中，存在的大量冗余和干扰信息会影响后续的特征建模；对病灶中不确定区域的探索不足，使得在息肉边界处的分割精度不够理想.

针对上述问题，本文提出一种渐进式消减不确定区域的息肉分割模型PRNet，其能够更准确地定位病灶区域和更精确地分割息肉边缘.为适应结肠镜图像中不同大小的病灶区域，模型将跨级特征与多尺度注意融合机制^［17］（Multi-Scale Channel Attention， MSCA）结合获得全局特征，同时并行使用最大池化和平均池化操作获取注意力权重来对编码特征进行过滤和重定向.随后，将增强注意力和特定阈值结合共同提取息肉边缘，并将这一边缘特征作为引导，进一步探索不确定区域的全局距离依赖关系.最后，应用多尺度上下文感知模块（Multi-scale Contextual Awareness Module， MCAM）挖掘潜在的病灶特征，完善对息肉区域的建模.在多个息肉分割数据集上进行实验验证，结果表明所提模型优于现有的息肉分割算法，并设置消融实验验证了所提模块的有效性.

1 方法

生物学研究^［18］中指出，捕食的过程可以分为三个阶段，即探测、识别和捕获.受这一启发，在进行息肉分割时，同样需要首先确定息肉的大体位置，再逐步精细息肉区域的边缘.因此，本文提出一个包含多尺度跨级融合模块（Multi-scale Cross-level Fusion Module， MCFM）、特征过滤模块（Feature Filter Module， FFM）、不确定区域处理模块（Uncertain area Processing Module， UPM）和MCAM四个功能模块的渐进式消减网络PRNet，总体结构如图1所示.首先将结肠镜息肉图像作为Res2Net^［19］编码网络的输入，逐层卷积提取，得到各级特征f_{\mathrm{1}}、f_{\mathrm{2}}、f_{\mathrm{3}}、f_{\mathrm{4}}和f_{\mathrm{5}}，并通过MCFM提取多种尺度病灶区域的特征，生成初始预测图.其次，将经过过滤模块的特征和预测图以及设定的阈值作为UPM的输入，挖掘病灶区域中的难分割部分并建立空间上下文的长距离依赖关系.最后，MCAM进一步探索病灶区域周围潜在的语义特征，完善特征建模.

1.1 多尺度跨级融合模块

经编码器提取到的各级特征中，低层特征由于其与输入图像相距较近，提取到的特征往往包含较多的细节信息，且分辨率较高，需要较多的计算资源；而高层特征则包含更强的抽象语义信息，可为网络提供更准确的分类和判断信息^［20］.因此，MCFM只使用高层编码特征f_{\mathrm{3}}、f_{\mathrm{4}}和f_{\mathrm{5}}.图2展示了MCFM的详细结构.首先将高层特征送入感受野（Receptive Field， RF）结构中捕获多尺度病灶区域特征，得到f\_r_{\mathrm{3}}、f\_r_{\mathrm{4}}和f\_r_{\mathrm{5}}.由于结肠镜图像中息肉的尺寸大小会有很大的差异，单一感受野往往不能同时捕捉多个尺寸的息肉.为了应对这一问题，本算法将MSCA和部分解码器（Partial Decoder， PD）结合实现跨级融合，以有效挖掘多尺度信息.对f\_r_{\mathrm{3}}具体展开进行描述，f\_r_{\mathrm{5}}和f\_r_{\mathrm{4}}分别上采样4倍和2倍以匹配f\_r_{\mathrm{3}}大小，之后将三者在通道维度上拼接并送入MSCA中.由于MSCA不会改变输入特征的维度，所以之后加入1×1卷积块，重新将通道数变为32.上述过程用公式表示为：

\begin{array}{c}f\_f_{\mathrm{3}}=\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}\left(\mathrm{M}\mathrm{S}\mathrm{C}\mathrm{A}\left(\mathrm{C}\left(\mathrm{u}\mathrm{p}\left(f\_r_{\mathrm{4}}\right),\mathrm{u}\mathrm{p}\left(\mathrm{u}\mathrm{p}\left(f\_r_{\mathrm{5}}\right)\right),f\_r_{\mathrm{3}}\right)\right)\right)\end{array}（1）

式中：\mathrm{u}\mathrm{p}表示将图像的分辨率上采样2倍；\mathrm{C}表示通道维度上的合并拼接操作；\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}表示经过\mathrm{M}\mathrm{S}\mathrm{C}\mathrm{A}之后的卷积恢复通道数操作. f\_f_{\mathrm{4}}同样通过类似的计算得到，f\_f_{\mathrm{5}}即为f\_r_{\mathrm{5}}.最后融合特征f\_f_j(j\in \{\mathrm{3,4},\mathrm{5}\})被送入PD，获得初始分割图S_{\mathrm{g}}.PD整合了三个层次的特征，其中两个是经过MSCA之后的特征f\_f_{\mathrm{4}}和f\_f_{\mathrm{3}}，另一个是f_{\mathrm{5}}经过RF之后的特征f\_f_{\mathrm{5}}.因此，初始分割图S_{\mathrm{g}}可以通过以下方式计算：

S_{\mathrm{g}}=\mathrm{P}\mathrm{D}\left(f\_f_{\mathrm{5}},f\_f_{\mathrm{3}},f\_f_{\mathrm{4}}\right)（2）

MSCA的详细结构如图3所示.MSCA将多尺度与通道注意相结合，是一种基于全局信息和局部信息双利用的自我注意.第一个分支采用全局平均池化来提取全局上下文，它可以保留相对较大息肉的全局位置.第二个分支则保持原始特征的大小来获得局部信息，这可以防止忽略较小的息肉对象.

不同层级特征对于息肉分割任务来说有不同的贡献，因此融合多层级特征能够获得更加全面的特征表示.通过上述的跨级融合，既保留了不同尺寸息肉的特征，又减小了不同层级特征之间的语义差异^［21］.

1.2 特征过滤模块

骨干网络提取到的多尺度特征存在大量冗余信息，并且提取到特征对于各通道的重要程度是相同的，这会导致一些干扰信息影响后续的特征建模.所以，本算法提出FFM解决上述问题，模块细节如图4所示.首先，对来自编码器的特征f_i(i\in \{\mathrm{2,3},\mathrm{4,5}\})分别进行全局平均池化（GAP）和全局最大池化（GMP）操作.一般来说，平均池化能够保留更多的背景信息，而最大池化能够保留更多的纹理细节信息.所以，本算法通过并行操作，最大限度地保留丰富的特征空间信息，减少细节丢失.之后使用共享的一维卷积^［22］和Sigmoid函数归一化注意力权重，得到相对应的通道权重\mathrm{w}\mathrm{e}{\mathrm{i}}^i，公式表示为：

\begin{array}{c}\mathrm{w}\mathrm{e}{\mathrm{i}}^i=\sigma \left(\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}\mathrm{1}\mathrm{d}\left(\mathrm{G}\mathrm{A}\mathrm{P}\left(f_i\right)\right)\oplus \mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}\mathrm{1}\mathrm{d}\left(\mathrm{G}\mathrm{M}\mathrm{P}\left(f_i\right)\right)\right)\end{array}（3）

式中：\sigma表示Sigmoid函数；\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{v}\mathrm{1}\mathrm{d}表示一维卷积；\mathrm{G}\mathrm{A}\mathrm{P}和\mathrm{G}\mathrm{M}\mathrm{P}分别表示全局平均池化和全局最大池化.相比于一般的通道注意力，FFM提取注意力的方式有以下两点不同：一是并行使用全局最大池化和全局平均池化两种操作，能够提取到前景和背景两方面的细节信息；二是使用共享一维卷积代替全连接层，能够较好地探索相邻通道间的依赖关系，且参数设计不受限于特定输入特征的大小.

最后，权重\mathrm{w}\mathrm{e}{\mathrm{i}}^i与输入特征f_i相乘，完成加权，并用1个1×1卷积和3个3×3卷积减小通道数，实现特征重标定.重标定后的特征记为f_i^{\mathrm{\text{'}}}，用公式表示为：

\begin{array}{c}{f}_i^{\mathrm{\text{'}}}=\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}\mathrm{s}\left(\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}\left(f_i\otimes \mathrm{w}\mathrm{e}{\mathrm{i}}^i\right)\right)\end{array}（4）

式中：\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}\mathrm{s}表示多个3×3卷积；\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}表示1×1卷积.

1.3 不确定区域处理模块

对于结肠镜图像中病灶区域边缘模糊的问题，一些研究试图借助边界信息或反向注意力解决.借助边界信息进行引导的网络^［23-24］，通常会引入额外的边缘数据，这对于较为庞大的数据集来说是一项耗时的工作.而使用反向注意力虽然可以获得边界线索，但不可避免地会引入背景中的噪声信息，网络性能也会因此受到限制.受文献［16］的启发，本文从不确定区域的角度出发，从中挖掘边界信息来应对息肉边缘对比度低的问题.

UPM由两部分组成，第一部分是不确定区域提取模块（Uncertain Area Extraction Module， UEM），其目的是尽可能提取出清晰准确的不确定区域，以便从中挖掘病灶边缘；第二部分是不确定区域增强模块（Uncertain Area Improvement Module， UIM），目的是增强模型对不确定区域的建模能力.

1.3.1 不确定区域提取模块

在初始预测结果S_{\mathrm{g}}中，通常由于息肉边缘和周围组织的形态相似，使得S_{\mathrm{g}}边缘部分的分割精度较低.对此，本算法引入增强注意力并使其与上一阶段的预测图P_i相结合（第三、四阶段的UEM除外），以提升S_{\mathrm{g}}的有效性.增强后的预测图记为S_{\mathrm{e}}：

\begin{array}{c}{S}_{\mathrm{e}}=f_{\mathrm{m}\mathrm{a}\mathrm{x}}\left(g\left(S_{\mathrm{g}},\sigma ,\lambda \right),\mathrm{S}\mathrm{i}\mathrm{g}\mathrm{m}\mathrm{o}\mathrm{i}\mathrm{d}\left(S_{\mathrm{g}}\right)\right)\end{array}\oplus P_i（5）

式中：g\left(\cdot \right)是一个经典的滤波器函数，标准偏差\sigma=32，核大小\lambda=4，之后进行归一化操作；f_{\mathrm{m}\mathrm{a}\mathrm{x}}(.)为最大值函数，用于突出S_{\mathrm{g}}区域；\oplus表示按元素相加操作.本算法将S_{\mathrm{e}}看作两部分，一部分是由那些明确属于前景构成的确定性区域，其他则为不确定区域.具体来说，将大于{\mu }_i的像素赋值为0，即将明确属于前景的像素区域不予考虑，剩余部分即为不确定区域，对不确定区域利用表达式（7）增强.具体过程如图5（a）所示，公式表示如下：

（6）

\begin{array}{c}{S}_{{\mathrm{u}}^{\text{'}}}^i=\mathrm{1}-\frac{\mathrm{a}\mathrm{b}\mathrm{s}\left(S_{\mathrm{u}}^i-\mathrm{0.5}\right)}{\mathrm{0.5}}\end{array}（7）

3.3节中对{\mu }_i的设置进行了对比实验，本算法{\mu }_i采用｛0.75，0.75，0.7，0.7｝.图5（b）是使用文献［13］中的方法提取的不确定区域，对比图5（a）和图5（b）发现，本文提出的方法提取出更加清晰的息肉边界的同时增强了其中的不明显区域，为之后的上下文信息探索提供更好的基础.

1.3.2 不确定区域增强模块

通过之前的工作UEM和FFM，获得了息肉图像中不易判别的区域S_{\mathrm{u}\mathrm{\text{'}}}^i和有价值的编码特征f_i^{\mathrm{\text{'}}}.二者共同作为UIM的输入，其中S_{\mathrm{u}\mathrm{\text{'}}}^i作为引导特征，用以探索f_i^{\mathrm{\text{'}}}中较难分割的区域.具体如图6所示，使S_{\mathrm{u}\mathrm{\text{'}}}^i和f_i^{\mathrm{\text{'}}}按元素相乘并接上3×3卷积和跳跃连接，从而增强网络对分割过程中不确定区域的建模能力.之后为了进一步建立病灶完整区域的长距离依赖，并考虑到模型大小，使用两次十字交叉注意力^［25］来获得像素之间的全局关系，最终得到UIM的输出f_{\mathrm{u}}^i，这一过程用公式表示为：

\begin{array}{c}\begin{array}{c}{f}_{\mathrm{u}}^i=\mathrm{C}\mathrm{C}\mathrm{A}\left(\mathrm{C}\mathrm{C}\mathrm{A}\left(f_{\mathrm{e}}^i\oplus \mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}\left(S_{\mathrm{u}\mathrm{\text{'}}}^i\otimes f_i^{\mathrm{\text{'}}}\right)\right)\right)\end{array}\end{array}（8）

式中：\mathrm{C}\mathrm{C}\mathrm{A}表示十字交叉注意力；\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}表示3×3卷积.

UEM和UIM的紧密配合，增强了模型对病灶区域中难分割部分的建模能力，并通过自上而下设置的递减阈值，逐步缩小了不确定区域的范围，进而挖掘出息肉的边界信息.

1.4 多尺度上下文感知模块

为缓解各层级特征之间的语义差异并继续挖掘病灶区域周围隐藏的上下文信息，提出MCAM.本文在文献［26］对于多尺度融合探索的基础上，以本级UPM的输出和上一级UPM或MCAM的输出作为该模块的输入，结构如图7所示.下面以f_{\mathrm{u}}^{\mathrm{4}}和f_{\mathrm{u}}^{\mathrm{5}}举例进行说明.首先使f_{\mathrm{u}}^{\mathrm{5}}上采样到f_{\mathrm{u}}^{\mathrm{4}}大小，并使二者相乘，以深层特征指导浅层特征语义表达，同时使用残差连接保留本级特征信息.之后将重新建模后的f_{\mathrm{u}}^{\mathrm{4}}与f_{\mathrm{u}}^{\mathrm{5}}拼接、卷积，得到初始聚合特征f_{\mathrm{a}}.

在挖掘目标区域潜在上下文语义信息时，文 献［27］中提出使用1×1卷积缩小通道数，并通过级联4个分支进行不同感受野的特征搜索.考虑到使用1×1卷积进行直接降维，会不可避免地丢失一些信息.因此本算法将通道数分为4组\{f_{\mathrm{a}}^{\mathrm{1}},f_{\mathrm{a}}^{\mathrm{2}},f_{\mathrm{a}}^{\mathrm{3}},f_{\mathrm{a}}^{\mathrm{4}}\}，每一组采用大小不同的空洞速率进行学习.并考虑到每组之间的通道语义相关性，使用密集连接的方式融合多个尺度的信息，从而得到多尺度特征\{f_{\mathrm{a}}^{\mathrm{1}\mathrm{\text{'}}},f_{\mathrm{a}}^{\mathrm{2}\mathrm{\text{'}}},f_{\mathrm{a}}^{\mathrm{3}\mathrm{\text{'}}},f_{\mathrm{a}}^{\mathrm{4}\mathrm{\text{'}}}\}，用公式表述为：

f_{\mathrm{a}}^{j\mathrm{\text{'}}}=\left\{\begin{array}{cc}\mathrm{C}\mathrm{o}\mathrm{n}{\mathrm{v}}^r\left(f_{\mathrm{a}}^{j+\mathrm{1}}\oplus f_{\mathrm{a}}^j\right),& j=\mathrm{1}\\ \mathrm{C}\mathrm{o}\mathrm{n}{\mathrm{v}}^r\left(\left({\displaystyle \sum _{m=\mathrm{1}}^{j-\mathrm{1}}}{f}_{\mathrm{a}}^{m\mathrm{\text{'}}}\right)\oplus f_{\mathrm{a}}^{j+\mathrm{1}}\oplus f_{\mathrm{a}}^j\right),& j\in \{\mathrm{2,3}\}\\ \mathrm{C}\mathrm{o}\mathrm{n}{\mathrm{v}}^r\left(\left({\displaystyle \sum _{m=\mathrm{1}}^{j-\mathrm{1}}}{f}_{\mathrm{a}}^{m\mathrm{\text{'}}}\right)\oplus f_{\mathrm{a}}^j\right),& j=\mathrm{4}\end{array}\right\}（9）

式中：\mathrm{C}\mathrm{o}\mathrm{n}{\mathrm{v}}^r表示卷积核为3×3，空洞速率为r的空洞卷积，r\in \left\{\mathrm{1,2},\mathrm{3,4}\right\}.最后将分支特征f_{\mathrm{a}}^{j\mathrm{\text{'}}}拼接得到f_{\mathrm{a}}^{\mathrm{\text{'}}}，并经过1×1卷积、残差连接和3×3卷积，得到MCAM的最终输出.公式表示为：

f_{\mathrm{c}}^{\mathrm{4}}=\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}\mathrm{3}\left(f_{\mathrm{a}}\oplus \mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}\mathrm{1}\left(\complement \left(f_{\mathrm{a}}^{j\mathrm{\text{'}}}\right)\right)\right)（10）

式中：\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}\mathrm{3}和\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}\mathrm{1}分别表示3×3卷积和1×1卷积，\complement表示拼接操作.最终，为了得到各级预测图P_i(i\in \{\mathrm{1,2},\mathrm{3}\})，对各级MCAM的输出f_{\mathrm{c}}^i使用1×1卷积将通道数缩减为1.

2 数据来源与实验细节

2.1 数据集设置

数据集：本算法在3个息肉分割数据集上进行了评估：ETIS^［28］、CVC-Clinic^［29］和Kvasir-SEG^［30］.其中，ETIS包含196张息肉图像，分辨率为1 255×966，常用于结直肠癌的早期诊断.CVC-Clinic又称CVC-612，包括来自31个结肠镜检查片段的612张开放性图像，分辨率均为384×288.Kvasir-SEG是一个具有挑战性的数据集，包含1 000张图像，分辨率不等.

实验中对Kvasir-SEG和CVC-Clinic两个数据集进行随机划分，80%用于训练，10%用于验证，10%用于测试模型的学习能力.另外ETIS同样被用作测试集，用于测试模型的泛化能力.

2.2 损失函数设计

本算法使用的损失函数为L=L_{\mathrm{I}\mathrm{o}\mathrm{U}}^{\mathrm{w}}+L_{\mathrm{B}\mathrm{C}\mathrm{E}}^{\mathrm{w}}，其中L_{\mathrm{I}\mathrm{o}\mathrm{U}}^{\mathrm{w}}代表加权的IoU损失，L_{\mathrm{B}\mathrm{C}\mathrm{E}}^{\mathrm{w}}代表二进制交叉熵损失，前者提供全局性的监督而后者重点关注像素级的损失.两种损失都更加关注难分类像素，对难分类像素分配较大权重.初始分割图S_{\mathrm{g}}和三个侧输出P_i(i\in \left\{\mathrm{1,2},\mathrm{3}\right\})均上采样恢复到原分辨率，并和Ground-Truth采用上述损失函数进行深度监督.因此，损失函数表述为：

L_{\mathrm{t}\mathrm{o}\mathrm{t}\mathrm{a}\mathrm{l}}=\lambda L\left(S_{\mathrm{g}}^{\mathrm{u}\mathrm{p}},G\right)+{\sum }_{i=\mathrm{1}}^{\mathrm{3}}L\left(P_i^{\mathrm{u}\mathrm{p}},G\right)（11）

式中：\lambda是一个平衡参数，本算法设定为3.

2.3 实施细节和评估指标

本文提出的PRNet基于PyTorch框架实现，并使用NVIDIA Geforce RTX 3080 GPU进行训练.输入模型的图像统一调整为224×224分辨率，并通过随机水平翻转和垂直翻转进行增强.使用在ImageNet上预训练的Res2Net50模型初始化编码器网络参数，其他层随机初始化.使用多尺度训练策略｛1，1.5｝进行模型训练^［31］，Adam优化器^［32］进行损失优化，批次规模设置为8，迭代次数设置为60.学习率初始化为1e-4，采用poly策略进行学习率的调整，power为0.9.

采用8个广泛使用的评估指标评估模型性能，包括“准确率”（Acc）、 “Dice系数”（Dice）、“召回率”（Rec）、“查准率”（Prec）、 “息肉交并比”（IoUp）、“背景交并比”（IoUb）、“平均交并比”（Mean Intersection over Union，mIoU）、“平均绝对误差”（Mean Absolute Error， MAE）.评估指标定义如式（12）所示.

\mathrm{A}\mathrm{c}\mathrm{c}=\frac{\mathrm{T}\mathrm{P}+\mathrm{T}\mathrm{N}}{\mathrm{T}\mathrm{P}+\mathrm{T}\mathrm{N}+\mathrm{F}\mathrm{P}+\mathrm{F}\mathrm{N}}

\mathrm{D}\mathrm{i}\mathrm{c}\mathrm{e}=\frac{\mathrm{2}\times \mathrm{T}\mathrm{P}}{\mathrm{2}\times \mathrm{T}\mathrm{P}+\mathrm{F}\mathrm{P}+\mathrm{F}\mathrm{N}}

\mathrm{I}\mathrm{o}\mathrm{U}\mathrm{p}=\frac{\mathrm{T}\mathrm{P}}{\mathrm{T}\mathrm{P}+\mathrm{F}\mathrm{P}+\mathrm{F}\mathrm{N}}

\mathrm{I}\mathrm{o}\mathrm{U}\mathrm{b}=\frac{\mathrm{T}\mathrm{N}}{\mathrm{T}\mathrm{N}+\mathrm{F}\mathrm{P}+\mathrm{F}\mathrm{N}}

\mathrm{m}\mathrm{I}\mathrm{o}\mathrm{U}=\left(\mathrm{I}\mathrm{o}\mathrm{U}\mathrm{p}+\mathrm{I}\mathrm{o}\mathrm{U}\mathrm{b}\right)/\mathrm{2}

\mathrm{P}\mathrm{r}\mathrm{e}\mathrm{c}=\frac{\mathrm{T}\mathrm{P}}{\mathrm{T}\mathrm{P}+\mathrm{F}\mathrm{P}}

\mathrm{R}\mathrm{e}\mathrm{c}=\frac{\mathrm{T}\mathrm{P}}{\mathrm{T}\mathrm{P}+\mathrm{F}\mathrm{N}}

\mathrm{M}\mathrm{A}\mathrm{E}=\frac{\mathrm{1}}{w\times h}{\displaystyle \sum _x^w}{\displaystyle \sum _y^h}\left|P\left(x,y\right)-G\left(x,y\right)\right|（12）

式中：TP、TN、FP和FN均在像素级别上定义，分别代表真阳性、真阴性、假阳性和假阴性的数量；w、h分别为图像的宽和高；P\left(x,y\right)和G\left(x,y\right)分别表示预测结果和真实标签中（x，y）处的值.Acc指被正确分类的像素的百分比，该指标易受类别不均衡的影响.Prec表示预测结果为阳性中真阳性所占的比例；Rec则关注真实标签被正确预测的概率.指标IoU和Dice衡量预测结果与真实标签之间的相似度.其中，IoUp和IoUb分别代表网络模型对于前景像素和背景像素的分类准确度.当二者差异较大时（通常发生在息肉与周围黏膜相似度较高的场景），单一指标难以评估网络模型的分割效果.相比之下，mIoU能够更加客观地展示网络性能.Dice系数在评估小目标的分割性能方面更具表现力.MAE通过计算预测值与真实标签之间距离的平均值来评估像素级精度.前7个指标数值越高越好，最后一个指标MAE，其值越小，表明预测值与真实值越吻合.

3 实验结果与分析

为了证明PRNet对于结肠镜图像中息肉分割的有效性，将其与7种目前最具代表性的医学图像分割方法进行学习能力和泛化能力的比较，包括U-Net、U-Net++^［33］、PraNet、ACSNet、HarD-MSEG^［34］、UACANet、LDNet^［35］.为了公平比较，所有实验均在相同条件下进行，所有预测结果都由开放源代码重新训练产生.

3.1 学习能力分析

如表1和表2所示，PRNet在Kvasir-SEG和CVC-Clinic数据集上都取得最好结果.在Kvasir-SEG数据集上，PRNet达到92.09%的相似性系数和92.20%的平均交并比，同时在CVC-Clinic数据集上Dice系数和mIoU分别为93.05%和93.61%.这表明PRNet具有更强大的学习能力，可以在复杂情况下精确地分割息肉.

图8展示了PRNet与其他7种模型在Kvasir-SEG和CVC-Clinic数据集上一些复杂情况下的视觉分割结果.可以观察到：1）当息肉与周围黏膜组织易于区分时（第一行、第三行），U-Net、U-Net++、PraNet和HarD-MSEG不能精准地定位息肉，出现分割结果内部不连续、错分割现象；而ACSNet和LDNet能有效地分割出病变区域，但病灶内有明显的伪影；2）当息肉与周围黏膜组织极为相似时（第二行、第六行），前6种模型均未能正确识别出息肉，出现了分割过度和分割缺失的情况；而PRNet在前景和背景具有极大相似性的情况下，仍然能够正确定位图像中的息肉区域，说明PRNet具有更强的息肉特征建模能力；3）总体上，PRNet能够应对结肠镜中息肉尺寸差异大的情况，这主要得益于模型中使用的多尺度特征融合策略，使得模型具有多个感受野，能够捕捉到大小不等的息肉.

3.2 泛化能力分析

为了适应临床场景中不同类型的息肉，需要检测模型对未知数据的预测能力.表3列出了在ETIS数据集上各模型的评估结果.由表3数据可以看出，PRNet在ETIS数据集上取得了最优结果，Dice系数和平均交并比为74.19%和82.66%，表明PRNet在未知数据上的泛化能力较强，相比其他模型更能够提取出病灶区域的一般化特征.

3.3 消融实验分析

为了验证各模块的有效性，在数据集Kvasir-SEG和ETIS上进行消融实验，结果如表4所示.基线模型（B），删除了所有附加模块（即MCFM、FFM、UPM和MCAM），只保留了FFM中Reduce Channel的1×1卷积以减少通道数，以及MCAM中基础的拼接操作.

首先，与基线模型相比，使用FFM在Kvasir-SEG和ETIS数据集上Dice系数分别提升了2.20%和8.32%.这表明对编码特征进行重标定是有效的，减少了冗余和干扰信息对特征建模的影响.其次，对比第一行、第三行的实验结果，使用MCFM在两个数据集上 Dice系数有明显的提高，分别提高了1.45%和8.61%，验证了MCFM能有效地聚焦图像中的病灶区域，从不同尺度捕获息肉特征，进而提升分割精度.再次，通过将UPM引入B+MCFM模型来验证UPM的有效性.对比第三行和第四行结果可以发现，B+MCFM+UPM模型取得了更好的整体性能，在测试的2个数据集上所有指标均有一定程度的提升，特别是Dice系数在ETIS数据集上提升了1.98%.这表明使用UPM对不确定区域进行提取并建立病灶区域的长期依赖关系对提升分割病灶区域的准确度和稳定性是有帮助的.最后，为了验证MCAM的有效性，将基线模型中使用的简单通道拼接换为MCAM中的具体结构.通过对比第一行和第五行的结果，Dice系数在Kvasir-SEG数据集提升了1.73%.这表明MCAM能减少解码过程中层级特征之间的语义差异，同时能够挖掘出病灶区域周围潜在的上下文语义信息，从而更好地实现模型对病灶区域的建模.

另外，对于UPM中的阈值设置也进行了对比实验，结果如表5所示.由表中结果可以看到，第一组｛0.8，0.75，0.7，0.65｝虽然在Kvasir-SEG数据集上取得了和本模型选取的｛0.75，0.75，0.7，0.7｝最为接近的结果，但其在ETIS数据集上相较于｛0.75，0.75，0.7，0.7｝结果相差较大.这说明第一组的阈值设置只学习到了训练集中的一些数据特点，但对未知数据的概括能力较差.所以，在阈值选择上，本算法选择｛0.75，0.75，0.7，0.7｝.

4 结 论

本文提出一个通过渐进式消减不确定区域提升息肉分割精度的模型PRNet.PRNet包含多尺度跨级融合模块、特征过滤模块、不确定区域处理模块和多尺度上下文感知模块四部分.首先，借助多尺度跨级融合模块整合注意融合机制和多尺度特征，解决单一感受野难以同时捕捉不同大小息肉的难题.其次，通过特征过滤模块提取有价值的信息并与多尺度跨级融合模块的输出一起作为不确定区域处理模块的输入，并自上而下设置递减的阈值，逐步增强对病灶区域边缘的特征提取和特征以建模能力，解决息肉边界分割准确度低的难题.最后，多尺度上下文感知模块融合相邻层级特征缩小语义鸿沟，并结合多尺度感受野共同探索目标区域潜在的上下文语义信息.在Kvasir-SEG和CVC-Clinic数据集上的实验结果表明，PRNet相比其他模型具有更强的学习能力，能够在病灶区域边缘模糊的情况下实现精准分割；在ETIS数据集上，PRNet相比其他7种分割算法在Dice系数上有所提升，7种算法系数不同，表明所提算法具有更好的泛化能力.

由于肺部感染分割任务与结直肠息肉分割面临的挑战类似，所以未来会进一步将PRNet迁移到肺部感染分割任务上，观察PRNet在其他数据上的特征学习和泛化能力，在此基础上优化边界提取，进一步提升在病灶区域边缘处的分割精度.

参考文献

[1] SUNG H， FERLAY J， SIEGEL R L，et al ．Global cancer statistics 2020：GLOBOCAN estimates of incidence and mortality worldwide for 36 cancers in 185 countries［J］．CA：a Cancer Journal for Clinicians，2021，71（3）：209-249．

[2] LEUFKENS A M， VAN OIJEN M G H， VLEGGAAR F P，et al ．Factors influencing the miss rate of polyps in a back-to-back colonoscopy study［J］．Endoscopy，2012，44（5）：470-475．

[3] LI Q L， YANG G Y， CHEN Z W，et al ．Colorectal polyp segmentation using a fully convolutional neural network［C］//2017 10th International Congress on Image and Signal Processing，BioMedical Engineering and Informatics （CISP-BMEI）．Shanghai，China： IEEE，2017：1-5．

[4] SHELHAMER E， LONG J， DARRELL T ．Fully convolutional networks for semantic segmentation［J］．IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（4）：640-651．

[5] BRANDAO P， MAZOMENOS E， CIUTI G，et al ．Fully convolutional neural networks for polyp segmentation in colonoscopy［C］//SPIE Proceedings， Medical Imaging 2017 ： Computer-Aided Diagnosis． Orlando， Florida， USA．SPIE，2017．

[6] JHA D， SMEDSRUD P H， RIEGLER M A，et al ．ResUNet：an advanced architecture for medical image segmentation［C］//2019 IEEE International Symposium on Multimedia （ISM）．San Diego，CA，USA： IEEE，2019：225-232．

[7] RONNEBERGER O， FISCHER P， BROX T. U-net： convolutional networks for biomedical image segmentation［C］//International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham： Springer，2015：234-241．

[8] HE K M， ZHANG X Y， REN S Q，et al ．Deep residual learning for image recognition［C］//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）．Las Vegas， NV， USA： IEEE， 2016： 770-778．

[9] HU J， SHEN L， ALBANIE S，et al ．Squeeze-and-excitation networks［J］．IEEE Transactions on Pattern Analysis and Machine Intelligence，2020，42（8）：2011-2023．

[10] CHEN L C， ZHU Y K， PAPANDREOU G，et al ．Encoder-decoder with atrous separable convolution for semantic image segmentation［C］//Computer Vision-ECCV 2018：15th European Conference，Munich，Germany， September 8–14，2018 ，Proceedings，Part VII. ECOCV， ACM，2018：833-851．

[11] FAN D P， JI G P， ZHOU T，et al ．PraNet：parallel reverse attention network for polyp segmentation［C］//International Conference on Medical Image Computing and Computer-Assisted Intervention．Cham：Springer，2020：263-273．

[12] CHEN S H， TAN X L， WANG B，et al ．Reverse attention for salient object detection［C］//European Conference on Computer Vision．Cham：Springer，2018：236-252．

[13] ZHANG R F， LI G B， LI Z，et al ．Adaptive context selection for polyp segmentation［C］//International Conference on Medical Image Computing and Computer-Assisted Intervention．Cham：Springer，2020：253-262．

[14] NGUYEN T C， NGUYEN T P， DIEP G H，et al ．CCBANet：cascading context and balancing attention for polyp segmentation［C］//International Conference on Medical Image Computing and Computer-Assisted Intervention．Cham：Springer，2021：633-643．

[15] KIM T， LEE H， KIM D ．UACANet：uncertainty augmented context attention for polyp segmentation［C］//Proceedings of the 29th ACM International Conference on Multimedia．October 20-24， 2021. Virtual Event，China： ACM， 2021： 2167-2175．

[16] GUO Q Q， FANG X Y， WANG L B，et al ．Polyp segmentation of colonoscopy images by exploring the uncertain areas［J］．IEEE Access，2022，10：52971-52981．

[17] DAI Y M， GIESEKE F， OEHMCKE S，et al ．Attentional feature fusion［C］//2021 IEEE Winter Conference on Applications of Computer Vision （WACV）．Waikoloa，HI，USA： IEEE，2021：3559-3568．

[18] HALL J R， CUTHILL I C， BADDELEY R，et al ．Camouflage，detection and identification of moving targets［J］．Proceedings Biological Sciences，2013，280（1758）：20130064．

[19] GAO S H， CHENG M M， ZHAO K，et al ．Res2Net：a new multi-scale backbone architecture［J］．IEEE Transactions on Pattern Analysis and Machine Intelligence，2021，43（2）：652-662．

[20] WU Z， SU L， HUANG Q M ．Cascaded partial decoder for fast and accurate salient object detection［C］//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）．Long Beach，CA，USA： IEEE，2019：3902-3911．

[21] CHEN Z Y， XU Q Q， CONG R M，et al ．Global context-aware progressive aggregation network for salient object detection［J］．Proceedings of the AAAI Conference on Artificial Intelligence，2020，34（7）：10599-10606．

[22] WANG Q L， WU B G， ZHU P F，et al ．ECA-net：efficient channel attention for deep convolutional neural networks［C］//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）．Seattle，WA，USA． IEEE，2020：11531-11539．

[23] MURUGESAN B， SARVESWARAN K， SHANKARANARAYANA S M，et al ．Psi-Net：shape and boundary aware joint multi-task deep network for medical image segmentation［C］//2019 41st Annual International Conference of the IEEE Engineering in Medicine and Biology Society （EMBC）. Berlin，Germany： IEEE， 2019： 7223-7226．

[24] FANG Y Q， ZHU D L， YAO J H，et al ．ABC-net：area-boundary constraint network with dynamical feature selection for colorectal polyp segmentation［J］．IEEE Sensors Journal，2021，21（10）：11799-11809．

[25] HUANG Z L， WANG X G， HUANG L C，et al ．CCNet：criss-cross attention for semantic segmentation［C］//2019 IEEE/CVF International Conference on Computer Vision （ICCV）．Seoul，Korea （South）： IEEE，2019：603-612．

[26] 朱新山，卢俊彦，甘永东，等 ．融合多尺度特征与多分支预测的多操作检测网络［J］．湖南大学学报（自然科学版），2023， 50（8）：94-105．

[27] ZHU X S， LU J Y， GAN Y D，et al ．Multi-manipulation detection network combining multi-scale feature and multi-branch prediction［J］．Journal of Hunan University （Natural Sciences），2023，50（8）：94-105．（in Chinese）

[28] MEI H Y， LIU Y Y， WEI Z Q，et al ．Exploring dense context for salient object detection［J］．IEEE Transactions on Circuits and Systems for Video Technology，2022，32（3）：1378-1389．

[29] SILVA J， HISTACE A， ROMAIN O，et al ．Toward embedded detection of polyps in WCE images for early diagnosis of colorectal cancer［J］．International Journal of Computer Assisted Radiology and Surgery，2014，9（2）：283-293．

[30] BERNAL J， SÁNCHEZ F J， FERNÁNDEZ-ESPARRACH G，et al ．WM-DOVA maps for accurate polyp highlighting in colonoscopy：validation vs．saliency maps from physicians［J］．Computerized Medical Imaging and Graphics，2015，43：99-111．

[31] JHA D， SMEDSRUD P H， RIEGLER M A，et al ．Kvasir-SEG：a segmented polyp dataset［C］//International Conference on Multimedia Modeling．Cham：Springer，2020：451-462．

[32] ZHENG D H， ZHENG X C， YANG L T，et al ．MFFN：multi-view feature fusion network for camouflaged object detection［C］//2023 IEEE/CVF Winter Conference on Applications of Computer Vision （WACV）．Waikoloa，HI，USA： IEEE，2023：6221-6231．

[33] KINGMA D P， BA J ．Adam：a method for stochastic optimization［J］．ArXiv e-Prints，2014：arXiv：1412.6980．

[34] ZHOU Z W， SIDDIQUEE M M R， TAJBAKHSH N，et al ．UNet++：a nested U-net architecture for medical image segmentation［J］．Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support：4th International Workshop，DLMIA 2018，and 8th International Workshop，ML-CDS 2018，Held in Conjunction with MICCAI 2018，Granada，Spain： 2018，11045：3-11．

[35] HUANG C H， WU H Y， LINY L.HarDNet-MSEG： a simple encoder-decoder polyp segmentation neural network that achieves over 0.9 Mean Dice and 86 FPS［J］， 2021.

[36] ZHANG R F， LAI P W， WAN X，et al ．Lesion-aware dynamic kernel for Polyp segmentation［M］//Lecture Notes in Computer Science．Cham：Springer Nature Switzerland，2022：99-109．

基金资助

国家自然科学基金资助项目（62005045）; 教育部产学合作协同育人项目（220702278135421）