基于边缘融合和多尺度特征增强的结肠癌腺体分割网络

Colon Cancer Gland Segmentation Network Based on Edge Fusion and Multi Scale Feature Enhancement

摘要

在组织病理切片中， 腺体的形态学特征是诊断结肠癌的重要依据， 准确的腺体分割能够帮助医生进行癌症分级。然而， 由于恶性腺体形态各异且边缘模糊， 现有分割方法较少直接关注边缘特征， 导致在恶性病例中的分割效果不理想。针对现有方法在恶性腺体边缘分割中的局限性， 本文提出了一种融合边缘信息与多尺度特征的增强网络（BFMSE-Net）， 旨在提升结肠癌腺体的分割精度。该网络在U-net的基础上， 增加了边缘融合模块（BFM）和多尺度增强模块（MSEM）。边缘融合模块不仅提取并强化了边缘特征， 还通过先进的特征融合策略， 显著提升了对边缘模糊及粘连腺体的分割能力； 多尺度增强模块则自适应地捕获感兴趣区域中最佳感受野的信息， 以处理腺体大小和形状显著变化的复杂情况。实验结果表明， 该网络能够检测出清晰的腺体轮廓。在GlaS挑战赛数据集和CRAG数据集上， 形状相似度指标分别为74.586和61.572， 相较于最先进的方法分别提升了10.17%和85.19%。此外， BFMSE-Net的F\mathrm{1}分数达到了92.3%和83.9%， Dice系数达到了91.4%和85.3%， 均优于现有模型。所提出的BFMSE-Net在两个公开数据集中表现稳定， 对边缘模糊的恶性腺体和边缘粘连的腺体具有较好的分割效果， 其远高于现有模型的形状相似度能够辅助医生更好地诊断结肠癌病情。

Abstract

In histopathological sections， the morphological characteristics of glands are an important basis for diagnosing colon cancer， and accurate gland segmentation can help doctors classify cancer. However， due to the diverse shapes and blurred edges of malignant glands， existing segmentation methods rarely directly focus on edge features， resulting in unsatisfactory segmentation results in malignant cases. In response to the limitations of existing methods in malignant gland edge segmentation， this study proposed an enhanced network （BFMSE Net） that integrated edge information and multi-scale features， aiming to improve the segmentation accuracy of colon cancer glands. This network added edge fusion module （BFM） and multi-scale enhancement module （MSEM） on the basis of U-net. The edge fusion module not only extracted and enhanced edge features， but also significantly improved the segmentation ability of edge blur and adhesive glands through advanced feature fusion strategies； The multi-scale enhancement module adaptively captured the information of the best receptive field in the region of interest to handle complex situations with significant changes in glandular size and shape. The experimental results indicate that the network can detect clear glandular contours. On the GlaS Challenge dataset and CRAG dataset， the shape similarity metrics are 74.586 and 61.572， respectively， which improves by 10.17% and 85.19% compared to state-of-the-art methods. In addition， the F\mathrm{1} scores of BFMSE Net reaches 92.3% and 83.9%， and the Dice coefficients reaches 91.4% and 85.3%， both of which are better than existing models. The proposed BFMSE Net performs stably in two publicly available datasets and has good segmentation performance for malignant glands with blurred edges and glands with edge adhesions. Its shape similarity is much higher than that of existing models， which can assist doctors in better diagnosing colon cancer.

Graphical abstract

关键词

多尺度特征 / 结肠癌 / 腺体分割 / 医学图像处理

Key words

multi-scale feature / colon cancer / gland segmentation / medical image processing

0 引　言

结肠癌作为全球范围内常见且致死率高的恶性肿瘤之一^［1］， 其病理诊断依赖于对组织病理切片中腺体形态特征的精确分析^［2］。这一分析过程不仅耗时， 而且对病理医师的技能要求极高^［3‐4］。对于病理医师而言是一项耗时且复杂的任务。随着计算病理学的快速发展， 自动化的腺体分割算法应运而生^［5‐9］， 旨在辅助病理医师减轻工作负担， 提高诊断的准确性和效率。

现有的基于卷积神经网络的分割方法已取得显著进展， 如全卷积网络（Fully Convolutional Networks， FCN）和U-net等^{［10‐14］}， 其中编码解码结构的全卷积网络（FCN）应用最广泛， FCN可以充分利用卷积操作提取图像的特征信息， 进而实现像素级别的分割， 在医学图像分割任务中取得了很好的效果^{［15‐18］}。在FCN的基础上， U-net^［11］则进一步引入跳跃连接来融合不同级别的语义信息， 以提高分割的准确性。为了获得更好的腺体分割结果， 诸多方法在U-net和FCN的基础上使用不同的策略来利用轮廓信息和多尺度模块进行分割^{［19‐23］}。表 1 显示， 在编解码结构中采用双路径的策略， 同时完成边缘预测与分割任务对良性腺体有较好的效果^{［19‐20］}， 但是利用解码器恢复高分辨率图像， 边缘精度不够理想， 导致恶性腺体的边缘表示不佳。为了处理边缘问题， 将边缘、 前景与背景三分类的方法进行通道融合可以得到较好的最终结果^［21-22］， 此类方法虽然考虑了边界， 但是预测精细的边缘需要比腺体内部更强的约束， 并且需要手动调整参数的后处理操作。总体而言， 以往的方法在提取图像特征信息和像素级分割方面表现出色， 但在处理恶性腺体边缘模糊和形态多变性方面仍存在局限。此外， 现有算法在直接关注边缘像素值判别问题上的投入不足， 且在利用多尺度特征信息时往往忽视了特征之间的空间关系。一些工作如ASPP^［14］， PSPNET^［9］利用不同空洞率的空洞卷积可以提取不同尺度的信息， 但是忽略了特征之间的空间关系。

近年来， 有的研究利用分层注意力或者大核卷积来提升感受野^{［15‐18］}， 但是面对模糊边缘大小不同的腺体时， 效果不佳。因此， 自动且精准的腺体分割仍然面临以下挑战： 1） 随着癌症分级的提高， 腺体边缘的细胞核排列紊乱无序， 边缘像素稀疏分布造成了边界模糊问题。2） 在单个切片中存在大量腺体， 很多腺体的间隙过小， 使腺体间的边界区分困难。3） 不同分化等级的腺体大小不同以及形状有巨大的差异。

针对这些挑战， 本研究提出了一种基于边缘融合和多尺度特征增强的结肠癌腺体分割网络（BFMSE-Net）。本网络在U-net架构的基础上， 引入了边缘融合模块（BFM）和多尺度增强模块（MSEM）， 旨在通过增强边缘特征和自适应地捕获感兴趣区域中最佳感受野的信息， 从而显著提升对恶性腺体的分割效果。基于固定编解码器的U-net^［11］广泛应用于各种图像分割任务中， 但由于有限的反向传播路径， 无法均衡地分割形态差异巨大的对象^［27］， 并且利用低层次特征图恢复图像细节会引入背景的杂乱信息， 导致腺体边缘信息丢失。因此， 为了避免边缘信息被其他杂乱信息污染， BFMSE-Net引入BFM来专注学习边缘特征， 其使用少量的参数形成额外的边缘分支。首先， 该分支生成边缘激活图， 对编码器的特征重新加权， 在边缘周围形成密集表示； 其次， 构建MSEM从不同感受野的信息中自适应地选取感兴趣的空间区域特征， 从而能够在全局空间中选取具有代表性的信息； 最后， 为了能使边缘融合模块专注于边缘信息， 使用带有β系数^［21］的语义分割损失来监督边缘激活图。

通过在Glas和CRAG两个公开数据集上的实验验证， BFMSE-Net在形状相似度、 F\mathrm{1}分数和Dice系数等评价指标上均优于现有模型， 显示出对边缘模糊和粘连腺体具有较好的分割效果。本研究的创新之处在于， 它不仅提高了分割精度， 还为病理医师提供了一种更为高效和可靠的辅助诊断工具。

1 相关工作

1.1 医学图像分割的U⁃net及其改进网络

U-net架构由Ronneberger等^［11］在2015年提出， 作为医学图像分割领域的一项突破性进展， U-net通过在全卷积网络（FCN）的基础上引入跳跃连接， 有效保留了目标对象的位置信息， 并实现了不同层次语义信息的融合。这一设计特别适用于小样本数据集， 能够获得高质量的分割结果。随着研究的深入， Zhou等^［13］在2018年提出了U-net++， 通过增加额外的连接， 进一步细化了特征融合过程。同年， Xiao等^［28］受残差连接的启发， 提出了Res-Unet， 该模型通过引入残差连接和注意力机制， 增强了对图像细节的捕捉能力。Jha等^［29］在2020年提出的Double-Unet则采用了双编码器和双解码器结构， 并集成了ASPP模块， 显著提升了模型的泛化性能。

1.2 基于边缘信息的腺体分割

边缘信息对于腺体的精确分割至关重要^{［17‐23，25，30-33］}。在2015年的Glas挑战赛中， Chen等^［19］提出的DCAN利用双路径策略来同时预测腺体的内部结构和边缘， 通过融合两种预测结果来改善分割精度。Xu等^［25］将多通道深度神经网络与边缘检测相结合， 有效弥补了卷积和池化操作导致的信息损失。Graham等^［20］提出的MILD-Net采用类似策略， 同时预测腺体的内腔和边缘， 减少了下采样过程中的信息丢失。与DCAN类似， MILD-Net也利用双路径来同时预测腺体内腔和腺体轮廓。以上方法均使用了深度学习预测边缘概率图来完成腺体分割， 也都存在轮廓不平衡问题。Mei等^［32］针对边缘不平衡的问题， 提出了DCIA， 通过形态学算子和卷积条件随机场细化边缘， 并引入Focal-Loss来优化边缘分割结果。Yan等^［33］认为之前的多模型边缘检测方案复杂度高， 难以训练， 因此提出了一种单一深度学习模型， 该模型使用形状相似性度量方法约束腺体边界的不平衡性以提高分割准确性。Ding等^［21］为更进一步地提高分割效果使用了基于像素的三分类框架， 在后处理阶段用初始概率图减去腺体边缘概率图以提高对粘连腺体的分割效果。Wen等^［23］提出了基于Gabor的级联双注意力网络， 该技术在编码器中融入Gabor用于提取丰富的纹理信息， 此外还设计了一个双注意力模块（GSBA）以同时获得全局和局部信息。

1.3 多尺度特征提取

多尺度特征提取对于处理不同大小的腺体对象至关重要^{［12‐18］}。PSP-Net^［14］和DeepLabv3+^［12］分别通过不同大小的池化层和不同空洞率的卷积， 有效地捕获了多尺度信息。然而， 这些方法主要关注于从深层次特征中提取多尺度信息， 而忽略了不同层次之间的特征关系。为了解决这一问题， Graham^［20］、 Gao^［34］、 Sun等^［35］提出了从浅层到深层的特征提取策略， 以便更全面地聚合多尺度信息， 但是将存在语义差异的特征直接拼接或者相加， 会造成特征之间的混淆。本研究受到这些工作的启发， 提出了一种新的策略， 通过逐级融合相邻层次的信息， 同时捕获每一层次的多尺度特征， 提高了对不同大小腺体的分割能力。

2 方　法

2.1 网络总览

BFMSE-Net的具体结构由4个部分构成： 编码器（Conv1-Conv4）、 边缘融合模块（BFM）、 解码器和多尺度增强融合模块（MSEM）， 如图 1 所示。其中， 编码器采用了resnet34提取特征， BFM用于学习并增强腺体的边缘， MSEM自适应地选取最佳空间区域中的不同规模的尺度信息。

2.2 边缘融合模块

边缘信息可以有效指导网络对腺体特征的学习^{［17‐23，25，30-31］}， 但是受到恶性腺体边缘模糊以及邻近腺体边界粘连的影响， 如何获取清晰光滑的边缘是一个值得探索的问题。受之前工作^{［17‐23，30-31，36-39］}的启发， 本文提出一个边缘融合模块（BFM）作为单独分支强化边缘， 如图 2 所示， 该模块由边缘检测和边缘增强两部分构成， 边缘检测部分生成清晰的边缘激活图， 边缘增强部分在腺体边缘周围形成更加密集的边缘像素以区分腺体实例。

边缘检测： 在边缘检测领域， Xu等^［25］提出的多模型架构虽然有效， 但参数量较大。与之相对， 本研究采用了一种更为高效的边缘检测方法， 该方法在保持较低参数量的同时， 实现了对边缘特征的精确提取。在病理图像的浅层特征中， 除了腺体边缘信息外， 还包含了其他可能干扰学习的信息。为了解决这一问题， 本文设计了一种基于深层次信息引导的机制， 以增强浅层特征中边缘信息的表达能力。

边缘融合模块（BFM）利用深层次的特征信息来指导和优化浅层特征， 从而减少了非边缘信息的干扰。此外， 为了进一步提升边缘像素判别的准确性， 引入加权语义分割损失函数对边缘像素赋予更大的权重， 从而在训练过程中实现对边缘特征的强有效约束。首先将编码器输出Conv（1~4）作为BFM的输入， Conv1中包含丰富的空间位置信息以及边缘信息， 该特征通过Con{v}_{\mathrm{1}\times \mathrm{1}}通道压缩得到C_{\mathrm{1}}， 接着Conv2也通过Con{v}_{\mathrm{1}\times \mathrm{1}}压缩通道后得到C_{\mathrm{2}}， 通过连接C_{\mathrm{1}}与C_{\mathrm{2}}得到特征图C_{\mathrm{12}}， 接着通过Sigmoid生成注意力图B_j\in R^{H\times W}， 然后将B_j加入到下一层进行处理。对于每个B_j， 计算公式为

B_j=Con{v}_{\mathrm{1}\times \mathrm{1}}\left(\frac{\mathrm{1}}{\mathrm{1}+\mathrm{e}\mathrm{x}\mathrm{p}(C_{\mathrm{12}})}\right)\mathrm{。}（1）

边缘增强： 边缘增强利用激活图B3形成边缘注意力机制， 在编码解码信息汇聚之前增强边缘特征， 并抑制背景噪声。具体而言， 如图 2 右侧虚线框内所示， 将编码器的每一层特征Con{v}_i与得到的边缘注意力图B逐像素相乘， 对Con{v}_i中边缘区域的特征重新加权。对于每个像素（i， j）， 边缘增强操作可以定义为

{\tilde{e}}_{i，j}=Boundary\_conv((e_{i，j}\otimes B_{i，j})+e_{i，j}),（2）

式中： e_{i，j}为Con{v}_i中的像素值； B_{i，j}为边缘检测输出的注意力图的像素值； \otimes为按元素相乘； +为逐元素相加。边缘增强的结果{\tilde{e}}_{i，j}代表突出边缘后的特征， 然后用Boundary\_Conv对获得的边缘进行细化处理。

2.3 多尺度特征增强模块

不同腺体之间大小形状的巨大差异导致的分割效果不理想问题一直以来被不断探索^{［17‐23，30-32］}。类似于ASPP与PSPNet并联使用多层空洞卷积或者池化层等稀疏采样的方法， 虽然可以在一定程度上应对尺度变化的对象， 但是也可能丢失像素之间的联系， 尤其空间位置关系^［35］， 所以本文在提取不同尺度特征时加入空间关系的编码信息， 可以进一步增强不同感受野中的目标区域。整个MSEM模块分为上下两部分， 上层部分用于自适应定位空间中的感兴趣区域， 下层部分是从特征中提取不同尺度的语义信息， 最后将获取的空间注意图与多尺度特征相乘。

如图 3 所示， 将高维特征F_{\mathrm{h}\mathrm{i}\mathrm{g}\mathrm{h}}通过空洞率为k的3×3卷积获取不同感受野的特征F_{\mathrm{s}\mathrm{c}\mathrm{a}\mathrm{l}\mathrm{e}}， 并同时利用自适应最大池化层和平均池化层获取获得全局信息， 然后将两个池化层获取的信息沿通道维度拼接， 并使用k×k大小的卷积核提取与F_{\mathrm{s}\mathrm{c}\mathrm{a}\mathrm{l}\mathrm{e}}对应尺度下的感知信息F_k， 最后使用Sigmoid函数获取在空间层面的腺体特征权重图F_{\mathrm{s}\mathrm{p}\mathrm{i}\mathrm{c}\mathrm{a}\mathrm{l}}\in R^{H\times W}， 自适应选取空间中腺体区域， 然后与多尺度特征相结合， 具体操作为

F_{\mathrm{s}\mathrm{c}\mathrm{a}\mathrm{l}\mathrm{e}}=Con{v}_{\mathrm{3}\times \mathrm{3}}(Conv{k}_{\mathrm{3}\times \mathrm{3}}(F_{\mathrm{h}\mathrm{i}\mathrm{g}\mathrm{h}})),（3）

F_{\mathrm{s}\mathrm{p}\mathrm{i}\mathrm{c}\mathrm{a}\mathrm{l}}=\mathrm{\sigma }(Con{v}_{\mathrm{3}\times \mathrm{3}}(P_{\mathrm{a}\mathrm{v}\mathrm{g}}(F_{\mathrm{h}\mathrm{i}\mathrm{g}\mathrm{h}})\oplus P_{\mathrm{m}\mathrm{a}\mathrm{x}}(F_{\mathrm{h}\mathrm{i}\mathrm{g}\mathrm{h}}))),（4）

F_{\mathrm{o}\mathrm{u}\mathrm{t}}=F_{\mathrm{s}\mathrm{p}\mathrm{i}\mathrm{c}\mathrm{a}\mathrm{l}}\otimes F_{\mathrm{s}\mathrm{c}\mathrm{a}\mathrm{l}\mathrm{e}},（5）

式中： Conv{k}_{\mathrm{3}\times \mathrm{3}}代表核大小为3， 空洞率为k的卷积； F_{\mathrm{o}\mathrm{u}\mathrm{t}}为MSEM模块的输出； \otimes为逐像素相乘， \sigma为sigmoid激活函数。本文中空洞率k的取值为 1， 3， 5和7， 这一设计是基于输入图像的像素大小为512×512， 在经过4层编码网络后， 特征图尺寸缩小为 16×16。当空洞率为 7 时， 其等效感受野大小为 15×15， 已接近整个 16×16 的特征图尺寸， 从而能够更有效地捕获全局上下文信息。同时， 空洞率取 1， 3 和 5 时，分别对应较小的感受野， 有助于捕捉尺度较小的目标特征。因此， MSEM模块通过引入多种空洞率的卷积操作， 能够在不同尺度上动态提取目标区域的上下文信息， 适应腺体等目标在形状和尺寸上的较大变化。

2.4 损失函数

BFMSE-Net将边缘检测与腺体分割两个任务同时学习， 共同监督。在腺体分割任务中， 存在着类别不平衡的问题， 所以使用标准的二值交叉熵（BCE）损失和Dice损失， 损失函数的公式为

L_{\mathrm{s}\mathrm{e}\mathrm{g}}=L_{\mathrm{D}\mathrm{i}\mathrm{c}\mathrm{e}}(Y_{\mathrm{s}\mathrm{e}\mathrm{g}}，Y_{\mathrm{P}\mathrm{r}\mathrm{e}\mathrm{d}})+L_{\mathrm{B}\mathrm{C}\mathrm{E}}(Y_{\mathrm{s}\mathrm{e}\mathrm{g}}，Y_{\mathrm{P}\mathrm{r}\mathrm{e}\mathrm{d}}),（6）

式中： L_{\mathrm{D}\mathrm{i}\mathrm{c}\mathrm{e}}和L_{\mathrm{B}\mathrm{C}\mathrm{E}}分别为腺体分割提供了图像级别和像素级别的监督， 使分割结果从这两个角度都更加精准。在边缘检测任务中， 存在着严重的前景像素和背景像素不平衡问题， 而普通的交叉熵损失平等地对待所有像素， 对边缘预测约束不足， 所以引入β系数^［21］给予难以分类的像素点（边缘）更大的权重， 给容易分类的前景像素较小的权重， 权重大小取决于它们的像素个数在总像素数中所占的比例， 边缘损失可以被表示为

\begin{array}{c}{L}_{\mathrm{e}\mathrm{d}\mathrm{g}\mathrm{e}}=\\ -\beta \sum _j\mathrm{l}\mathrm{o}\mathrm{g}P(y_j=\mathrm{1})-(\mathrm{1}-\beta )\sum _j\mathrm{l}\mathrm{o}\mathrm{g}P(y_j=\mathrm{0}),\end{array}（7）

式中： y_j表示像素类别， y_j\in \left\{\mathrm{0}，\mathrm{1}\right\}，y_j=\mathrm{1}是前景， y_j=\mathrm{0}是背景； \beta表示背景像素在总像素中的占比， \beta =\frac{P_{y_j=\mathrm{0}}}{P_{\mathrm{t}\mathrm{o}\mathrm{t}\mathrm{a}\mathrm{l}}}， P_{\mathrm{t}\mathrm{o}\mathrm{t}\mathrm{a}\mathrm{l}}为图像中总像素数目， P_{y_j=\mathrm{0}}是背景像素数目， 之后在边缘损失L_{\mathrm{e}\mathrm{d}\mathrm{g}\mathrm{e}}中， 给前景（腺体边缘）更大的权重\beta， 给背景的权重为（\mathrm{1}-\beta）， 这样的强约束可以使网络专注于边缘部分而不是背景。

最后， 总损失可以表示为

L_{\mathrm{t}\mathrm{o}\mathrm{t}\mathrm{a}\mathrm{l}}={\lambda }_{\mathrm{1}}{L}_{\mathrm{s}\mathrm{e}\mathrm{g}}+{\lambda }_{\mathrm{2}}{L}_{\mathrm{d}\mathrm{e}\mathrm{e}\mathrm{p}\_\mathrm{s}\mathrm{u}\mathrm{p}}+{\lambda }_{\mathrm{3}}{L}_{\mathrm{e}\mathrm{d}\mathrm{g}\mathrm{e}}（8）

式中： L_{\mathrm{d}\mathrm{e}\mathrm{e}\mathrm{p}\_\mathrm{s}\mathrm{u}\mathrm{p}}表示对解码器的深度监督损失； {\lambda }_i表示每部分损失的权重， i\in \left\{\mathrm{1},\mathrm{2},\mathrm{3}\right\}。

3 实　验

为了验证所提出方法的有效性， 在Glas和CRAG数据集中进行了一系列实验， 分为5个部分， 分别为数据集、 评价指标、 实施细节、 BFMSE-Net的评估以及BFM模块和MSEM模块的消融实验。

3.1 数据集

在实验中使用了两个独立的数据集：

1） The Gland Segmentation （GlaS）challenage dataset^［40］。在GlaS数据集中， 165张H & I染色的组织学图像来自于16个不同的WSI， 由Zeiss MIRAX MIDI切片扫描仪获得， 数据集被分为训练集和测试集， 测试集分两部分， 其中测试集B的恶性腺体占比更大， 数据集分布如表 2 和图 4 所示。

2） The Colorectal Adenocarcinoma Gland （CRAG）^［20］。CRAG数据集来自于38个独立WSI图像， 每张图像的分辨率约为1 512×1 516， 由于CRAG数据集中的恶性腺体占比较大， 所以对于网络模型更具有挑战性， 数据集分布见表 3。

3.2 预处理

训练时的patch大小为512×512。由于数据集数量有限， 为了减少过拟合和提高模型的鲁棒性， 本文对所有训练数据采用了随机翻转， 旋转角度， 裁剪和添加高斯噪声， 添加模糊噪声， 亮度归一化的数据增强方式。此外还使用了CutMix^［41］来提升模型的鲁棒性， 具体而言是对任意两幅图像进行裁剪， 接着进行拼接， 形成新的图像， 一定程度上对数据集进行了有效扩充。如图 4 所示， 第一列为原图， 第二列为预处理后的图像， 第一对图像是经过沿y轴翻转以及亮度归一化后的结果， 第二对图像是经过翻转和随机角度旋转后的结果， 第三对图像是经过翻转和加入0~0.5的随机高斯噪声后的结果， 最后一对是随机图像裁剪拼接的效果。

3.3 评价指标

在测试阶段， 为了方便与其他方法进行比较， 使用了与Glas挑战赛中相同的评价指标来评估所提出的方法性能， 包括F1 score（检测精度）， Object-level Dice（分割性能）和 Object-level Hausdorff distance（形状相似性）。

F1-score： 采用F1 score度量所提出网络的检测精度， 它可以定义为

F\mathrm{1}=\mathrm{2}\times \frac{Precision\times Recall}{Precision+Recall},（9）

式中： Precision表示精确率； Recall表示召回率。F1 score的值越大表示所评估的方法越好。

Object-level Dice： Dice系数表示面积交并比， 体现方法的分割性能， 定义为

Dice=\mathrm{2}\times \frac{\left|A\bigcup B\right|}{\left|A\right|+\left|B\right|},（10）

式中： A，B分别表示标签当中的对象和预测图当中的对象。Dice系数越高表示模型的分割性能越好。

Object-level Hausdorff distance： Hausdorff distance 表示模型预测的分割图和真实标签之间的形状相似性。

Hausdorff=

\mathrm{m}\mathrm{a}\mathrm{x}\left\{\mathrm{s}\mathrm{u}{\mathrm{p}}_{x\in A}\mathrm{i}\mathrm{n}{\mathrm{f}}_{y\in B}‖x-y‖|\mathrm{s}\mathrm{u}{\mathrm{p}}_{y\in B}\mathrm{i}\mathrm{n}{\mathrm{f}}_{x\in A}‖x-y‖\right\}\mathrm{。}（11）

Hausdorff distance越小表示两个集合之间的形状越相似。

3.4 实施细节

本文方法在linux系统中基于torch1.12.1+cu113实现， 在训练过程中， 初始学习率被设置为0.005时可以达到最好的收敛效果， 同时使用Adam^［38］优化器来优化网络， batch size设置为16时在4块卡中共占用70 792 MB。所有的模型在4块NVIDIA TESLA V100上训练完成。

3.5 对比实验

GlaS数据集： 为了比较分割性能， 在GlaS数据上分别与最先进的7种方法进行了定量比较， 对于每种方法， 给出了3.3节中介绍的3个评价指标计算的分值及其在8种方法中的排名， 将每种方法在两个测试集中的3个指标的排名相加来计算秩和， 值越低表明性能越好。如表 4 所示， 8种方法按秩和降序排列， 这些方法采用的分割策略各不相同， 其中所提出的BFMSE-Net总排名秩和最小， 与其他7种方法相比， BFMSE-Net由于边缘融合模块与多尺度模块可以准确定位腺体边缘， 弥补了某些腺体边缘分布不均的情况， 在边缘模糊的恶性腺体（测试集B）分割方面具有更强的竞争力， 并且在形状相似度上远超其余先进方法。

其他深度学习方法也表现出很强的竞争力， GCSBA^［19］达到了第二的秩和， 该方法利用小波算子提取纹理信息和使用双注意力的多尺度模块来提升网络性能， 在每个指标下都达到较好的效果， 但是对缺少清晰边缘的恶性腺体（测试集B）的分割效果有所欠缺， 其中， Dice系数和Hausdorff距离方面， BFMSE-Net比GCSBA^［23］分别高1.9%和28.294。MILD-Net^［20］与DCAN^［19］都采用双路径分割策略， 将边缘信息与腺体信息融合使其在检测精度与Dice系数上展现出较好的性能， 但是通过边缘纹理信息较少的解码端预测腺体边缘， 会因缺少底层特征而难以恢复高分辨率概率图， 导致其对测试集B的性能不如BFMSE-Net。Manivannan等^［9］利用手工特征并结合局部特征的方法在Hausdorff距离指标中有很好的效果， 尤其在测试集B中达到了86.987， 但是过于注重局部特征而忽略全局特征， 使该方法在其他指标中表现不佳。类似地， Rastogi等^［26］利用形态学算子等方法针对恶性腺体有很好的分割精度与定位精度， 但是缺少多尺度特征以及底层特征信息， 使其在测试集A中效果较差。

为了更加直观地证明BFMSEM-Net的分割效果， 将其与先进的分割网络U-net^［11］、 DeepLabV3+^［12］、 U-net++^［13］、 PSP-Net^［14］和HRNet^［39］在GlaS数据集中的分割结果进行对比， 结果如图 5 所示。图 5 第二行的腺体相邻较近， 边缘粘连， 其余4种方法的分割效果均不理想， 但所提出的方法能够在增强边缘和多尺度特征后将其准确分割， 并且在第一、 三、 四行中， DeepLabV3+^［12］与PSP-Net^［14］都涉及到多尺度特征的提取， 但是没有考虑到不同尺度中特征之间的空间关系， 导致大目标像素缺失较为严重， HRNet全分辨率网络在不损失信息的情况下对于大腺体的分割效果比DeepLabV3+与PSP-Net效果好， 但是对于大小不一的腺体分割效果并不如第一行和第二行， 这可能是由于缺少多尺度特征， 并且在没有边缘指导的情况下， 粘连小腺体无法有效分割， 大腺体缺乏全局特征而导致分割效果不理想， 而BFMSE-Net在提取不同比例下的特征后， 又在空间维度提取了感兴趣区域， 所以对于不同分化等级腺体的定位效果比DeepLabV3+^［12］和PSP-Net^［14］更好。

CRAG数据集： 由于CRAG数据集中腺体的大小及形状差异巨大， 腺体更加拥挤， 所以更具有挑战性。表 5 给出了BFMSE-Net、 MILD-Net^［20］和GCSBA-Net^［23］在CRAG数据集上的定量分析， 与在Glas数据集相似， BFMSE-Net在Hausdorff 距离指标上达到61.572， 远高于GCSBA^［23］， 这是由于BFM不仅可以定位边缘， 还能将其边缘周围的像素值增强， 腺体轮廓突出后， 整体形状相似度提升非常明显， F1-分数指标也略高于其余方法。BFMSE-Net在CRAG上也达到了最先进的性能， 实验表明本文方法具有良好的鲁棒性。

为了进一步验证方法的有效性， 在CRAG数据集中也进行了分割效果比较， 结果如图 6 所示， 可以看出， BFMSE-Net可以精确地分割拥挤腺体或恶性腺体。总体来说， 在两个数据集中， BFMSE-Net无论是对良性还是对恶性腺体的形状相似度都达到了最优的结果， 这得益于网络增加了BFM模块使腺体的轮廓更加突出， 从而能够更好地分割邻近腺体与恶性腺体。

3.6 消融实验

表 6 中列举了BFMSE-Net在GlaS数据集中不同模块的定量比较， 第一行是基础数值， 所提出的基线在数据预处理中使用了3.2节中描述的数据增强方法与2.4节中所述的损失函数， 并且基线是编码器为ResNet34的Unet模型， 同时在此基础上逐步增加了BFM模块和MSEM模块。

BFM模块的有效性验证： 边缘特征是准确分割腺体实例必不可少的特征， 为了验证BFM模块的重要性， 设计了验证实验。表 6 的第二行展示了基线+BFM模块的定量效果， 测试集的F1分数与Hausdorff距离分别提升了2.3%和7.988， Dice系数提升了2.5%。图 7 展示了增加BFM模块后的直观效果， 可以看出， 网络对于腺体边界更加敏感， 增强了腺体轮廓特征表示， 提高了边缘激活值， 受益与此， BFMSE-Net在两个数据集中的形状相似度相比于其他方法有显著提高。同时， 从图 8 的第三列与第四列的比较可以看出， 第四列保留BFM后， 分布密集和边缘粘连的腺体在增强边缘后也能被有效分割， 并且受边缘特征的影响， 较大腺体的检测也更加准确， 容易被漏检的小腺体也能被分割， 说明BFM在复杂背景下对小目标的检测也有一定效果。

MSEM模块的有效性验证： 为了探究多尺度特征增强模块的作用， 设计了多个实验。由表 6 中第一行（仅基线）和第三行（基线+MSEM）的比较可以看出， 在Base的基础上MSEM模块的F1分数提升了4.4%， Dice系数提升了3%。为了更加直观地感受MSEM的作用， 在图 8 中展示了增加MSEM后的分割图， 由第三行可以看出， BFMSE-Net在分割较大腺体时， MSEM是不可缺少的， 这是由于MSEM可以有效感知腺体对象的尺度并聚焦于感兴趣区域， 从而增强了多尺度特征的学习， 使大小变化差异巨大的腺体也能被有效分割。此外， 当BFMSE-Net中移除BFM或MSEM（图 8 中第五列w/o BFM， 第四列w/o MSEM）时， 对密集腺体的分割会出现明显的间隙误判， 对大小不均尤其是大腺体分割会时出现像素缺失， 在形状上与Ground Truth相差较远， 定性和定量的实验表明， BFM与MSEM在腺体前景背景复杂的情况下是有用的， 并且将它们结合后的BFMSE-Net可以获得更好的性能。

4 结　论

本文开发了一种集成边缘融合与多尺度上下文感知的网络架构， 为结肠癌组织切片中腺体的分割提供了一种高效、 精准的解决方案。所提出的BFMSEM-Net有以下优势： 1） BFMSEM-Net利用BFM检测腺体边缘并且增强腺体轮廓感知以解决邻近腺体粘连和恶性腺体难以定位的问题。2） 所提出的MSEM可以有效提取不同尺度的特征信息， 聚集腺体在感兴趣空间位置上的特征。实验表明， 该方法在具有挑战性的CRAG数据集和广泛使用的Glas数据集中取得了较好的效果。

在未来的工作中， 将讨论如何自适应选取最佳感受野大小的特征， 解耦空间特征， 对恶性病例进一步分割。

参考文献

[1] FLEMING M， RAVULA S， TATISHCHEV S F， et al. Colorectal carcinoma： Pathologic aspects［J］. Journal of Gastrointestinal Oncology， 2012， 3（3）： 153-173.

[2] DAVRI A， BIRBAS E， KANAVOS T， et al. Deep learning on histopathological images for colorectal cancer diagnosis： A systematic review［J］. Diagnostics， 2022， 12（4）： 837.

[3] JAVED S， MAHMOOD A， WERGHI N， et al. Multiplex cellular communities in multi-gigapixel colorectal cancer histology images for tissue phenotyping［J］. IEEE Transactions on Image Processing， 2020， 29： 9204-9219.

[4] COMPTON C C. Updated protocol for the examination of specimens from patients with carcinomas of the colon and rectum， excluding carcinoid tumors， lymphomas， sarcomas， and tumors of the vermiform appendix： A basis for checklists. Cancer Committee［J］. Archives of Pathology & Laboratory Medicine， 2000， 124（7）： 1016-1025.

[5] XING F， YANG L. Robust nucleus/cell detection and segmentation in digital pathology and microscopy images： A comprehensive review［J］. IEEE Reviews in Biomedical Engineering， 2016， 9： 234-263

[6] ROERDINK J B T M， MEIJSTER A. The watershed transform： Definitions， algorithms and parallelization strategies［J］. Fundamenta Informaticae， 2000， 41（1/2）： 187-228.

[7] ZAREI N， BAKHTIARI A， GALLAGHER P， et al. Automated prostate glandular and nuclei detection using hyperspectral imaging［C］//2017 IEEE 14th International Symposium on Biomedical Imaging （ISBI 2017）. IEEE， 2017： 1028-1031.

[8] WANG C， BU H， BAO J， et al. A level set method for gland segmentation［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）， 2017： 865-873.

[9] MANIVANNAN S， LI W， ZHANG J， et al. Structure prediction for gland segmentation with hand-crafted and deep convolutional features［J］. IEEE Transactions on Medical Imaging， 2018， 37（1）： 210-221.

[10] LONG J， SHELHAMER E， DARRELL T. Fully convolutional networks for semantic segmentation［C］//Proceedings of the IEEE conference on Computer Vision and Pattern Recognition， 2015： 3431-3440.

[11] RONNEBERGER O， FISCHER P， BROX T. U-net： Convolutional networks for biomedical image segmentation［C］//International Conference on Medical Image Computing and Computer-assistedintervention， 2015： 234-241.

[12] CHEN L C， ZHU Y， PAPANDREOU G， et al. Encoder-decoder with atrous separable convolution for semantic image segmentation［C］//Proceedings of the European Conference on Computer Vision （ECCV）. 2018： 801-818.

[13] ZHOU Z， RAHMAN SIDDIQUEE M M， TAJBAKHSH N， et al. Unet++： A nested u-net architecture for medical image segmentation［C］//Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support. Cham： Springer International Publishing， 2018： 3-11.

[14] ZHAO H， SHI J， QI X， et al. Pyramid scene parsing network［C］//Proceedings of the IEEE conference on Computer Vision and Pattern Recognition， 2017： 2881-2890.

[15] ZHANG H， WU C， ZHANG Z， et al. Resnest： Split-attention networks［C］//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2022： 2736-2746.

[16] LI Y， HOU Q， ZHENG Z， et al. Large selective kernel network for remote sensing object detection［C］//Proceedings of the IEEE/CVF International Conference on Computer Vision， 2023： 16794-16805.

[17] DING X， ZHANG X， HAN J， et al. Scaling up your kernels to 31×31： Revisiting large kernel design in cnns［C］//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2022： 11953-11965.

[18] XU Q， MA Z， NA H E， et al. DCSAU-Net： A deeper and more compact split-attention U-Net for medical image segmentation［J］. Computers in Biology and Medicine， 2023， 154： 106626.

[19] CHEN H， QI X， YU L， et al. DCAN： Deep contour-aware networks for object instance segmentation from histology images［J］. Medical Image Analysis， 2017， 36： 135-146.

[20] GRAHAM S， CHEN H， GAMPER J， et al. MILD-Net： Minimal information loss dilated network for gland instance segmentation in colon histology images［J］. Medical Image Analysis， 2019， 52： 199-211.

[21] DING H， PAN Z， CEN Q， et al. Multi-scale fully convolutional network for gland segmentation using three-class classification［J］. Neurocomputing， 2020， 380： 150-161.

[22] QU H， YAN Z， RIEDLINGER G M， et al. Improving nuclei/gland instance segmentation in histopathology images by full resolution neural network and spatial constrained loss［C］//International Conference on Medical Image Computing and Computer-assisted Intervention， 2019： 378-386.

[23] WEN Z， FENG R， LIU J， et al. Gcsba-net： Gabor-based and cascade squeeze bi-attention network for gland segmentation［J］. IEEE Journal of Biomedical and Health Informatics， 2020， 25（4）： 1185-1196.

[24] RAZA S E A， CHEUNG L， EPSTEIN D， et al. Mimonet： Gland segmentation using multi-input-multi-output convolutional neural network［M］.Cham： Springer International Publishing， 2017.

[25] XU Y， LI Y， WANG Y， et al. Gland instance segmentation using deep multichannel neural networks［J］. IEEE Transactions on Biomedical Engineering， 2017， 64（12）： 2901-2912.

[26] RASTOGI P， KHANNA K， SINGH V. Gland segmentation in colorectal cancer histopathological images using U-net inspired convolutional network［J］. Neural Computing and Applications， 2022， 34（7）： 5383-5395.

[27] JIN Z， YU D， SONG L， et al. You Should Look at All Objects［C］//Computer Vision-ECCV 2022： 17th European Conference， 2022： 332-349.

[28] XIAO X， LIAN S， LUO Z， et al. Weighted res-unet for high-quality retina vessel segmentation［C］//2018 9th International Conference on Information Technology in Medicine and Education （ITME）. IEEE， 2018： 327-331.

[29] JHA D， RIEGLER M A， JOHANSEN D， et al. Doubleu-net： A deep convolutional neural network for medical image segmentation［C］//2020 IEEE 33rd International Symposium on Computer-based Medical Systems （CBMS）. IEEE， 2020： 558-564.

[30] HO D J， YARLAGADDA D V K， D’ALFONSO T M， et al. Deep multi-magnification networks for multi-class breast cancer image segmentation［J］. Computerized Medical Imaging and Graphics， 2021， 88： 101866.

[31] NGUYEN T C， NGUYEN T P， DIEP G H， et al. CCBANet： Cascading context and balancing attention for polyp segmentation［C］//Medical Image Computing and Computer Assisted Intervention-MICCAI 2021： 24th International Conference， 2021： 633-643.

[32] MEI L， GUO X， HUANG X， et al. Dense contour-imbalance aware framework for colon gland instance segmentation［J］.Bio-Medical Signal Processing and Control， 2020， 60： 101988.

[33] YAN Z， YANG X， CHENG K T. Enabling a single deep learning model for accurate gland instance segmentation： A shape-aware adversarial learning framework［J］.IEEE Transactions on Medical Imaging， 2020， 39（6）： 2176-2189.

[34] GAO C， YE H， CAO F， al et， Multiscale fused network with additive channel-spatial attention for image segmentation［J］. Knowledge-Based System， 2021， 214： 106754.

[35] SUN X， SHI A， HUANG H， et al. ， BAS-Net： Boundary-aware semi-supervised semantic segmentation network for very high resolution remote sensing images［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2020， 13： 5398-5413.

[36] HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2016： 770-778.

[37] TAKIKAWA T， ACUNA D， JAMPANI V， et al. Gated-scnn： Gated shape cnns for semantic segmentation［C］//Proceedings of the IEEE/CVF International Conference on Computer Vision， 2019： 5229-5238.

[38] HUANG G， LIU Z， VAN DER MAATEN L， et al. Densely connected convolutional networks［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2017： 2261-2269.

[39] SUN K， XIAO B， LIU D， et al. Deep high-resolution representation learning for human pose estimation［C］//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2019： 5693-5703.

[40] SIRINUKUNWATTANA K， PLUIM J P W， CHEN H， et al. Gland segmentation in colon histology images： The glas challenge contest［J］. Medical Image Analysis， 2017， 35： 489-502.

[41] YUN S， HAN D， CHUN S， et al. Cutmix： Regularization strategy to train strong classifiers with localizable features［C］//Proceedings of the IEEE/CVF International Conference on Computer Vision， 2019： 6023-6032.

基金资助

山西省科技重大专项计划“揭榜挂帅”项目(2021010： 0101018)

山西省基础研究计划（自由探索类）项目(20210302123033)