基于CAP⁃Net的多粒度乳腺癌病理图像识别模型

Multi⁃Granularity Breast Cancer Pathological Image Recognition Model Based on CAP⁃Net

摘要

在医学图像识别领域， 图像的特征提取与图片的放大倍数有着紧密的联系， 因此， 多数乳腺癌图像识别模型都会在不同放大倍数下进行实验。但在实际应用中希望能够综合不同倍数的图像信息来全面评估疾病特征， 提升患者治疗效果。针对上述问题以及医学图像中肿瘤分类的挑战， 聚焦于关注肿瘤类别而不依赖于特定放大倍数， 提出了基于卷积神经网络（Convolutional Neural Networks， CNN）和上下文感知注意力池化（Context-aware Attentional Pooling， CAP）的分类模型。首先通过CNN提取图像的卷积特征， 然后结合CAP模块综合考虑4种级别的特征上下文信息（包括像素级、 小区域、 大区域和图片级）进行分类。使用DenseNet121、 MobileNetV2和Xception 3种CNN网络结合CAP在BreaKHis数据集上进行实验， 将同一类别4种不同放大倍数的数据合并起来， 对8类乳腺癌病理图像进行识别。该模型的准确率达到了96.87%， 验证了其在医学图像分类中的有效性。

Abstract

In the field of medical image recognition， the feature extraction of images is closely related to the magnification of the image， so most models of breast cancer image recognition will perform experiments at different magnifications. However， in practical applications， it is hoped that different magnifications of image information can be comprehensively utilized to comprehensively evaluate disease features and improve patient treatment effectiveness. In response to the above issues and the challenges of tumor classification in medical images， a classification model based on convolutional neural networks （CNN） and context-aware attentional pooling （CAP） is proposed， focusing on tumor categories without relying on specific magnifications. Firstly， the convolutional features of the image are extracted through CNN， and then the four levels of feature context information （including pixel-level， small-region， large-region and image-level） are comprehensively considered by combining them with the CAP module for classification. Using DenseNet121， MobileNetV2 and Xception three CNN networks combined with CAP， experiments were carried out the on BreakHis dataset. Four data of the same category with different magnifications were combined to identify eight types of breast cancer images. The accuracy of the model reached 96.87%， verifying its effectiveness in medical image classification.

Graphical abstract

关键词

上下文感知注意力池化 / 乳腺癌病理图像 / 图像识别 / 卷积神经网络 / 多粒度图像识别

Key words

context-aware attentional pooling / breast cancer pathological images / image recognition / convolutional neural network / multi-granularity image recognition

0 引　言

据世界卫生组织最新数据， 乳腺癌已取代肺癌成为全球第一大肿瘤。2023年4月14日， 中国疾控中心周报发布的我国女性乳腺癌数据分析报告指出， 到2030年， 全国将有超40万例新诊断病例和超10万例死亡^［1］。庞大的数据说明乳腺癌的早期发现和诊断尤为重要， 高效快速的组织病理学诊断方法已成为必需。然而， 目前用于指导治疗决策的组织病理学、 肿瘤大小和分级等技术并不完善。因此， 迫切需要更快、 更好的能够识别出肿瘤类型的模型， 以此为病理学家提供客观科学的诊断依据。

随着人工智能的蓬勃发展， 深度学习在各种场景中的应用大大增加， 生物医学也逐渐成为使用深度学习方法取得显著进步的热门领域。Spanhol等^［2］在提出BreaKHis数据集的论文中使用Alexnet对4种放大倍数的图像分别进行了良恶性二分类， 得出的精度范围为80%~85%， 这为评估基于卷积神经网络（Convolutional Neural Networks， CNN）的乳腺癌图像分类算法提供了基准。深度残差网络（Residual Neural Network， ResNet^［3］）的诞生使得卷积网络成为乳腺癌图像分类的主力军。Koné等^［4］使用Resnet50模型对乳腺癌图像进行分类， 四分类精度达到81%； Brancati等^［5］将3种ResNet组合在一起， 取得了较好的分类效果； Rakhlin等^［6］将 ResNet50、 vgg16和Inception_v3 3种模型结合， 四分类任务的准确率达到87.2%， 二分类任务的准确率为93.8%； Campilho等^［7］融合了Resnet与Inception-v2 模型， 取得四分类任务的准确率为76%。

将CNN应用于医学图像分类的确加快了临床诊断速度， 但是在对乳腺癌图像进行分类时存在这样一个事实： 病理学家在诊断时， 需要先通过低倍镜确定疑似区域， 再用高倍镜找到病灶位置并判断肿瘤的良恶性以及等级， 因此， 需要对不同放大倍数的数字病理图像进行分类。而不同放大倍数的图像具有不同的空间尺度， 这将导致网络难以捕捉到所有尺度下的重要特征。较大的尺度可能会丢失较小尺度的细节， 反之亦然。如果只训练特定尺度的图像， 那么模型可能无法很好地泛化到其他尺度。此外， 不同尺度的图像可能需要不同的特征提取器， 原始的神经网络可能无法有效地适应这种多尺度的需求， 导致在某些尺度上失去关键信息。

注意力机制的出现在一定程度上缓解了上述问题。在传统的卷积神经网络中加入注意力机制， 通过动态调整不同位置的权重， 以此来突出有效信息， 使模型更加关注图像中的关键区域， 从而提高分类的准确性^［8］。但在使用注意力机制时也会存在不足之处， 如注意力机制可能过于集中于图像的某些区域， 导致其他区域的信息被忽略。这种情况下， 模型可能会错过一些关键特征， 特别是在不同放大倍数下图像中可能包含的关键信息。另外， 在训练注意力机制时， 可能需要更大规模的数据集来确保模型能够准确地学习到图像中不同区域的权重。对于医学图像领域的数据， 公开且大量的数据集获取是较为困难的。

在实际应用中， 无论放大倍数为多少， 病理学家都需要精准地定位病灶位置， 所以， 构建一个与放大倍数无关的乳腺癌图像识别模型具有实际意义。如何能使模型感兴趣的区域不受放大倍数的影响， 即便是在不同尺度的图像下， 模型的表现力仍然能够达到一致是非常重要的。为了使计算机能够真正地“读懂”一幅图， 我们需要以更细致的方式去描述。考虑到图像生成过程是从像素到物体再到场景， 因此不仅要调节图片中某一部分及其空间排列， 还要用多个局部描述来定义它们的外观以及它们在区分细微变化中的重要性。这些局部描述应该是丰富的， 相互补充的， 以提供对该图像的完整描述。那么模型就可以避免因过度关注某一区域而丢失关键信息的可能， 这将有利于寻找到病灶的位置。

总结上述内容， 采用多粒度的乳腺癌病理图像识别模型能够更准确地定位和识别肿瘤， 为乳腺癌的分类提供更高效的手段， 特别是在早期诊断阶段。本文提出的方法基于BreaKHis数据集， 与传统方法不同的是不限定于特定放大倍数， 而是在基础CNN网络提取图像特征的基础上， 引入了上下文注意力池化进行八分类任务。实验结果表明， 相对于以往的分类方法， 本文所提方法在分类准确率上有显著提升， 更符合临床实际需求， 有望为乳腺癌的早期诊断提供有力支持。

1 乳腺癌图像分类网络

本文提出基于卷积神经网络和上下文感知注意力池化（Context-aware Attentional Pooling， CAP^［9］）的乳腺癌图像分类网络。图片数据输入网络模型后， 经过主干CNN网络提取特征并输出， 再将卷积网络输出的特征作为输入， 在CAP模块中学习调整特征中不同区域的重要性， 从而得出局部区域的丰富外观特征及其空间特征， 最后进行准确的分类。主要包括3个部分： 基础CNN网络{\mathrm{F}}_b\left(,;{\theta }_b\right)、 CAP模块{\mathrm{F}}_c\left(,;{\theta }_c\right)和分类模块{\mathrm{F}}_d\left(,;{\theta }_d\right)。CAP-Net模型总体结构如图 1 所示。

1.1 基础卷积神经网络

本文分别使用DenseNet121^［10］、 MobileNetV2^［11］、 Xception^［12］ 3种卷积神经网络作为基础CNN网络模块。

DenseNet提出了一个密集连接机制， 将所有的层互相连接， 具体来说就是每个层都要接受该层前面所有层作为其额外的输入。在传统的l层卷积神经网络中， 共有l个连接， 每个连接只作用于当前网络层和其后的网络层。而在DenseNet中， 对于每一层网络层， 其之前所有网络层的特征图都会作为此层的输入， 而其自身的特征图会作为其后每一层网络层的输入， 实现特征重用， 提升效率。DenseNet-121是DenseNet模型的一个变种， 其网络深度为121层。DenseNet-121的网络结构共包含4个稠密块（Dense Block）， 各个稠密块之间通过过渡块（Transition Layer）连接。稠密块示意图如图 2 所示， 其中\left[X_{\mathrm{0}},\dots ,X_{l-\mathrm{1}}\right]表示第\mathrm{0},\dots ,l-\mathrm{1}层特征图集合， H_l可视作BN、 Relu、 卷积等函数的累加。

MobileNetV2是谷歌推出的一款轻量级深度神经网络模型， 主要用于移动端和嵌入式设备上。MobileNetV2在保持高性能的同时， 相比于传统的深度神经网络模型具有更小的参数量和更低的计算复杂度， 因此更加适合在资源有限的设备上运行。

MobileNetV2主要通过两个方面来提升性能和降低计算复杂度： 倒残差结构（Inverted Residuals）和线性瓶颈层（Linear Bottlenecks）。在传统的ResNet残差结构中， 先使用1×1卷积进行降维， 再使用3×3卷积， 最后通过1×1卷积实现升维， 即两头大中间小。而在MobileNetV2中， 将降维和升维的顺序进行了调换， 并且将3×3卷积换为3×3的逐通道卷积（Depthwise Convolution）。逐通道卷积的原理如图 3 所示， 一个卷积核负责其中一个通道， 即一个通道只会被一个卷积核卷积。这种倒残差结构可以使网络中间层的通道数更多， 从而提升特征提取能力。同时， 由于倒残差结构在输入和输出之间增加了恒等映射， 使得网络更容易训练。另外， 最后一层的卷积层采用线性激活函数， 而不是ReLU激活函数。倒残差结构示意图如图 4 所示， 由于倒残差结构是两头小中间大的结构， 因此输出的是一个低维的特征信息。使用线性激活函数可以避免特征信息的损失。

Xception是对Inception v3网络的改进， 主要是将原来Inception v3中的卷积操作用深度可分离卷积（Depthwise Separable Convolution）替换。深度可分离卷积主要分为两部分： 逐通道卷积（Depthwise Convolution）和逐点卷积（Pointwise Convolution）。它通过将多个1×1的卷积层堆叠在3×3的卷积层之后， 实现了更深的网络结构， 同时保持了较小的模型大小和计算复杂度。这种结构可以有效地提高模型的特征提取能力， 从而提高模型的分类性能。

1.2 上下文感知注意力池化

上下文感知注意力池化（CAP）通过聚焦于一个给定的区域， 并以其他区域和该区域为条件， 通过双线性池化， 有效地捕捉了亚像素梯度在每个区域的细微变化， 并学习关注信息积分区域及其在区分不同子类别中的重要性。此外， CAP模块提出了一种新的特征编码方式， 对网络的空间排列和外观特征进行编码， 通过考虑积分区域的信息量与其空间结构之间的内在一致性来捕获积分区域之间的语义相关性。最后还引入了一个可学习的池化算法， 自动选择循环网络的隐藏状态， 学习并编码整体区域潜在的空间排布， 并据此来推断子类别。

CAP模块综合考虑像素级、 小区域、 大区域以及图片级这4种级别的特征上下文信息进行分类。图 5 为CAP模块的结构图。

已知输入N个图像I=\left\{I_n\left|n=\mathrm{1},\dots ,N\right.\right\}和它们各自的类别标签。该模块的目的是找到一个映射函数F， 预测标签为{\widehat{\mathit{y}}}_n=F\left(I_n\right)， 对应真实的标签为{\mathit{y}}_n。最终的目标是最小化损失函数L\left({\mathit{y}}_n,{\widehat{\mathit{y}}}_n\right)， 定义卷积网络输出的特征为\mathit{x}=F_b\left(I_n;{\theta }_b\right)。

1.2.1 像素级关系

像素级特征的上下文信息主要是学习到像素间的关联度p\left(x_i\left|x_j;{\theta }_p\right.\right)。即使像素点相距很远（即\forall i\ne j， \mathrm{1}\le i,j\le W\times H）， 都要计算像素之间的关联度。像素的远近关系如图 6 所示。在计算j位置的输出时， 根据关联度来综合所有其他像素特征， 特征转化时使用\mathrm{1}\times \mathrm{1}卷积。这一步直接对主干网络输出的特征进行操作， 但没在整体流程图中体现。

1.2.2 提出积分区域

为了更高效地学习上下文信息， 需要在不同特征图上定义不同粒度级别的区域， 粒度级别由区域的大小决定。假设\left(i,j\right)位置上的最小区域为r\left(i,j,{\mathrm{\Delta }}_x,{\mathrm{\Delta }}_y\right)， 可通过放大它的宽和高衍生出一系列区域R=\left\{r\left(i,j,m{\mathrm{\Delta }}_x,n{\mathrm{\Delta }}_y\right)\right\}， 其中， 。在不同的位置产生相似的区域合集R， 得到最终的区域合集\mathfrak{R}=\left\{R\right\}。\mathfrak{R}可以提供全面的上下文信息和不同层级图片的细微特征。

1.2.3 双线性池化

在特征图上得到\left|\mathfrak{R}\right|个区域后， 其大小为从最小的{\mathrm{\Delta }}_x\times {\mathrm{\Delta }}_y\times C到最大的W\times H\times C， 我们的目标是将不同大小的区域表示为固定大小的特征， 这里主要采用了双线性插值法。定义T_{\psi }\left(Y\right)为坐标转换函数， Y=\left(i,j\right)\in {\mathbb{R}}^{\mathrm{2}}为区域坐标， 对应的特征值为R\left(Y\right)\in {\mathbb{R}}^C， 则转换后的图片\tilde{R}的\tilde{Y}坐标上的值为

\tilde{R}\left(\tilde{Y}\right)=\sum _{y}R\left(T_{\psi }\left(Y\right)\right)K\left(\tilde{Y},T_{\psi }\left(Y\right)\right),（1）

式中： R\left(T_{\psi }\left(Y\right)\right)为采样函数； K\left(·\right)为核函数。这里采用将目标坐标映射回原图， 取最近的4个点， 按距离进行输出的方法， 最终得到池化后的固定特征\overline{\mathit{f}}\left(w\times h\times C\right)。

1.2.4 上下文注意力机制

根据{\overline{\mathit{f}}}_r与其他特征{\overline{\mathit{f}}}_{r^{\mathrm{\text{'}}}}的相似性进行加权输出\left(r,r^{\mathrm{\text{'}}}\in \mathfrak{R}\right)， 使得模型能够选择性地关注更相关的区域， 从而产生更全面的上下文信息。通过查询项\mathit{q}\left({\overline{\mathit{f}}}_r\right)和一组关键词项\mathit{k}\left({\overline{\mathit{f}}}_{r^{\mathrm{\text{'}}}}\right)， 输出上下文向量{\mathit{C}}_r。

{\mathit{C}}_r={\displaystyle \sum _{r^{\mathrm{\text{'}}}=\mathrm{1}}^{\left|\mathfrak{R}\right|}}{\alpha }_{r,r^{\mathrm{\text{'}}}}{\overline{\mathit{f}}}_{r^{\mathrm{\text{'}}}},（2）

{\alpha }_{r,r^{\mathrm{\text{'}}}}=\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}\left({\mathit{W}}_{\alpha }{\mathit{\beta }}_{r,r^{\mathrm{\text{'}}}}+{\mathit{b}}_{\alpha }\right),（3）

{\mathit{\beta }}_{r,r^{\mathrm{\text{'}}}}=\mathrm{t}\mathrm{a}\mathrm{n}\mathrm{h}\left(\mathit{q}\left({\overline{\mathit{f}}}_r\right)+\mathit{k}\left({\overline{\mathit{f}}}_{r^{\mathrm{\text{'}}}}\right)+{\mathit{b}}_{\beta }\right),（4）

\mathit{q}\left({\overline{\mathit{f}}}_r\right)={\mathit{W}}_{\beta }{\overline{\mathit{f}}}_r\mathrm{a}\mathrm{n}\mathrm{d}\mathit{k}\left({\overline{\mathit{f}}}_{r^{\mathrm{\text{'}}}}\right)={\mathit{W}}_{{\beta }^{\mathrm{\text{'}}}}\left({\overline{\mathit{f}}}_{r^{\mathrm{\text{'}}}}\right)\mathrm{。}（5）

参数矩阵{\mathit{W}}_{\beta }和{\mathit{W}}_{{\beta }^{\mathrm{\text{'}}}}用来将输入特征转换为查询项和关键词项， {\mathit{W}}_{\alpha }为非线性组合， {\mathit{b}}_{\alpha }和{\mathit{b}}_{\beta }为偏置项， 整体的可学习参数为\left\{{\mathit{W}}_{\beta },{\mathit{W}}_{{\beta }^{\mathrm{\text{'}}}},{\mathit{W}}_{\alpha },{\mathit{b}}_{\alpha },{\mathit{b}}_{\beta }\right\}\in {\theta }_c， 而注意力项{\alpha }_{r,r^{\mathrm{\text{'}}}}则代表两个特征之间的相似性。这样， 上下文向量{\mathit{C}}_r能够代表区域{\overline{\mathit{f}}}_r蕴含的上下文信息， 这些信息是根据该区域与其他区域的相关程度获得的， 整体的计算思想与自注意力机制基本相似。图 7 及图 8 中用不同形状来代表不同大小的区域。

1.2.5 空间结构编码

上下文向量\mathit{C}=\left\{{\mathit{C}}_r\left|r=\mathrm{1},\dots ,\left|\mathfrak{R}\right|\right.\right\}描述了区域的关键程度和特点， 为了加入与空间排列相关的结构信息， 首先将区域的上下文向量\mathit{C}转为区域序列（按从上到下、 从左到右的顺序）， 然后输入到循环神经网络中， 使用循环神经网络的隐藏单元{\mathit{h}}_r\in {\mathbb{R}}^n来表达结构特征。区域r的中间特征可表示为{\mathit{h}}_r=F_h\left({\mathit{h}}_{r-\mathrm{1}},{\mathit{f}}_r;{\theta }_h\right)， F_h采用长短期记忆网络（LSTM）^［13］， {\theta }_h\in {\theta }_c包含了LSTM的相关参数。为了增加泛化能力和减少计算量， 上下文特征{\mathit{f}}_r\in {\mathbb{R}}^{\mathrm{1}\times C}由{\mathit{C}}_r\in {\mathbb{R}}^{w\times h\times C}进行全局平均池化得到， 最终输出上下文特征序列\mathit{f}=\left({\mathit{f}}_{\mathrm{1}},{\mathit{f}}_{\mathrm{2}},\cdots ,{\mathit{f}}_r,\cdots ,{\mathit{f}}_{\left|\mathfrak{R}\right|}\right)所对应的隐藏状态序列\mathit{h}=\left({\mathit{h}}_{\mathrm{1}},{\mathit{h}}_{\mathrm{2}},\cdots ,{\mathit{h}}_r,\cdots ,{\mathit{h}}_{\left|\mathfrak{R}\right|}\right)， 后续用于分类模块中。

1.2.6 分类模块

在此模块中使用可学习的池化操作， 通过组合响应相似的隐藏层{\mathit{h}}_r来整合特征信息， 以此引导模型分辨细微的变化。用可导的聚类方法对隐藏层的响应值进行转换， 首先计算隐藏层响应对类簇k的相关性， 再加权到类簇k的VLAD encoding中。

{\gamma }_k\left({\mathit{h}}_r\right)=\frac{{\mathrm{e}}^{{\mathit{W}}_k^{\mathrm{T}}{\mathit{h}}_r+{\mathit{b}}_k}}{{\displaystyle \sum _{i=\mathrm{1}}^K}{\mathrm{e}}^{{\mathit{W}}_i^{\mathrm{T}}{\mathit{h}}_r+{\mathit{b}}_i}},（6）

N_v\left(o,k\right)={\displaystyle \sum _{r=\mathrm{1}}^{{}_{\left|\mathfrak{R}\right|}}}{\gamma }_k\left({\mathit{h}}_r\right){\mathit{h}}_r\left(o\right),（7）

\widehat{\mathit{y}}=\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}\left(W_N{N}_v\right)\mathrm{。}（8）

每个类簇都有可学习的参数W_i和b_i， 整体思想基于Softmax。将隐藏层的响应值按Softmax的权重分配到不同的类簇中。在得到所有类簇的编码向量后， 使用可学习的权值W_N和Softmax进行归一化， 图 9 为隐藏层的可学习聚合分类过程。因此， 分类模块F_d的可学习参数为{\theta }_d=\left\{{\mathit{W}}_i,{\mathit{b}}_i,W_N\right\}。

2 实　验

2.1 实验环境及评价指标

本文所有实验都在一台Intel Core i7-5820K CPU、 GPU处理器为NVIDIA GeForce GTX 1080 Ti、 运行内存为16 G的计算机上执行。编程语言使用Python， 网络模型的实现基于TensorFlow深度学习框架。训练设置批大小为6， 初始学习率为0.000 3， 使用随机梯度下降优化器（SGD）。在实验中使用预训练网络进行特征提取， 以提高分类性能。

评价指标为图像级准确率。N_I为分类正确的图片数量， N为测试集样本数量， 则识别准确率为

acc=\frac{N_I}{N}\mathrm{。}（9）

2.2 数据集

BreaKHis数据集由8种不同类别的乳腺肿瘤图像组成， 这些图像来自2014年巴西P&D实验室进行的临床研究。该研究获得了机构审查委员会的批准， 并给予所有参与患者书面知情同意。该数据集一共包括7 909张乳腺癌病理检测图像， 其中包括良性肿瘤2 480例， 恶性肿瘤5 429例。良性子类包括腺病、 纤维腺瘤、 叶状肿瘤和管状腺瘤， 恶性子类包括导管癌、 小叶癌、 粘液癌和乳头状癌。实验对该数据集中的8类乳腺癌肿瘤图像进行识别， 训练集和测试集的比例为7∶3。表 1 为该数据集的具体分布。图 10 给出了该数据集中部分代表性的示例。

2.3 主干网络调参

本文选取DenseNet121、 MobileNetV2、 Xception 3种网络作为基础卷积神经网络。为了提高模型的训练效果和预测精度， 需要对预训练网络调整一些参数， 其中包括调整学习率、 激活函数、 优化器等参数。

本文中采取动态学习率（Dynamic Learning Rate）， 初始学习率为0.000 3， 每50个epoch学习率进行一次衰减， 为初始学习率的0.1， 一共进行200次epoch训练。与固定学习率（Fixed Learning Rate）相比， 准确率有所提升。图 11 通过描绘Xception的准确率曲线和损失曲线， 验证了动态学习率分类效果更好。图中Xception-Flr和Xception-Dlr分别代表Xception使用固定学习率和动态学习率。

2.4 实验结果与分析

将CAP模块分别应用于DenseNet121、 MobileNetV2、 Xception， 通过训练集和验证集的准确率和损失率来评价各个模型的性能， 该三类模型训练集的准确率曲线和损失曲线见图 12。

从图 12 中可以看出， CAP-Xception网络模型的准确率最高， 损失率最小。此外， 经过实验发现， 在训练过程的前50次迭代中损失率下降比较快， 而在100次迭代后趋于缓慢。

CAP-Xception网络模型混淆矩阵见图 13。每一个小方块中上面的数字代表图片数量， 下面的数字代表图片数量所占总数的比例。从混淆矩阵中可以看出导管癌类别的召回率最高， 并且其他类别的图片被错误预测为导管癌的图片数量较多。原因可以归为BreaKHis数据集中各类别图像数量不平衡， 在该数据集中导管癌这一类别的图片数量最多。另外， 对每类图片的精确率、 召回率以及F1分数进行了统计， 如表 2 所示。从表 2 数据可以看出， 导管癌这一类别的精确率、 召回率以及F1分数均为最高， 分别达到了97.34%、 98.75%和0.980 4。

为了验证CAP模块的有效性， 将本文提出的CAP-Xception模型与不加入CAP模块的Xception模型同时使用梯度加权类激活映射（Gradient-weighted Class Activation Mapping， Grad-CAM）^［14］技术进行特征可视化。设定热力图的红色为高表达区域， 一定范围内红色区域占比越大， 说明该模型提取到的有效信息越多。对生成的热力图提取红色通道并将其转化为灰度图像， 设置阈值为0.7， 统计每幅热力图中大于该阈值的像素点， 得出提取特征面积占总图像面积的比例， 从而对模型在特征提取方面进行定量分析， 具体结果如图 14 所示。

图 14 分别展示了CAP-Xception模型与Xception模型对不同类别的乳腺癌病理检测图像生成的热力图， 图片下方的数字表示热力图中红色区域面积所占的比例。从图中可以看出， CAP-Xception模型与Xception模型在提取特征时关注的图像特征范围以及所占比例均存在一定差异。导管癌和粘液癌这两类图像中的红色区域占比接近， 差异较小； 而对于腺病、 纤维腺瘤以及乳头状癌等其他类图像， 占比差异较大， 说明加入CAP模块后模型的性能有了显著提高。总体来说， 本文所提模型比原始模型能关注到的有用信息更多， 因此本文所提模型是有效的。

最后为了检验该方法的可行性和准确性， 将数据集以相同的比例随机划分为训练集和测试集。训练设置批大小为64， 初始学习率为0.000 3， 使用随机梯度下降优化器（SGD）， 最大迭代次数为50。在对8个基础卷积神经网络进行训练后， 将测试集送入这8个模型中进行乳腺癌病理图像八分类实验， 并与本文所提出的增加CAP模块后的模型实验结果进行对比。对比结果见表 3。

表 3 的消融实验说明了增加CAP模块后的模型相较于原始的网络模型， 分类准确率大幅提升， 因此该方法是有效可行的。

同时， 选用近年来针对不区分放大倍数的乳腺癌图像多分类相关文献中的结果进行对比， 如表 4 所示。

从表 4 中可以看出， 本文所提方法相较于以往研究， 除去Benhammou等^［15］关于恶性子类的研究以外， 准确率分别提升了0.92、 4.84、 2.09、 1.37百分点， 说明了该方法的有效性。此外， 近年来关于不针对特定倍数的乳腺癌图像多分类研究较少， 本文所提方法可对乳腺癌肿瘤分类的临床应用做出一定贡献。

3 结　论

对乳腺癌图像进行多分类识别研究是为了在给模型输入一张未标注的图像时， 它能够准确地判断出肿瘤类别及其等级。因此， 提出基于卷积神经网络和上下文感知注意力池化的乳腺癌图像分类方法。通过在BreaKHis数据集上的实验可以表明， 该方法比起以往的研究方法既高效又保证了较好的分类效果， 距离实际临床应用又近了一步。但是， 由于可用在多分类研究的乳腺癌公开数据集非常少， 未来可在丰富医学图像数据、 提高标记数据可用性等方面开展研究。

参考文献

[1] SUN K， LEI L， ZHENG R， et al. Trends in incidence rates， mortality rates， and age-period-cohort effects of female breast cancer-China， 2003-2017［J］. China CDC Weekly， 2023， 5（15）： 340-346.

[2] SPANHOL F A， OLIVEIRA L S， PETITJEAN C， et al. A dataset for breast cancer histopathological image classification［J］. IEEE Transactions on Biomedical Engineering， 2016， 63（7）： 1455-1462.

[3] HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition［C］//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， 2016： 770-778.

[4] KONÉ I， BOULMANE L. Hierarchical ResNeXt models for breast cancer histology image classification［M］//Lecture Notes in Computer Science. Cham： Springer International Publishing， 2018： 796-803.

[5] BRANCATI N， FRUCCI M， RICCIO D. Multi-classification of breast cancer histology images by using a fine-tuning strategy［C］//International Conference Image Analysis and Recogition. Cham： Springer， 2018： 771-778.

[6] RAKHLIN A， SHVETS A， IGLOVIKOV V， et al. Deep convolutional neural networks for breast cancer histology image analysis［C］//International Conference Image Analysis and Recognition. Cham： Springer， 2018： 737-744.

[7] FERREIRA C A， MELO T， SOUSA P， et al. Classification of breast cancer histology images through transfer learning using a pre-trained inception resnet V2［M］//Lecture Notes in Computer Science. Cham： Springer， 2018： 763-770.

[8] 梁美彦， 张倩楠， 任竹云， 等. 基于注意力机制的结肠癌病理学图像识别研究［J］. 测试技术学报， 2022， 36（2）： 93-100.

[9] LIANG Meiyan， ZHANG Qiannan， REN Zhuyun， et al. Research on identification of colon pathology image based on attention mechanism［J］. Journal of Test and Measurement Technology， 2022， 36（2）： 93-100. （in Chinese）

[10] BEHERA A， WHARTON Z， HEWAGE P R P G， et al. Context-aware attentional pooling （CAP） for fine-grained visual classification［C］//Proceedings of the AAAI Conference on Artificial Intelligence， 2021， 35（2）： 929-937.

[11] HUANG G， LIU Z， VAN DER MAATEN L， et al. Densely connected convolutional networks［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， 2017： 2261-2269.

[12] SANDLER M， HOWARD A， ZHU M， et al. MobileNetV2： inverted residuals and linear bottlenecks［C］//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）， 2018： 4510-4520.

[13] CHOLLET F. Xception： deep learning with depthwise separable convolutions ［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， 2017： 1800-1807.

[14] HOCHREITER S， SCHMIDHUBER J. Long short-term memory［J］. Neural Computation， 1997， 9： 1735-1780.

[15] SELVARAJU R R， COGSWELL M， DAS A， et al. Grad-CAM： visual explanations from deep networks via gradient-based localization［J］. International Journal of Computer Vision （ICCV）， 2020， 128（2）： 336-359.

[16] KRIZHEVSKY A， SUTSKEVER I， HINTON G E. ImageNet classification with deep convolutional neural networks［J］. Communications of the ACM， 2017， 60（6）： 84-90.

[17] SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition［J/OL］. Computer Science， 2014.DOI：10.48550/arXiv.1409.1556 .

[18] HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition ［C］//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， 2016： 770-778.

[19] SZEGEDY C， LIU W， JIA Y， et al. Going deeper with convolutions ［C］//2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， 2015： 1-9.

[20] SZEGEDY C， VANHOUCKE V， IOFFE S， et al. Rethinking the inception architecture for computer vision ［C］//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， 2016： 2818-2826.

[21] BENHAMMOU Y， ACHCHAB B， HERRERA F， et al. BreakHis based breast cancer automatic diagnosis using deep learning： taxonomy， survey and insights［J］. Neurocomputing， 2020， 375： 9-24.

[22] LIU W， JUHAS M， ZHANG Y. Fine-grained breast cancer classification with bilinear convolutional neural networks （BCNNs）［J］. Frontiers in Genetics， 2020， 11： 547327.

[23] BOUMARAF S， LIU X， ZHENG Z， et al. A new transfer learning based approach to magnification dependent and independent classification of breast cancer in histopathological images ［J］. Biomedical Signal Processing and Control， 2021， 63： 102192.

[24] 郝岩. 基于特征融合的乳腺癌组织病理学图像识别研究［D］. 太原： 中北大学， 2021.

[25] 赵晓平， 王荣发， 孙中波， 等. 改进DenseNet的乳腺癌病理图像八分类研究［J］. 计算机工程与应用， 2023， 59（5）： 213-221.

[26] ZHAO Xiaoping， WANG Rongfa， SUN Zhongbo， et al. Research on eight classifications of breast cancer pathological images based on improved DenseNet ［J］. Computer Engineering and Applications， 2023， 59（5）： 213-221. （in Chinese）

基金资助

国家自然科学基金资助项目(61774137)

山西省基础研究计划资助项目(202103021224195)

山西省基础研究计划资助项目(202103021224212)

山西省基础研究计划资助项目(202103021223189)

山西省基础研究计划资助项目(20210302123019)