乳腺病理图像分类与辅助诊断系统设计

Breast pathological image classification and auxiliary diagnosis system design

摘要

依据乳腺组织病理学检查对肿瘤类型进行分类被视为临床乳腺癌诊断的黄金标准，受病理图像复杂性和多样性影响，人工分类诊断效率低，诊断结果还会受医生主观性影响. 因此为了提高乳腺组织病理图像的分类准确率，服务临床乳腺病理分类诊断的应用需求，提出了一种基于迁移学习的通道注意力机制模型SE-ConvNext-T，用于乳腺组织病理图像分类. 使用BreaKHis乳腺组织病理图像数据集进行测试，实现了8种不同乳腺肿瘤病理图像的自动分类，平均分类准确率达到99.18%. 另外，基于训练的SE-ConvNext-T模型开发了乳腺癌病理图像分类与辅助诊断微信小程序，用户在智能手机端输入乳腺肿瘤病理图像，诊断系统可实现乳腺肿瘤的自动分类，并给出诊断建议，该小程序可有效地帮助医生提高诊断效率.

Abstract

The classification of tumor types based on breast histopathological examination is regarded as the gold standard for clinical breast cancer diagnosis. However， due to the complexity and diversity of pathological images， manual classification and diagnosis are inefficient， and the results can be influenced by the subjectivity of the doctors. In order to improve the classification accuracy of breast histopathological images and meet the needs of clinical breast pathological classification and diagnosis applications， a channel attention mechanism model SE-ConvNext-T based on transfer learning was proposed for breast histopathological images classification. The BreaKHis breast histopathological image dataset was used for testing， achieving automatic classification of eight different breast tumor pathological images with an average classification accuracy of 99.18%. In addition， based on the trained SE-ConvNext-T model， a WeChat applet for breast cancer pathological image classification and auxiliary diagnosis has been developed. Users can input breast tumor pathological images on their smartphones， and the diagnostic system can automatically classify breast tumors and provide diagnostic suggestions. The serves as an effective auxiliary diagnostic tool for breast tumors， helping doctors improve diagnostic efficiency.

Graphical abstract

关键词

乳腺肿瘤病理图像 / 图像分类 / 注意力机制 / SE-ConvNext-T模型 / 辅助诊断系统

Key words

pathological images of breast tumors / image classification / attention mechanism / SE-ConvNext-T model / auxiliary diagnostic system

乳腺癌是女性最常见的癌症，位居中国女性恶性肿瘤发病率的首位^［1-2］. 乳腺癌患病人群也呈现年轻化态势，乳腺肿瘤的早期发现和诊断对提高患者的长期生存率起着至关重要的作用. 乳腺肿瘤的病理检查是临床诊断的金标准，但是人工阅片诊断效率低，而且诊断正确率还依赖医生的经验，从而使诊断的结果具有极强的主观性. 随着计算机视觉的快速发展，人工智能技术在医学影像分类诊断应用中表现出巨大的潜力. 使用计算机技术对组织病理学图像分析时，图像分类是最关键的一步.

传统的乳腺癌病理图像分类方法需要人工提取图像的特征，然后再使用诸如支持向量机（SVM）^［3］、随机森林^［4-5］等机器学习模型进行分类. 传统分类方法在乳腺肿瘤二分类应用中取得不俗效果，但CHAN等^［6］利用支持向量机（SVM）对BreaKHis数据集下40倍放大倍数的图像进行八分类实验，准确率只有56.6%. 基于深度学习的乳腺癌病理图像分类方法能够学习到更多的图像特征，避免了人工手动提取特征不够准确的缺点，被广泛应用于医学图像识别^［7］. 赵晓平等^［8］提出的DAFLNet网络模型，在BreaKHis数据集上二分类的准确率为99%，八分类的准确率为95.5%. YU等^［9］在2023年提出的CA-BreastNet的网络模型，在BreaKHis数据集上二分类的准确率为99.75%，八分类的准确率为95.69%.

虽然深度学习网络对乳腺肿瘤病理图像的良恶性二分类的准确率最高达到了99.75%，然而，在对乳腺肿瘤的八种亚型进行分类时，乳腺病理组织的复杂性和多样性给病理图像精确分类带来困难，而且乳腺肿瘤病理图像中包含大量的细节信息，现有的深度学习网络模型对乳腺肿瘤病理图像的分类准确率并不十分理想. 为了进一步提高乳腺癌组织病理图像的分类准确率，并满足临床应用的需求. 本文提出了一种基于迁移学习的通道注意力机制模型SE-ConvNext-T：首先对数据集作染色归一化和数据增强操作，避免数据集类别不均衡所带来的影响；然后在基于迁移学习的ConvNext-T网络的基础上加入了通道注意力机制，使网络聚焦于图像中重要的通道特征信息，剔除冗余信息，提高模型的分类性能；最后将训练好的SE-ConvNext-T模型部署在设计的微信小程序应用中，开发了乳腺癌病理图像分类与辅助诊断系统，实现八种不同乳腺肿瘤病理图像的自动分类，并给出诊断建议，减轻医生的工作负担，提高诊断效率.

1 本文方法

卷积神经网络一直是最流行和主要的深度学习模型. 虽然在2021年，微软亚洲研究院提出的Swin Transformer模型^［10］，在各种计算机视觉任务中性能表现出色，但是在图像处理方面，卷积神经网络目前仍然无可替代. 基于此，在2022年，Facebook人工智能研究院（FAIR）提出了ConvNext模型^［11］.

1.1 相关研究

1.1.1 ConvNext-T网络

ConvNext-T是4种ConvNext模型中训练参数最少、训练速度最快的一种网络结构^［12］，它借鉴了Swin Transformer网络的设计思想对ResNet50网络从宏观设计、深度可分离卷积（Depthwise Convolution）、逆瓶颈结构（Inverted Bottleneck）、大卷积核和微观设计5个方面进行改进，其网络结构如图1所示.

1.1.2 通道注意力机制

为了降低乳腺病理图像中噪声和伪影等复杂背景的干扰，将注意力机制引入到卷积神经网络中^［13］，提高网络的抗干扰能力 .

SENet是一种引入了压缩-激励（Sequeeze-and-Excitation，SE）模块的通道注意力机制^［14］，旨在对不同卷积特征通道之间的相关性进行建模，从而提高网络表示的质量和性能. 自动学习每个特征通道的重要特征，强化网络学习关键特征、抑制非关键特征，从而重新校正生成的特征. 该方法能显著提高网络的分类性能，在深度学习中被广泛应用.

SENet主要由压缩和激励操作组成，其结构如图2所示.在SENet模块中，首先输入大小为h × w × c₁的特征图通过卷积操作F_tr （∙，θ）输出h × w × c₂的特征图，然后对大小为h × w × c₂的特征图进行F_sq（∙）压缩操作，得到包含全局通道信息特征输出大小为1 × 1 × c₂的特征图^［15］. 然后再进行F_ex（∙，w）激励操作，通过两个全连接层学习每个通道的权重. 最后通过F_scale（∙）操作，对特征通道重新加权.

1.2 SE-ConvNext-T网络

由于乳腺组织病理图像具有很高的复杂性和细粒度特征，这导致从零开始训练的ConvNext-T 网络提取这些特征变得更加困难，同时收敛难度也增加. 因此，本文采用了迁移学习的方法，如图3所示，利用ConvNext-T网络在ImageNet数据集预训练后保存的权重作为ConvNext Block模块的卷积层的初始化权重. 采用不冻结卷积层权重的方式，微调卷积层，并将全连接层的输出单元数设置为8. 最后在BreaKHis乳腺癌病理图像数据集上对网络进行训练，输出8个类别的概率分布，提高模型的收敛速度和分类准确率.

虽然基于迁移学习的ConvNext-T网络，提高了模型的收敛速度，但该网络难以聚焦于图像中重要的通道特征信息，导致该模型对乳腺亚型肿瘤图像的分类效果并不理想. 为了解决这一问题，本文在 ConvNext-T网络中引入通道注意力机制，提出了基于通道注意力机制的ConvNext-T乳腺肿瘤分类模型，即SE-ConvNext-T网络模型，让网络聚焦于图像中重要的通道特征信息，同时剔除冗余信息，提高网络的特征提取能力和分类精度.

SE-ConvNext-T网络模型结构主要由图像预处理（stem）模块和4个阶段（stage）组成，如图4所示. 其中stage2、stage3和stage4包含的每个ConvNext Block模块和Down Sample层都加入SE模块，以提高网络的特征表达能力. 在Down Sample层的Conv2d卷积层后引入SE模块，以动态调整卷积后的特征图，减少网络的参数和计算量，使输入到ConvNext Block模块的特征图具有更好的表达能力、更高的速度和效率. 在ConvNext Block模块中的Layer Scale操作前引入SE模块，以学习每个通道的重要性，并对每个通道的特征进行加权融合，更好地提取局部区域通道特征. 而且SE模块和Layer Scale操作均在通道方向上操作，可以互相补充，所以在Layer Scale操作之前嵌入SE模块能够提高网络对重要信息的提取能力，聚焦于图像中重要的特征和区域，并剔除冗余信息，以提高模型的泛化能力和鲁棒性.

2 实验与结果分析

为验证本文提出的SE-ConvNext-T网络模型对乳腺组织病理图像分类的分类效果，采用BreaKHis乳腺组织病理图像数据集进行验证.

2.1 实验环境与模型参数设置

2.1.1 实验环境

本实验是在Windows10 64位专业版的操作系统环境下，基于PyTorch深度学习框架构建. 实验环境见表1.

2.1.2 参数设置

实验中的训练迭代次数为100，批量大小设置为16，优化器为AdamW，学习率（lr）为5e-4，权重衰减（wd）为5e-2.

2.2 数据集及预处理

2.2.1 数据集

BreaKHis乳腺组织病理图像数据集由巴西病理解剖学和细胞病理学（P&D）实验室收集，数据集包括7909张乳腺组织切片的PNG格式图片，良性样本占2480张，恶性样本占5429张，尺寸为700 × 460的像素，分为4种放大倍数. 此外，数据集基于良性和恶性样本将其分为腺病、纤维腺瘤、叶柄状瘤、管状腺瘤、导管癌、小叶癌、粘液癌和乳头状癌8个亚型子类. 亚型子类在不同放大数据下的数量如表2所示，以40倍放大倍数放大的亚型子类的乳腺组织病理图像如图5所示.

2.2.2 染色归一化处理

BreaKHis数据集中的病理图像使用了不同的染色方式，导致颜色上有所差异，这会影响卷积神经网络对图像特征信息的提取能力和分类效果. 因此，本文采用了VAHADANE等人提出的颜色归一化方法^［15］，对乳腺组织病理图像进行染色归一化处理，该方法的核心是使用稀疏正则非负矩阵分解来实现源图像和目标图像的精确着色分离，保留生物组织结构. 染色归一化处理的效果如图6所示.

2.2.3 数据增强

数据集大小对深度学习网络的训练结果有着非常重要的影响，通过数据增强技术可以有效地增加数据集的数量和多样性，从而提高深度学习模型的泛化能力. BreaKHis乳腺组织病理图像数据集，存在良性和恶性肿瘤图像数据量不平衡的问题. 为了解决这个问题，本文采用了常见的图像变换方式，如旋转、翻转和缩放等方法，对良性肿瘤图像数据进行扩充，以实现每个类别的图像数量均衡. 经过数据增强处理的结果示例如图7所示.

数据增强后不同放大倍数下的训练集、验证集和测试集数目如表3所示.

2.3 实验评价指标

本文选取精确度（Precision）、特异度（Specificity）、灵敏度（Sensitivity）、准确率（Accuracy）和F1分数5个评价指标，从不同的角度全面衡量模型对乳腺肿瘤病理图像分类的性能.

精确度是指模型正确预测出的正样本数（True Positive，TP）占正确预测出的正样本数（True Positive，TP）和错误预测出的正样本数（False Positive，FP）之和的比例. 计算公式为：

\mathrm{P}\mathrm{r}\mathrm{e}\mathrm{c}\mathrm{i}\mathrm{s}\mathrm{i}\mathrm{o}\mathrm{n}=\frac{\mathrm{T}\mathrm{P}}{\mathrm{T}\mathrm{P}+\mathrm{F}\mathrm{P}} .（1）

特异性是指在所有实际为负例的样本中，被模型正确识别为负例的比例. 计算公式为：

\mathrm{S}\mathrm{p}\mathrm{e}\mathrm{c}\mathrm{i}\mathrm{f}\mathrm{i}\mathrm{c}\mathrm{i}\mathrm{t}\mathrm{y}=\frac{\mathrm{T}\mathrm{N}}{\mathrm{T}\mathrm{N}+\mathrm{F}\mathrm{P}} .（2）

灵敏度是指在所有实际为正例的样本中，被模型正确识别为正例的比例. 计算公式为：

\mathrm{S}\mathrm{e}\mathrm{n}\mathrm{s}\mathrm{i}\mathrm{t}\mathrm{i}\mathrm{v}\mathrm{i}\mathrm{t}\mathrm{y}=\frac{\mathrm{T}\mathrm{P}}{\mathrm{T}\mathrm{P}+\mathrm{F}\mathrm{N}} .（3）

准确率是指模型正确分类的样本数目占总样本数目的比例. 计算公式为：

\mathrm{A}\mathrm{c}\mathrm{c}\mathrm{u}\mathrm{r}\mathrm{a}\mathrm{c}\mathrm{y}=\frac{\mathrm{T}\mathrm{P}+\mathrm{T}\mathrm{N}}{\mathrm{T}\mathrm{P}+\mathrm{T}\mathrm{N}+\mathrm{F}\mathrm{N}+\mathrm{F}{\mathrm{P}}_{}}.（4）

F1分数是分类任务的综合评价指标，它衡量了分类模型的精确度，并考虑了其精确度和灵敏度，同时也考虑了阳性和阴性样本的准确识别. 其值范围从0到1，值越高，说明模型性能越好. 计算公式为：

\mathrm{F}\mathrm{1}=\frac{\mathrm{2}\times \mathrm{P}\mathrm{r}\mathrm{e}\mathrm{c}\mathrm{i}\mathrm{s}\mathrm{i}\mathrm{o}\mathrm{n}\times \mathrm{S}\mathrm{e}\mathrm{n}\mathrm{s}\mathrm{i}\mathrm{t}\mathrm{i}\mathrm{v}\mathrm{i}\mathrm{t}\mathrm{y}}{\mathrm{P}\mathrm{r}\mathrm{e}\mathrm{c}\mathrm{i}\mathrm{s}\mathrm{i}\mathrm{o}\mathrm{n}+\mathrm{S}\mathrm{e}\mathrm{n}\mathrm{s}\mathrm{i}\mathrm{t}\mathrm{i}\mathrm{v}\mathrm{i}\mathrm{t}\mathrm{y}}.（5）

2.4 实验结果与分析

为验证本文提出的网络模型的分类性能. 本文以放大200倍的数据集为例，采用迁移学习方法对SE-ConvNext-T和ConvNext-T网络模型进行训练，并记录两个网络每次训练时的损失值，如图8所示. 在训练20次epoch后，SE-ConvNext-T网络的损失值趋于平稳，模型逐渐收敛. 相比之下，ConvNext-T网络在训练40次epoch后，损失函数曲线才开始趋于平稳. 在训练的10次epoch内，SE-ConvNext-T网络的损失函数曲线下降速度更快，该测试结果表明，引入通道注意机制的SE-ConvNext-T网络显著降低了图像中冗余信息的干扰，提高了模型的训练效率.

进一步将SE-ConvNext-T网络模型分别在40倍、100倍、200倍和400倍放大的测试集下进行分类测试，并计算分类结果的混淆矩阵，如图9所示. 混淆矩阵的主对角线颜色越深，分类的精度越高. 混淆矩阵的纵轴表示预测的标签，横轴表示真实的标签.

从混淆矩阵可以看出，SE-ConvNext-T网络对不同放大倍数测试数据集的乳腺肿瘤病理图像具有相对理想的分类效果. 例如，在放大倍数为400倍的数据集中，只有11个乳腺肿瘤病理图像分类错误.

基于混淆矩阵计算SE-ConvNext-T网络模型的多个分类评价指标，结果汇总见表4.

为了进一步评估SE-ConvNext-T模型的泛化性能，本文利用40倍测试集对SE-ConvNext-T和ConvNext-T模型进行了ROC曲线分析，如图10所示. ROC曲线反映了模型在不同阀值下的分类性能表现，其中横坐标代表假阳性率（FPR），纵坐标代表真阳性率（TPR）. ROC曲线越靠近左上角，表示模型的性能越好. 模型分类效果与曲线下AUC面积成正相关. 从图10看出，相比ConvNext-T模型，SE-ConvNext-T模型的AUC指标提高了1.28%，表明该模型具有更好的泛化性能和鲁棒性.

为了进一步评估SE-ConvNext-T模型的性能，将SE-ConvNext-T网络与在BreakHis数据集上进行训练测试的其他文献中的方法、以及ConvNext-T网络模型的实验结果进行了对比，评价结果统计如表5.

实验结果表明，SE-ConvNext-T模型在4个不同放大倍数下的分类准确率均优于表中的其他方法. 由于模型融合了通道注意力机制，可以关注到乳腺肿瘤病理图像中的重要特征并抑制不重要的特征，从而学习到更重要的通道特性信息，并剔除冗余信息，分类性能表现更好.

3 乳腺癌病理分类微信小程序设计

为了帮助医生更直观地对乳腺进行自动分类诊断，提高乳腺癌的诊断效果. 将训练好的SE-ConvNext-T模型应用于乳腺肿瘤病理分类辅助系统中，开发了一个微信小程序.

3.1 病理诊断功能模块的设计

微信小程序诊断模块具体思路如图11所示. 用户可以从本地相册中选择或者是使用相机拍照的方式将乳腺组织病理图像上传到腾讯云服务器. 上传完成后，小程序会向服务器发送一个HTTPS请求，后端解析请求，并使用部署在腾讯云服务器上的SE-ConvNext-T模型进行处理，预测出图像所属的乳腺亚型肿瘤类型. 模型处理完后，将预测结果转换成JSON格式并返回给小程序进行页面渲染.

3.2 服务端模型部署实现

将SE-ConvNext-T模型部署到腾讯云服务器如图12所示，分四步完成部署实现过程：

（1）选择Ubuntu18.04版本的腾讯云服务器，并搭建Python3.8版本的虚拟环境；

（2）将Flask框架编写的Web应用程序和SE-ConvNext-T模型文件一起迁移到腾讯云服务器中并进行同步；

（3）在Ubuntu18.04环境下配置Nginx反向代理，将微信小程序的请求转发到后端服务器的IP地址和端口上；

（4）文件配置后，使用gunicorn启动服务.

3.3 病理诊断微信小程序实现

病理诊断微信小程序采用WXML+WXSS+JS前端语言和小程序API进行开发. 主要实现乳腺肿瘤病理图像的八分类诊断. 具体操作如下：

用户打开小程序后，可以选择病理诊断功能，并在下拉菜单中选择“相册和拍照”按钮. 如果用户选择相册，可以在本地相册中选取一张乳腺肿瘤病理图像，并点击“上传图片”按钮. 小程序会将该图像转换成二进制数据并向后端发送一个HTTPS请求，后端会解析该请求，并使用SE-ConvNext-T模型对上传的图像进行处理. 处理完成后，模型将预测结果转换成JSON格式，并将其渲染在小程序页面上，如图13所示.

4 结语

本文针对乳腺癌病理图像分类问题提出基于迁移学习的通道注意力机制SE-ConvNext-T网络模型，该网络在基于迁移学习的ConvNext-T模型的基础上，在ConvNext Block和Down Sample层中插入通道注意力SE模块，使网络聚焦图像中重要的特征信息，剔除冗余信息，提高模型的分类性能和鲁棒性. 实验结果表明，本文方法在BreaKHis乳腺癌病理图像的八分类任务中，平均分类准确率达到99.18%. 而且为了减轻医生工作负担，向医生和患者提供更好的服务，本文还将设计好的网络模型部署在服务器上开发了一个辅助诊断微信小程序，来辅助医生对乳腺癌进行诊断并给出诊断建议.

参考文献

[1] 郑荣寿， 张思维， 孙可欣，等. 2016年中国恶性肿瘤流行情况分析 ［J］. 中华肿瘤杂志， 2023， 45（3） ： 212-220.

[2] 余学红.高校女教工乳腺疾病发病率调查分析［J］.中南民族大学学报（自然科学版），2013，32（4）：56-58.

[3] QU A， CHEN J， WANG L， et al. Segmentation of Hematoxylin-Eosin stained breast cancer histopathological images based on pixel-wise SVM classifier［J］. Science China Information Sciences， 2015， 58（9）： 1-13.

[4] PAUL A， DEY A， MUKHERJEE D P， et al. Regenerative random forest with automatic feature selection to detect mitosis in histopathological breast cancer images［M］//NAVAB N， HORNEGGER J， WELLS W M， et al， eds. Lecture Notes in Computer Science. Cham： Springer International Publishing， 2015： 94-102.

[5] SPANHOL F A， OLIVEIRA L S， PETITJEAN C， et al. A dataset for breast cancer histopathological image classification［J］. IEEE Transactions on Bio-Medical Engineering， 2016， 63（7）： 1455-1462.

[6] CHAN A， TUSZYNSKI J A. Automatic prediction of tumour malignancy in breast cancer with fractal dimension［J］. Royal Society Open Science， 2016， 3（12）： 160558.

[7] LITJENS G， KOOI T， BEJNORDI B E， et al. A survey on deep learning in medical image analysis［J］. Medical Image Analysis， 2017， 42： 60-88.

[8] 赵晓平， 王荣发， 孙中波， 等. 改进DenseNet的乳腺癌病理图像八分类研究［J］. 计算机工程与应用， 2023， 59（5）： 213-221.

[9] YU D， LIN J， CAO T， et al. SECS： An effective CNN joint construction strategy for breast cancer histopathological image classification［J］. Journal of King Saud University - Computer and Information Sciences， 2023， 35（2）： 810-820.

[10] LIU Z， LIN Y， CAO Y， et al. Swin transformer： Hierarchical vision transformer using shifted windows［C］// Proceedings of the IEEE/CVF international conference on computer vision.Montreal：IEEE，2021： 10012-10022.

[11] LIU Z， MAO H， WU C Y， et al. A ConvNet for the 2020s［C］//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. New Orleans：IEEE，2022： 11976-11986.

[12] 李建威， 吕晓琪， 谷宇. 基于改进ConvNeXt的皮肤镜图像分类方法［J］. 计算机工程， 2023， 49（10）： 239-246， 254.

[13] 陈罗林，周煜松，徐胜舟.基于多光谱通道注意力和双向特征融合的乳腺肿块检测［J］.中南民族大学学报（自然科学版），2023，42（1）：111-119.

[14] HU J， SHEN L， ALBANIE S， et al. Squeeze-and-excitation networks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2019，42（8）：2011-2023.

[15] ZHANG L， WANG J， LI B， et al. A MobileNetV2-SENet-based method for identifying fish school feeding behavior［J］. Aquacultural Engineering， 2022， 99： 102288.

[16] VAHADANE A， PENG T， ALBARQOUNI S， et al. Structure-preserved color normalization for histological images［C］//2015 IEEE 12th International Symposium on Biomedical Imaging （ISBI）. Brooklyn： IEEE， 2015： 1012-1015.

[17] BOUMARAF S， LIU X， ZHENG Z， et al. A new transfer learning based approach to magnification dependent and independent classification of breast cancer in histopathological images［J］. Biomedical Signal Processing and Control， 2021， 63： 102192.

基金资助

中央高校基本科研业务费专项资金资助项目(CZY23032)