一种交互连接CNN和Transformer的肠道息肉图像分类网络

摘要

利用内镜图像对结直肠息肉进行风险分类至关重要，能够提高临床诊断准确性并降低结直肠癌死亡率.然而，目前基于卷积神经网络(CNN)或视觉Transformer(ViT)的分类方法不能很好地区分类内尺度大和类间相似性高的息肉图像，针对息肉风险的分类任务亟需改善.CNN中的卷积算子擅长提取局部特征.ViT通过级联自注意力模块可以捕获长距离依赖关系和全局特征.本文提出一个交互连接模块，以交互式的方式将CNN和ViT相连接，以整合多尺度特征；所设计的交互混合模型，能最大限度地保留局部特征和全局表示，显著缓解息肉多分类的类内差异性大、类间相似性高的问题；在大规模自然图像数据集中进行预训练；通过微调模型结构，使用预训练的交互混合模型参数初始化主干网络，并迁移至结直肠息肉数据集中再次训练，实现息肉多分类.在结直肠息肉私有数据集和Kvasir公共数据集上评估所提出模型，实验结果显示总体分类准确率分别达到了85.83%和96.84%,优于本文比较的其他算法；且引入迁移学习可以在降低训练成本的同时提升交互混合模型的分类性能和泛化性，在有限的训练数据集下有助于提高临床诊断效率.

关键词

卷积神经网络(CNN) / 视觉Transformer(ViT) / 结直肠息肉分类 / 多尺度特征 / 迁移学习

基金资助

国家自然科学基金项目(62233016)资助