结合CNN与Transformer的双流U型医学图像分割网络

摘要

为有效利用医学输入图像的局部特征与全局语义信息，从而获得边界更清晰、语义结构更完整的图像分割结果，提出一种结合CNN与Transformer的双流U型医学图像分割网络(DS-UNet).首先，双流U型结构由用于局部特征提取的CNN分支和进行全局特征提取的Swin Transformer分支构成；之后，为实现局部特征与全局特征的优势互补，以通道注意力和空间注意力为基础，提出了CNN和Transformer的融合模块(CTFB),并将其作为DS-UNet的重要组件，用于特征处理3个关键阶段双分支的信息交互与特征融合；此外，还提出一种用于双分支特征图与浅层多尺度特征图融合的跨分支信息增强模块(CBIE),为后续分割结果的生成做进一步的全局语义信息增强与浅层细节补充.以Dice相似系数与IoU值为评价指标，在GlaS、MoNuSeg、QaTa-COV19以及Synapse 4个公开数据集的对比实验表明，DS-UNet优于其他大部分竞争算法，并在GlaS、MoNuSeg以及Synapse数据集上性能最优.

关键词

医学图像语义分割 / 双流U型结构 / Swin Transformer / CNN / 特征融合

基金资助

国家自然科学基金项目(42071167)资助; 河北省自然科学基金项目(A2022205028)资助; 河北省科技计划项目(236Z0105G)资助