基于文本注释和Transformer的病理图像细胞核分割

摘要

针对以卷积神经网络（CNN）为主干的U-Net网络只擅长获取局部特征、感受野受限的问题，提出一种基于CNN和Vision Transformer(ViT)的VLi-net细胞核分割方法。首先，为缓解数据标注成本高、数据数量少等问题，引入文本注释来增强网络对图像信息的理解；然后，为提高VLi-net分割性能将CNN和ViT相结合，充分提取全局和局部特征，并将多感受野卷积特征引入到ViT结构中，有效缓解ViT局部信息交互有限和特征表示单一的问题；最后，提出交互融合模块（ViFusion），有效地融合CNN和ViT两个分支的多层次特征。实验表明，VLi-net在MoNuSeg数据集上的Dice系数得分为80.85%,MIoU为66.83%，在DSB-2018数据集上的Dice系数得分为80.53%,MIoU为67.54%；在TNBC数据集上的Dice系数得分为86.87%,MIoU为77.44%。与其他方法相比，VLi-net在多个实验各项指标均达到最优。

关键词

病理图像 / 细胞核分割 / 文本注释 / 特征融合