基于文本注释和Transformer的病理图像细胞核分割

陈金令; 陈宇; 唐卓葳; 魏继鸿; 柯琦; 季语祝; 高子清

中国医学物理学杂志 ›› 2025, Vol. 42 ›› Issue (10) : 1328 -1336.

陈金令, 陈宇, 唐卓葳, 魏继鸿, 柯琦, 季语祝, 高子清

作者信息 +

Author information +

文章历史 +

摘要

针对以卷积神经网络（CNN）为主干的U-Net网络只擅长获取局部特征、感受野受限的问题，提出一种基于CNN和Vision Transformer(ViT)的VLi-net细胞核分割方法。首先，为缓解数据标注成本高、数据数量少等问题，引入文本注释来增强网络对图像信息的理解；然后，为提高VLi-net分割性能将CNN和ViT相结合，充分提取全局和局部特征，并将多感受野卷积特征引入到ViT结构中，有效缓解ViT局部信息交互有限和特征表示单一的问题；最后，提出交互融合模块（ViFusion），有效地融合CNN和ViT两个分支的多层次特征。实验表明，VLi-net在MoNuSeg数据集上的Dice系数得分为80.85%,MIoU为66.83%，在DSB-2018数据集上的Dice系数得分为80.53%,MIoU为67.54%；在TNBC数据集上的Dice系数得分为86.87%,MIoU为77.44%。与其他方法相比，VLi-net在多个实验各项指标均达到最优。