基于跨模态自监督预训练的U-Net弱监督分割性能提升

摘要

在医学图像分割面临标注数据稀缺、弱监督方法性能受限的背景下，本研究为提升基于U型网络(U-Net)的弱监督分割精度，提出一种融合跨模态自监督预训练的技术方案。该方案利用大规模无标注多模态医学图像进行自监督对比学习预训练，学习到更具判别性的通用特征表示，进而初始化U-Net网络的编码器权重，并在目标数据集仅采用弱标注进行微调。实验结果表明：所提方法能有效挖掘跨模态信息与无标注数据的价值，显著增强模型在有限标注下的特征学习能力与泛化性，有效提升模型的分割鲁棒性，其在公开医学图像数据集上的分割性能显著优于当前多种主流弱监督分割方法。

关键词

医学图像分割 / 弱监督学习 / 自监督预训练 / 跨模态学习 / U型网络(U-Net)