基于多模态融合的脊柱图像分割方法

摘要

目的 结合脊柱CT和MR多模态医疗图像的互补信息，综合利用骨骼和软组织的详细特征，改善识别的准确性，提高脊柱医疗图像的分割精度，进而提供更全面的脊柱病变评估。方法 构建一个多模态医疗图像融合网络模型和一个半监督分割网络模型，分别用于脊柱CT和MR图像的融合以及基于融合图像的分割任务。多模态融合网络通过共享编码器保留不同模态的共同特征，基础编码器提取全局特征，细节编码器专注于局部细节。半监督分割网络模型采用双子网络架构，并引入对比差异评审模块和动态竞争伪标签生成模块来纠正和约束网络训练。结果 多模态融合网络在图像信息保留和特征保持方面表现优异，融合图像的高频信息噪声更少。半监督分割网络在Dice系数和Jaccard系数上均表现优异，改善了脊柱软组织与骨组织之间的清晰度。结论 多模态医疗图像融合网络和半监督分割网络有效地提升了脊柱图像的融合和分割精度。通过对比差异评审和动态竞争伪标签生成模块的引入，进一步提高分割结果的准确性，为脊柱疾病的评估提供更加清晰和可靠的图像信息。

关键词

多模态 / 图像融合 / 图像分割 / 半监督 / 脊柱

基金资助

山东省重点研发计划(重大科技创新工程)(2022CXGC010503)