基于多分支自适应融合的多模态MR图像合成方法

摘要

多模态磁共振图像（MR）为临床诊断与治疗提供全面且关键的信息，生成缺失模态图像有助于医学分析。针对现有合成方法在输入模态数量固定及合成图像的质量和结构保真度不佳等局限，本研究基于生成对抗网络框架提出一种多分支自适应融合与模态一致性引导的多模态磁共振图像合成方法（MMFC-GAN）。通过引入目标模态标签、零图像占位和多分支编码策略，实现对任意模态组合输入的高效医学图像合成。其中，目标模态标签引导解码器聚焦于所需特征，零图像占位处理输入模态不完整问题，而多分支编码确保各模态特征独立提取与灵活融合，增强模型对多模态图像输入的适应性与合成能力。此外，引入模态一致性引导机制，在潜在空间对不同模态的编码特征进行对齐，强化模态间的结构信息一致性，从而提升生成图像的结构保真度和合成质量。在BraTS2020和ISLES2015数据集上验证了本方法的有效性。实验结果表明，合成图像的峰值信噪比（PSNR）均超过24 dB，优于现有主流方法，且在视觉质量上达到最优水平。

关键词

磁共振成像 / 多模态图像合成 / 生成对抗网络 / 特征一致性