基于扩散的多模态医学图像融合

摘要

近年来，随着医学影像学技术的持续发展，图像融合技术在医学图像分析中得到了广泛应用。传统的融合技术受限于人工设计的特征提取过程，导致对图像语义信息的理解和匹配精度不高，且无法充分利用多模态图像的信息。通过研究一种基于扩散模型的多模态图像融合方法，利用扩散模型逐步学习多通道图像在潜在空间的联合特征，克服单一端到端网络学习能力有限的问题，生成高质量的融合图像，并对逆向去噪过程针对多模态医学图像融合任务做出了改进。引入了两个模态判别器加强去噪网络对于模态特征的理解，充分利用不同成像模态之间的互补性信息。在AANLIB数据集上的实验表明，该方法实现了令人满意的融合结果。

关键词

深度学习 / 图像融合 / 扩散模型 / 多模态