基于GAN和多尺度空间注意力的多模态医学图像融合

摘要

针对多模态医学图像融合过程中多尺度特征和纹理细节信息丢失的问题，提出一种基于生成对抗网络和多尺度空间注意力的图像融合算法。首先，生成器采用自编码器结构，分别利用编码器和解码器对输入图像进行特征提取、融合和重建，生成融合图像；其次，整个对抗网络框架采用双鉴别器结构，使得生成器生成的融合图像同时保留多个模态图像的显著特征；最后，构建一种多尺度空间注意力作为编码器进行特征提取的基本模块，利用多尺度结构充分捕获并保留源图像的多尺度特征，并且引入空间注意力更好地保留源图像的结构和细节信息。全脑图谱数据库上的实验结果表明：所提算法生成的融合图像不仅纹理细节更为丰富，有助于人类视觉观察，而且在3种不同类型的医学图像融合任务上平均梯度、峰值信噪比、互信息、视觉信息保真度等客观评价指标的平均值分别达到0.302 3、20.720 7、1.441 4、0.649 8,与其他先进的算法相比具有一定的优势。

关键词

图像融合 / 多模态医学图像 / 生成对抗网络 / 特征金字塔 / 注意力机制