基于残差密集融合对抗生成网络的PET-MRI图像融合

摘要

为了增强核磁共振与正电子发射断层扫描图像融合的纹理细节，摆脱人工设计融合规则对先验知识的依赖.提出了自适应的残差密集生成对抗网络(adaptive dense residual generative adversarial network, ADRGAN)来融合两种模态的医学图像.ADRGAN设计了区域残差学习模块与输出级联生成器，在加深网络结构的同时避免特征丢失；然后，设计了基于自适应模块的内容损失函数，强化输出融合图像的内容信息；最后，通过源图像的联合梯度图与融合图像的梯度图构建对抗性博弈来高效训练生成器与鉴别器.实验结果表明，ADRGAN在哈佛医学院MRI/PET数据集的测试中峰值信噪比和结构相似度分别达到55.212 4和0.469 7,均优于目前最先进的算法；所构建的模型具有端对端和无监督两特性，无需人工干预，也不需要真实数据作为标签.

关键词

深度学习 / 对抗生成网络 / 多模态图像融合 / 密集残差网络