基于膨胀卷积与图注意聚合的多模态医学图像融合

摘要

针对目前基于深度学习的多模态医学图像融合方法存在高级特征提取不足和低级特征容易丢失的问题，本文提出了基于膨胀卷积与图注意聚合的多模态医学图像融合方法。该方法由双分支编码器、融合模块和解码器三部分组成。双分支编码器由基于卷积的低级编码器和基于图卷积的高级编码器构成。其中，基于卷积的低级编码器主要采用膨胀卷积来减少纹理细节等低级特征的丢失，同时为高级编码器提供初始化的节点特征。基于图卷积的高级编码器则主要采用图注意聚合模块，有效捕获深层语义等高级特征。图注意聚合模块结合边缘编码的多头注意力构建节点邻接矩阵，再基于此邻接矩阵通过图卷积对节点进行深层聚合。融合模块对提取到的特征进行融合，最后使用解码器重建融合图像。将该方法与6种先进的图像融合方法在主观视觉和客观评价指标上进行了对比。结果显示，该方法在EN上相较于IGNet方法提升了2.4%，在AG和MI上相较于DATFuse方法分别提升了3.53%和5.06%，在SD、 SF和SCD上相较于SwinFusion方法分别提升了1.18%, 6.24%和3%，同时该方法得到的融合图像保留了更多的纹理细节信息。综合实验结果表明，该方法实现了多模态医学图像的有效融合，为临床诊断提供了更可靠的图像支持。

关键词

多模态医学图像融合 / 双分支编码器 / 膨胀卷积 / 图卷积 / 多头注意