基于CMCA的多模态医学图像融合方法

摘要

针对医学图像中存在噪声影响融合效果的问题，提出了基于跨模态通道感知（cross-modal channel-aware,CMCA）的多模态医学图像融合方法。引入挤压-激励模块增强的双分支编码器，在提取过程中进行通道加权，获取独立的模态特征；构建跨模态通道感知融合模块，整合提取的信息，实现特征互补融合；结合图像熵与中值加权建立复合损失函数，在训练过程中保留细节信息，抑制噪声，实现多模态医学图像融合。实验结果表明，采用磁共振成像和计算机断层扫描（MRI-CT）数据集测试，多模态医学图像融合方法的平均梯度为8.630，标准差为82.301，空间频率为35.728，结构相似性指数为1.173，对辅助医生分析病灶信息具有参考价值。

关键词

医学图像融合 / 深度学习 / 通道注意力