基于改进U-Net和跨模态自蒸馏的医学图像融合

摘要

针对医学图像融合方法中存在融合图像信息完整性丢失和跨模态特征提取不足的问题，提出了一种基于改进U-Net和跨模态自蒸馏的医学图像融合方法。该方法改进了U-Net的编码部分，设计了一个双分支编码器，它结合了CNN和Transformer的优势，能够更有效地捕捉和保留医学图像的局部特征和全局特征，解决了信息完整性丢失的问题。采用跨模态自蒸馏技术，在两幅医学图像的CNN分支之间、 Transformer分支之间进行信息传递，加强不同模态特征之间的交互，最大程度地获取跨模态特征。在解码阶段，提出注意力门机制代替U-Net中的跳跃连接，保证网络能够有效关注关键特征，进一步增强了融合图像的信息完整性。实验结果表明，相较于其他方法，该方法得到的融合图像不仅保留了更完整的纹理细节和边缘信息，而且有效地解决了跨模态特征提取不足的问题。

关键词

医学图像融合 / U-Net / 跨模态自蒸馏 / 跨模态特征 / 注意力门

基金资助

山西省重点研发计划资助项目（202102010101011）