基于多模态融合的深度神经网络图像复原方法

李伟伟; 王丽妍; 傅博; 王娟; 黄虹

doi:10.13413/j.cnki.jdxblxb.2022343

吉林大学学报(理学版) ›› 2024, Vol. 62 ›› Issue (02) : 391 -398. DOI: 10.13413/j.cnki.jdxblxb.2022343

基于多模态融合的深度神经网络图像复原方法

李伟伟, 王丽妍, 傅博, 王娟, 黄虹

作者信息 +

Author information +

文章历史 +

PDF (3738K)

摘要

针对水下图像成像环境复杂常受偏色等因素干扰而影响后续图像分析的问题，提出一种基于多尺度特征与三重注意力多模态融合的深度卷积神经网络图像复原方法.首先，深度卷积神经网络在抽取图像空间特征的基础上，引入图像多尺度变换特征；其次，通过通道注意力、监督注意力和非局部注意力，挖掘图像特征的尺度间相关性、特征间相关性；最后，通过设计多模态特征融合机制，将上述两类特征有效融合.在公开的水下图像测试集上进行测试并与当前主流方法进行对比的实验结果表明，该方法在峰值信噪比、结构相似性等定量对比以及颜色、细节等定性对比上都优于对比方法.