基于多模态深度学习的特定虚拟图像视觉特征自动补偿

何伟; 杨大伟; 马天福; 马崇瑞; 苑学贺

doi:10.16339/j.cnki.jsjsyzdh.202403018

计算技术与自动化 ›› 2024, Vol. 43 ›› Issue (03) : 102 -107. DOI: 10.16339/j.cnki.jsjsyzdh.202403018

基于多模态深度学习的特定虚拟图像视觉特征自动补偿

何伟, 杨大伟, 马天福, 马崇瑞, 苑学贺

作者信息 +

Author information +

文章历史 +

PDF

摘要

为了提高特定虚拟图像视觉特征缺失补偿效果，提出了基于多模态深度学习的特定虚拟图像视觉特征自动补偿方法。首先，通过结合主成分分析(PCA)降维方法和结构张量的非局域全变分方法，对图像实行冗余信息去除和去噪处理；其次，通过稀疏自编码器和卷积池化技术展开深度学习，获取多模态下图像的彩色图、深度图、灰度图和3D曲面法线特征；最后，通过卷积神经网络完成特定虚拟图像视觉特征自动补偿。测试结果表明：这种特征补偿方法能够通过预处理提高图像清晰度，且图像视觉特征自动补偿质量较高。