基于深度学习与D-S理论的多模态数据特征融合算法

张燕

doi:10.13413/j.cnki.jdxblxb.2024171

吉林大学学报(理学版) ›› 2025, Vol. 63 ›› Issue (03) : 855 -860. DOI: 10.13413/j.cnki.jdxblxb.2024171

基于深度学习与D-S理论的多模态数据特征融合算法

张燕

作者信息 +

Author information +

文章历史 +

PDF (1755K)

摘要

针对传统多模态数据特征融合算法存在融合效果较差的问题，提出一种基于深度学习与D-S(Dempster-Shafer)理论的多模态数据特征融合算法.首先，在深度学习框架内，采用受限Boltzmann机(RBM)对多模态数据进行训练，根据数据的特性和任务需求，构建RBM模型结构进行多模态数据特征选择.其次，根据选取的特征选择计算同类模态数据之间的距离，确定信任函数，并设定阈值以删除异常数据，实现同类模态数据初步融合.最后，通过计算异类模态数据与不同等级特征之间的距离，确定异类数据的信任函数，结合D-S理论实现多模态数据特征融合.实验结果表明，该算法的纯度最高达1.0,标准化互信息最高达0.3,表明该算法可以获取精准的多模态数据特征融合结果.