基于深度学习与D-S理论的多模态数据特征融合算法

摘要

针对传统多模态数据特征融合算法存在融合效果较差的问题，提出一种基于深度学习与D-S(Dempster-Shafer)理论的多模态数据特征融合算法.首先，在深度学习框架内，采用受限Boltzmann机(RBM)对多模态数据进行训练，根据数据的特性和任务需求，构建RBM模型结构进行多模态数据特征选择.其次，根据选取的特征选择计算同类模态数据之间的距离，确定信任函数，并设定阈值以删除异常数据，实现同类模态数据初步融合.最后，通过计算异类模态数据与不同等级特征之间的距离，确定异类数据的信任函数，结合D-S理论实现多模态数据特征融合.实验结果表明，该算法的纯度最高达1.0,标准化互信息最高达0.3,表明该算法可以获取精准的多模态数据特征融合结果.

关键词

深度学习 / D-S理论 / 多模态数据特征 / 融合

基金资助

国家自然科学基金(批准号：41561100); 新疆师范大学自治区“十四五”重点学科招标项目(批准号：23XJKD0202);新疆师范大学校级教学研究与改革项目(批准号：SDJG202214)