多特征融合的目标物体导航方法

摘要

目标物体导航是在未知的环境中根据视觉观察到达预期的目标物体。其中，如何从视觉观察中找到目标物体的方向是至关重要的。针对这一问题，提出一种基于多特征融合的目标物体导航方法。该方法通过特征融合模块融合包含导航环境整体信息、局部信息的视觉特征和指代目标物体语义的文本特征，得到表征导航方向的方向特征和导航环境的环境特征，将视觉表示与导航方向相关联，从而指导导航动作的生成，约束代理朝目标物体方向导航，提高模型的导航成功率和效率。AI2-Thor数据集上的实验表明，和基准模型对比，导航成功率SR提升11.7%、导航成功路径长度加权比率SPL提升0.093；和目前先进的方法对比，SR提升2.1%、SPL提升0.008。实验结果证明了该方法的准确性和高效性。

关键词

目标物体导航 / 多特征融合 / 多头注意力机制 / 深度强化学习

基金资助

广东省科技计划（2020A0505100015）; 广东省高校教师特色创新研究项目（2022DZXX03）