语言视觉激光多模态融合的机器人导航方法

摘要

针对在移动机器人室内导航过程中，单一使用视觉语言导航算法无法充分利用语义中的方位和环境中的感知信息、无法导航至目标半米内的问题，提出了一种语言视觉激光多模态融合的机器人导航方法.首先，在全局路径规划中，标记地图中的导航点，保留其位姿、图像、点云图和各点之间的拓扑信息，通过多模态融合网络得到各导航点与目标的匹配权值，结合dijkstra算法和方位优化算法，规划出全局路径导航点序列.然后，在局部路径规划中，将多线激光与单目相机进行联合标定，结合目标检测、点云聚类和坐标变换方法得到目标具体位姿，发布导航任务，完成局部路径的规划.最后，通过仿真实验和真实环境实验，验证所提出的导航方法的有效性和可行性.

关键词

移动机器人 / 导航 / 多模态融合网络 / 方位优化 / 多传感器融合