基于深度学习的机器人多模态感知与抓取检测技术

摘要

针对非结构化环境中机器人抓取任务面临的场景复杂、目标多样及单模态感知鲁棒性不足等问题，本研究提出一种基于深度学习的多模态感知与抓取检测技术。该技术融合红绿蓝(RGB)图像与深度点云数据，构建双流特征提取网络，并通过跨模态注意力机制实现异构信息的自适应加权聚合。在抓取检测层面，设计了面向堆叠场景的抓取位姿回归模块，输出平面抓取位姿参数。实验结果表明，所提方法在复杂堆叠场景下，针对规则与异形物体均取得了较高的抓取成功率，较单模态基线方案性能显著提升，验证了多模态融合策略的有效性与泛化能力。

关键词

深度学习 / 多模态感知 / 抓取检测 / 特征融合 / 机器人操作