融合多模态感知的机器人抓取策略研究

摘要

物体抓取是机器人的基本技能，而在复杂场景中实现多样的操作抓取是一项具有挑战性的任务.针对复杂操作任务中机器人抓取系统面临的认知局限与动态场景适应性问题，本文提出了任务自适应的多模态感知融合框架.首先，结合视觉语言模型的图像理解和语义推理以及图像分割模型的检测识别，构建了多模态信息感知模型，实现任务场景的图文推理和物体识别.其次，融合语言提示和视觉提示提出了动态任务链分解机制，根据场景复杂程度实时调整任务操作步骤的分解并增强感知模型对图像物体的视觉理解.其次，针对机器人末端平行夹爪需适应不同场景的抓取任务问题，提出了一种视觉引导的抓取姿态优化网络，通过引入2×2网格策略进行抓取点预测以及编码器-解码器架构的姿态优化网络，联合优化姿态的几何精度与物理可行性.最后，为了快速适应不同场景下新工具或新物体抓取操作的零样本泛化任务，提出策略优化架构，综合考虑子任务完成、路径平滑性和时间效率，设计多维度奖励函数，使机器人能够适应动态环境并实时调整策略.通过设计复杂操作任务场景进行机器人的抓取实验，证实了所提的方法在不同应用场景的操作扩展性能，对于各种复杂抓取任务有着良好的泛化性和鲁棒性.

关键词

多模态感知 / 机器人抓取 / 策略优化 / 抓取姿态优化

基金资助

浙江省自然科学基金白马湖实验室联合基金项目(LBMHD24F030002)资助; 国家自然科学基金项目(62373329,62203392)资助; 浙江省高层次人才特殊支持计划项目(2021R52004)资助