基于单目视觉前馈的机械臂目标快速三维瞄准方法

摘要

针对基于单目视觉的机械臂目标瞄准缺少三维深度信息和收敛速度慢等问题，提出了一种单目视觉前馈的六自由度机械臂快速瞄准方法。首先，对YOLOv4的CSPDarknet网络进行裁剪，减少Conv2d＿BN＿Mish单元数量，简化特征提取网络复杂度，得到Lite YOLOv4以此提高目标检测速度；其次，根据从单目图像中检测得到的目标像素坐标，求取目标像素坐标的反投影归一化坐标，得到激光瞄准器期望的相对三维瞄准射线方程；再次，提出多点标定法实现单目相机、激光瞄准器以及机械臂坐标系的外参数标定，并根据外参数标定结果与激光瞄准器的期望三维射线方程计算机械臂各个关节的期望姿态；最后，基于机械臂的直接位置控制代替图像视觉伺服，加快收敛速度，实现基于单目视觉前馈的机械臂目标快速三维瞄准。经实验验证，所提方法单目平均瞄准响应时间仅为0.611 s,同时目标瞄准成功率达95.238%,与传统基于图像的视觉伺服的方法相比提高了4.762百分点。

关键词

单目视觉 / 视觉前馈 / 自主瞄准 / 深度学习 / 机械臂控制