增强现实赋能的移动机器人运动监视与交互系统

Augmented Reality-enabled Motion Monitoring and Interaction System for Mobile Robots

摘要

移动机器人在工作场景中的运动分析能辅助及时发现并解决运行过程中的动态问题，对确保机器人的可靠运行具有重要作用，因此基于增强现实技术设计了移动机器人的运动监控与交互系统。采用融合自然特征和数据通信的方法实现了对部件之间有相对运动的移动机器人动态跟踪注册；基于运动分析策略进行了机器人机械故障预判、稳定性预测、工作空间安全保障、运动预览及示教。搭建的原型系统验证了所提运动分析策略的可行性和有效性。

Abstract

Motion analysis in working scenarios of mobile robots might assist in promptly identifying and resolving dynamic issues during operations， and played a significant role in ensuring the reliable functioning of the robots. A mobile robot motion monitoring and interaction system was designed based on augmented reality technology. By adopting the method of integrating natural features and data communication， the dynamic tracking and registration of mobile robots with relative motion among internal structures components were achieved. Based on the motion analysis strategy， mechanical failure prediction， stability prediction， workspace safety guarantee of robots， motion preview， and teaching were carried out. The prototype system verified the feasibility and effectiveness of the proposed motion analysis strategy.

Graphical abstract

关键词

移动机器人 / 动态跟踪注册 / 状态监视 / 环境适应性 / 人机交互

Key words

mobile robot / dynamic tracking and registration / state monitoring / environmental adaptability / human-robot interaction

0 引言

移动机器人具有自主导航、环境感知与动态决策能力，广泛用于工业制造、仓储物流、医疗服务、特种作业等领域^［1-3］。面对复杂且实时变化的场景时，确保机器人能准确、快速、安全地抵达目标位置、完成预定动作与环境交互是一项具有挑战性的任务^［4］。对工作场景中的速度和加速度、工作空间、稳定性等进行高效、便捷的运动分析可辅助机器人实现上述目标^［5-6］。

机器人运动分析的研究聚焦于设计阶段的性能优化与验证。一方面通过构建运动模型，深入分析机器人的运动学特性，如对仿生水蛇机器人进行运动学计算，建立生物蛇脊椎骨和仿生蛇机器人结构参数之间的运动映射关系^［7］；另一方面基于机器人步态规划，提高其环境适应性与工作平稳性，如通过对周转式轮腿机器人的步态规划，保证机器人质心的运动轨迹平稳^［8］。此外，研究机器人的工作空间可辅助提高机器人的工作效率和安全性。张攀等^［9］求解了六轴搬运机械臂的工作空间，优化了搬运距离和关节方案。

上述方法缺乏对工作场景中机器人运动状态的实时跟踪与分析能力，所呈现的机器人运动状态与物理场景相分离，难以支持与机器人本体的实时交互。因此，如何构建一种具备实时性、直观性、高交互性的机器人运动分析方法成为研究热点。

增强现实技术的快速发展为解决上述问题提供新的思路。通过动态跟踪注册方法实时定位机器人的位姿，并将实时运动分析的数据转化为三维模型或轨迹图叠加到实际环境中，为机器人运动监控与实时交互提供技术支撑^［10-11］。HOANG等^［12］基于HoloLens研制的轮式机械臂增强现实可视化平台，通过标记物注册轮式底座、机器人操作系统（robot operating system，ROS）数据通信同步机械臂的动作，实现了虚实运动同步的可视化。CHANDAN等^［13］采用Unity开发了一套室内多机器人路径预览系统，用户能跨越物理障碍物实时观察机器人的当前状态和行为意图并提供即时路径反馈。郑湃等^［14］开发了一款基于增强现实的互认知人机安全交互系统，从操作者与机械臂的角度规划了人机协作安全策略。以上的机器人运动分析可视化系统多基于HoloLens等头戴式设备开发，且主要面向机械臂、轮式机器人等结构相对简单、工作环境较为单一的对象。对于足式移动机器人等具有复杂机械结构、多样化工作环境的机器人，如何开展便捷、实时且多维度的运动分析仍然有待研究。

动态跟踪注册方法主要基于传感器^［15-16］、标记物^［17-19］、深度学习^［20-21］、自然特征^［22-23］，但基于传感器的方法场景适应性不强，基于标记物的方法场景体验差，基于深度学习的方法需大量训练计算且依赖高可靠性的计算模型。基于自然特征的方法场景适应性较强，适合动态物体的实时运动分析，但针对内部结构部件之间具有相对运动的物体（如足式机器人）的跟踪注册需要建立大型模板库，影响匹配速度。因此，如何以较少的计算量动态跟踪注册内部结构部件之间具有相对运动的物体是亟需解决的问题。

鉴于此，本文提出一种基于增强现实技术的可视化运动分析方法，以在工作场景中实现足式移动机器人的实时状态监测与人机安全交互。

1 系统框架设计

基于增强现实技术的虚实结合特性构建了面向工作场景的机器人运动监控与交互系统，其框架如图1所示。该系统基于动态跟踪注册技术，实现三维同步模型与人机交互平台的结合，将状态检测与故障预判、环境适应性分析、工作安全分析、运动导航等功能集成于一体，对工作场景中的移动机器人进行高效、便捷的运动监控与交互控制。

本系统利用视觉算法和数据通信技术建立虚拟模型与物理环境的精准映射。基于映射关系，将移动机器人的实时运动信息、工作环境信息与机器人本体同步，实现运动分析与移动机器人的虚实融合。

机器人运动状态监控方面，通过系统平台为操作者提供实时的运动预览和状态反馈：机器人执行任务前，系统提前展示工作空间和预览模型；机器人运行过程中，系统以曲线、数值、图形标注的方式显示机器人的足端加速度、稳定裕度、作业范围等信息。这种设计不仅提高了操作人员对机器人运动状态、稳定性、人机协作安全性的认知能力，还帮助操作人员预判机器人运动状态与环境适应性。

人机交互方面，系统通过视觉、超声传感器实时采集操作人员和环境的数据，结合算法进行机器人工作的安全分析与决策。系统向操作人员提供虚拟机器人与实际工作环境的融合信息，支持以虚代实的人机交互。移动机器人面临高风险环境时，通过控制虚拟模型运动的方式进行机器人运动预览和示教，实现安全、可靠的路径规划。

笔者设计的机器人运动监控与交互系统根据不同的功能需求采取不同的实施策略：

1）状态监测与故障预判。系统通过数据通信实时获取足端坐标、速度、加速度等机器人运行状态的关键参数，并以字符、曲线、同步模型等形式实时更新上述关键参数，实现操作者对移动机器人运动状态的监测。通过观察运动曲线的周期性、连续性和平滑性的变化，辅助操作者判断机器人潜在的机械故障，实现早期预警。

2）环境适应性分析。面对非结构化的工作环境时，运动稳定性是评估移动机器人环境适应性的基础。通过感知机器人的零力矩点与足端支撑面的实时位置关系，获取移动机器人的实时稳定裕度，辅助操作者预判移动机器人在非结构化工作环境中的运动稳定性。此外，还可比较机器人各步态在不同环境中的运动稳定性，以获取场景的适应步态。

3）工作安全分析。工作场景中，通过摄像头、传感器等设备监测移动机器人的速度、机器人与障碍物的位置，获取实时的安全边界。人机距离小于安全阈值时，机器人会降速以减小碰撞风险，同时发出警报。操作者通过观察投影于地面的机器人工作空间，以视觉标记的形式实时监控移动机器人的安全范围。

4）运动导航。工作过程中，机器人若面临狭窄通道等高风险环境，则操作者通过控制虚拟三维模型预览运动路径（可进行多次操作、碰撞后修改等），规划出一条安全可靠的示教路径，为机器人本体导航，进一步保障移动机器人的工作安全。

2 运动分析策略的实现与验证

2.1 跟踪注册

移动机器人的位姿是变化的，为实现虚实同步与融合，可通过跟踪注册技术将虚拟模型与机器人本体关联。该技术不仅能增强人对机器人行为的感知能力，还为后续运动监控奠定基础，为交互应用提供可靠的技术支持。

为轻量化动态跟踪内部结构部件之间具有相对运动的移动机器人，本文设计了一种融合自然特征和数据通信的动态跟踪注册方法。利用机器视觉算法实现虚实模型的位姿同步，利用数据通信实现虚实关节的运动同步，使虚拟模型能精准反映机器人本体的实时动态，如图2所示。

系统在线跟踪之前（离线过程），参照移动机器人本体建立等比例的三维模型，基于移动机器人机械结构的运动特点分析部件之间的父子关系。将位姿相对稳定的代表性结构（躯干）作为父结构，将运动幅度较大、关节较多的腿部结构作为子结构，通过旋转关节连接的父子结构，可得移动机器人的关节式模型。由此，移动机器人在工作场景中的移动即可视为代表性结构带动腿部结构的运动。提取代表性结构的局部特征可建立轻量化的图像模板库，为实现移动机器人三维模型与本体之间的虚实融合奠定基础。

系统在线跟踪过程（在线过程）中，通过视觉匹配算法建立移动机器人代表性结构与实际场景的虚实映射，获取跟踪注册的位姿，实现虚实模型的位姿同步；通过数据通信，将移动机器人的运动参数赋值给关节式模型，建立动作同步模型，实现虚实关节的运动同步。结合位姿同步与运动同步进行足式移动机器人的动态跟踪注册，将半透明运动同步三维模型叠加至移动机器人本体，完成虚实融合，为后续的沉浸式机器人运动监控与交互提供技术支撑。

移动机器人一般具有弱纹理外观，基于自然特征的ORB（oriented FAST and rotated BRIEF）算法^［24］会因无法捕捉足够的特征点而匹配失准。Line-Mod算法^［25］主要利用图像的梯度信息和颜色信息进行识别，即使目标物体的纹理不明显，也能识别出移动机器人的初始位姿，因此在确定机器人本体位姿的过程中，本文提出一种结合Line-Mod和ORB进行多层次检测与匹配的视觉算法。首先基于ORB进行视角预筛选以缩小视角，然后基于Line-Mod进行粗匹配，最后基于ORB进行精匹配，并用透视n点（perspective-n-point，PnP）算法计算位姿，实现在中远距离下高效跟踪注册弱纹理且父子结构间存在局部遮挡关系的移动物体。结合Line-Mod和ORB算法进行多层次检测与匹配的静态注册实现过程伪代码如下。

为验证本文注册方法的优越性，将其与基于自然特征的Line-Mod算法进行静态站姿注册的对比。分别从机器人正侧和斜侧进行识别注册，结果如图3所示。

由图3a、图3c可知，两种方法在无遮挡时均能实现各个方向的目标注册，但本文方法具有更优的虚实重合效果。由图3b、图3d可知，有遮挡时，Line-Mod算法无法有效完成注册，本文方法仍能成功识别目标并实现稳定注册。这表明本文方法具有更优的抗干扰性和虚实融合效果。

使用本文的动态跟踪注册方法对移动机器人的Trot步态进行连续实时跟踪注册。图4展示了移动机器人一个运动周期内的Trot步态，红色字母FL、FR、BL、BR分别表示左前腿、右前腿、左后腿和右后腿。

为衡量本文方法注册的实时性，分别对静态站立和Pace步态的移动机器人进行连续跟踪注册，记录两种状态各200帧粗精匹配图像的处理时间。取每帧的平均处理时间作为跟踪注册响应时间，结果如表1所示。机器人静态站立图像每帧的处理时间约为55.30 ms，识别较快；机器人Pace步态的位姿不断变化，对应图像每帧的处理时间达58.45 ms（17.11FPS），满足跟踪注册的实时性要求（不低于15FPS）^［26］。

动态跟踪注册过程主要分为对机器人本体的定位和虚拟模型的渲染，注册延迟主要源于实时定位，因此跟踪注册响应时间可衡量运动监控与交互系统的实时性。后续的运动分析模型与虚拟机器人模型同步实时渲染，可视为与虚拟机器人的动态跟踪注册同步，满足运动分析的实时性要求。

2.2 运动状态监测

机器人运动状态的微小变化难以通过肉眼直接观测，但它可能预示潜在的机械故障或性能退化。因此，本文提出一种可视化运动分析方法，即通过机器人关节的实时运动参数与腿部结构运动分析，求得运动过程中的机器人膝关节与髋关节的舵机角度对足端坐标、运动速度、加速度的影响，并绘制实时线图。通过虚实映射将实时线图与机器人本体叠加，对比无故障的理想线图可知运动状态的实际变化，从而预判潜在的故障，为机器人的预防性维护提供有效的监测渠道。

本文机器人腿部的运动是双舵机共同驱动的大小腿在同一平面内的周期性摆动，因此可将腿部机构视为平面二连杆机构。

机器人足端运动参数（速度、加速度）通过数据通信实时获取的髋关节和膝关节的角度换算得到。如图5a所示的机器人，大腿通过髋关节与躯干相连、小腿通过膝关节与大腿相连。以髋关节的轴心为原点建立机器人左前腿的坐标系O₁X₁Y₁（图5b），正后方为X₁轴正向，垂直于X₁轴向下为Y₁轴正向。图5中，L₁、L₂分别为大腿和小腿的长度，q₁、q₂分别为髋关节、膝关节与上一级结构的夹角。

由图5b所示的几何关系可得足端坐标的分量：

\left.\begin{array}{c}{x}_p=L_{\mathrm{1}}\mathrm{c}\mathrm{o}\mathrm{s}{q}_{\mathrm{1}}+L_{\mathrm{2}}\mathrm{c}\mathrm{o}\mathrm{s}(q_{\mathrm{1}}+q_{\mathrm{2}})\\ y_p=L_{\mathrm{1}}\mathrm{s}\mathrm{i}\mathrm{n}{q}_{\mathrm{1}}+L_{\mathrm{2}}\mathrm{s}\mathrm{i}\mathrm{n}(q_{\mathrm{1}}+q_{\mathrm{2}})\end{array}\right\}（1）

将式（1）中的x_p 、y_p 分别关于q₁、q₂求偏导得

\left.\begin{array}{l}\frac{\partial x_p}{\partial q_{\mathrm{1}}}=-L_{\mathrm{1}}\mathrm{s}\mathrm{i}\mathrm{n}{q}_{\mathrm{1}}-L_{\mathrm{2}}\mathrm{s}\mathrm{i}\mathrm{n}(q_{\mathrm{1}}+q_{\mathrm{2}})\\ \frac{\partial x_p}{\partial q_{\mathrm{2}}}=-L_{\mathrm{2}}\mathrm{s}\mathrm{i}\mathrm{n}(q_{\mathrm{1}}+q_{\mathrm{2}})\\ \frac{\partial y_p}{\partial q_{\mathrm{1}}}=L_{\mathrm{1}}\mathrm{c}\mathrm{o}\mathrm{s}{q}_{\mathrm{1}}+L_{\mathrm{2}}\mathrm{c}\mathrm{o}\mathrm{s}(q_{\mathrm{1}}+q_{\mathrm{2}})\\ \frac{\partial y_p}{\partial q_{\mathrm{2}}}=L_{\mathrm{2}}\mathrm{c}\mathrm{o}\mathrm{s}(q_{\mathrm{1}}+q_{\mathrm{2}})\end{array}\right\}（2）

将式（2）列为矩阵形式，得到速度雅可比矩阵

\mathit{J}=\left[\begin{array}{cc}-L_{\mathrm{1}}\mathrm{s}\mathrm{i}\mathrm{n}{q}_{\mathrm{1}}-L_{\mathrm{2}}\mathrm{s}\mathrm{i}\mathrm{n}(q_{\mathrm{1}}+q_{\mathrm{2}})& -L_{\mathrm{2}}\mathrm{s}\mathrm{i}\mathrm{n}(q_{\mathrm{1}}+q_{\mathrm{2}})\\ L_{\mathrm{1}}\mathrm{c}\mathrm{o}\mathrm{s}{q}_{\mathrm{1}}+L_{\mathrm{2}}\mathrm{c}\mathrm{o}\mathrm{s}(q_{\mathrm{1}}+q_{\mathrm{2}})& L_{\mathrm{2}}\mathrm{c}\mathrm{o}\mathrm{s}(q_{\mathrm{1}}+q_{\mathrm{2}})\end{array}\right]（3）

则，足端速度为

\left[\begin{array}{c}{v}_x\\ v_y\end{array}\right]=\mathit{J}\left[\begin{array}{c}{\dot{q}}_{\mathrm{1}}\\ {\dot{q}}_{\mathrm{2}}\end{array}\right]（4）

q₁、q₂都是时间t的函数。将速度雅可比矩阵对t求导，可得加速度雅可比矩阵\dot{\mathit{J}}，则足端加速度为

\left[\begin{array}{c}{a}_x\\ a_y\end{array}\right]=\dot{\mathit{J}}\left[\begin{array}{c}{\dot{q}}_{\mathrm{1}}\\ {\dot{q}}_{\mathrm{2}}\end{array}\right]+\mathit{J}\left[\begin{array}{c}{\ddot{q}}_{\mathrm{1}}\\ {\ddot{q}}_{\mathrm{2}}\end{array}\right]（5）

由此，可通过膝关节与髋关节的角度、角速度、角加速度求得足端的速度及加速度。

为增强对机器人运动状态的感知，选择最具代表性的足端加速度进行数据可视化，给出足端加速度实时变化曲线和数值，并结合虚实机器人的同步运动，直观展现机器人的运动状态，如图6所示。

正常步态下，移动机器人足端加速度的理想曲线应平滑、连续且具有规律。足端加速度实际曲线出现间断等异常变化时，机器人机械结构存在故障风险，需及时进行检查和维护。足端加速度曲线的波形可反映机器人步态的变化特性。不同步态对应的波形相异，波形幅度、波动周期及间隔均有显著差异。因此获取的加速度曲线不仅能辅助判断机器人当前的运动状态，还能直观展示机器人步态特征。

2.3 环境适应性分析

环境适应性分析主要考虑移动机器人在不同工作环境中的稳定性。通过零力矩点（zero moment point， ZMP）理论可得ZMP位置，结合移动机器人四足在工作环境中着地形成的支撑面以量化稳定性。机器人抬起左前腿FL时，其余三足形成的支撑面为支撑三角形（图7），则量化的稳定裕度为

S_{\mathrm{m}}=\mathrm{m}\mathrm{i}\mathrm{n}(S_{\mathrm{m}\mathrm{1}},S_{\mathrm{m}\mathrm{2}},S_{\mathrm{m}\mathrm{3}})（6）

式中：S_m1、S_m2、S_m3分别为ZMP到支撑三角形三条边的距离。

本文设定基于ZMP的稳定性判据如下：机器人的ZMP位于支撑三角形内时为稳定状态，稳定裕度取正；超出支撑三角形时为不稳定状态，稳定裕度取负。稳定裕度越大，机器人稳定性越强。由式（6）可知，ZMP在支撑三角形的内心时，系统具有最大的稳定裕度。实际场景中，机器人自身振动、足端与地面实际接触位置变化等因素会影响机器人的运动稳定性，本文将S_m=±5mm（具体范围可依据实际情况人为设定）时判定为较不稳定状态。

为可视化表达稳定性，本文设计了包含重心投影模型、足端支撑面模型和实时稳定裕度的稳定性标注。重心投影模型的指向和实时稳定裕度均通过ROS发布的对应话题获取；足端支撑面由脚本控制，而足端着地情况随机器人运动而变化。基于系统展示的重心投影与足端支撑面的位置关系，即基于ZMP的稳定性判据，其中，足端支撑面由抬腿高度相同的足端确定，操作者可判断机器人运动的实时稳定性。

将稳定性标注与机器人虚拟模型结合，叠加于机器人本体，实现稳定性分析的可视化。动态非结构化环境中，机器人运动的稳定性易受坡度等环境因素影响，基于稳定裕度的可视化预判机器人在多变工况下的稳定性。如图8所示，采用可调整角度的斜面模拟斜坡，分析20°、25°、30°、35°、40°斜坡上的机器人Walk步态稳定性，记录三足、四足着地时的稳定裕度和重心投影与支撑面关系，结果如表2所示。

坡度在30°以内时，三足、四足着地的稳定裕度均为正值，重心投影与支撑面相交，机器人处于稳定状态；坡度为35°时，三足着地的稳定裕度接近零，重心投影与支撑面相切，机器人较不稳定，爬坡有倾倒风险；坡度增大到40°时，三足与四足的着地的稳定裕度均为负值，重心投影与支撑面相离，机器人处于不稳定状态，无法爬坡。

为更契合真实场景中的崎岖路面，搭建了图9a所示的实验平台，进行移动机器人的连续动态跟踪注册及稳定性测试。图9中的坡面为代表性起始上坡面（坡面1）、双弧形坡中的下坡面（坡面2）、弧形坡与平面之间的衔接段（坡面3）。由图9b～图9d可知，机器人在适应地面坡度复杂变化并保持运动的过程中，本文系统能对机器人进行实时跟踪注册与稳定性分析，说明系统具备良好的鲁棒性（环境适应性）。同时，根据图9b、9c所示，支撑面四边形与重心投影的交点位置远离支撑面边缘，因此机器人的作业坡度存在提升空间。

2.4 工作安全性分析

工作安全性是指在机器人工作过程中免受潜在风险或伤害的能力。移动机器人位置的时刻变化会加大碰撞等风险。

本文通过工作空间分析策略确定机器人的安全范围，并基于距离控制的方法实现机器人的碰撞预警及移动方案规划，保障机器人的工作安全性。通过视觉感知进行距离监控是最直观的方法，因此用增强现实技术将距离概念可视化，即将虚拟距离信息叠加到真实环境，为操作者提供实时的指导和反馈。具体为：将机器人几何中心设为圆心，根据障碍物与机器人的距离差异设置多种颜色的距离边界，划分出安全、警告、危险三种危险等级区域。

距离边界可依据实际情况人为设定，本文设定的参考值如下：

\left.\begin{array}{l}{R}_{\mathrm{d}}=L_{\mathrm{r}\mathrm{o}\mathrm{b}}/\mathrm{2}\\ R_{\mathrm{w}}=v_{\mathrm{m}\mathrm{a}\mathrm{x}}{t}_{\mathrm{r}\mathrm{e}}+R_{\mathrm{d}}\\ R_{\mathrm{s}}=\sqrt[]{\mathrm{2}}{R}_{\mathrm{w}}\end{array}\right\}（7）

式中：R_d、R_w、R_s分别为危险、警告、安全的区域半径；L_rob为机器人体长；v_max为机器人最大移动速度；t_re为制动装置对碰撞危险的响应时间。

人机距离小于或等于L_rob/2时即视为进入危险距离。警告距离综合考虑了机器人的移动速度、人的反应时间。工作空间中，考虑机器人本体宽度，增加一个环形安全区域作为预警边界，使障碍物在机器人前进方向的水平距离、垂直距离均不小于警告距离，故安全距离半径取为警告距离的\sqrt[]{\mathrm{2}}倍。

通过以距离为标准的响应来减少安全隐患。这些响应包括安全性警告和机器人“距离-速度”控制等。安全性警告通过文字、颜色、声音等信号提醒操作者注意机器人工作空间内存在的风险。机器人“距离-速度”控制指的是对机器人的速度v_rob与人机距离L_HRI设置腿部舵机转速，控制机器人运动，减小碰撞受力。参照ISO/TS15066，速度v_rob为

（8）

通过上述的工作空间分析，用户在实际工作环境中不但可依据可视化的距离边界判断机器人的工作安全性，还可通过安全性警告和机器人“距离-速度”控制降低风险。具体的工作空间示意参照图10a，其中，X轴、Y轴形成的平面为移动机器人的工作平面，红色边界线为危险区域边界线，黄色边界线警告区域边界线，绿色边界线为机器人最小安全区域的边界线。实际环境与机器人虚实融合的部署效果如图10b所示。基于上述模式，在工作空间分析策略上保障机器人的工作安全性。

2.5 运动预览与示教

移动机器人自主工作过程中，面对狭窄、杂乱环境时仍可能出现意外碰撞。针对此类情况，通过运动预览和示教可提前认知和避免工作路径中安全隐患，进一步保障机器人的工作安全性。

运动预览是指移动机器人本体运动前，先由虚拟机器人预先模拟运动，确认运动过程中是否存在与障碍物碰撞的风险，若无碰撞，则将安全工作的示教路径传递给机器人本体。运动预览实现过程如下：将运动预览中狭窄环境转折点的关节角度和位移记录为节点。多个节点组成的示教路径以数组形式序列化后传输给移动机器人，使其按照示教动作和距离运动，效果如图11所示。

如图11a所示，机器人必经之路上有一狭窄通道，为保证机器人安全通过，进行运动示教预览。首先，建立机器人前进路径中的节点，完成运动预览，如图11b所示。然后移动机器人以Walk步态跟随示教路径前进。机器人通过狭窄通道，抵达预览目的地后，重新与虚拟模型重合，如图11c所示。

3 结论

针对移动机器人在实际工作场景中的运动，开发了增强现实赋能的移动机器人运动监视和交互系统，提出了融合局部特征和数据通信的动态跟踪注册方法，实现了移动机器人本体与三维模型的虚实融合。基于获取的实时加速度曲线分析足端加速度变化，辅助操作者进行机器人的状态检测和故障预判。基于零力矩点理论、步态规律实现了机器人运动稳定性判断的可视化，辅助操作者预判机器人的环境适应性。结合人机协作理论，设计了机器人工作空间分析的可视化方案，通过安全性警告和“距离-速度”控制保障机器人工作安全。穿行狭窄通道的实例表明以虚代实的人机交互的运动示教方式可保障机器人的安全性。

参考文献

[1] 吉爱红， 刘荣兴， 陈辉， 等. 多关节连续体机器人的运动分析与遥操作技术［J］. 中国机械工程， 2021， 32（23）： 2883-2889.

[2] JI Aihong， LIU Rongxing， CHEN Hui， et al. Kinematics Analysis and Teleoperation Technology of Multi-joint Continuum Robots［J］. China Mechanical Engineering， 2021， 32（23）： 2883-2889.

[3] HOU Xuyan， LI Wei， HAN Yuexing， et al. A Novel Mobile Robot Navigation Method Based on Hand-drawn Paths［J］. IEEE Sensors Journal， 2020， 20（19）： 11660-11673.

[4] HICHRI B， GALLALA A， GIOVANNINI F， et al. Mobile Robots Path Planning and Mobile Multirobots Control： a Review［J］. Robotica， 2022， 40（12）： 4257-4270.

[5] Da SILVA S P P， ALMEIDA J S， OHATA E F， et al. Monocular Vision Aided Depth Map from RGB Images to Estimate of Localization and Support to Navigation of Mobile Robots［J］. IEEE Sensors Journal， 2020， 20（20）： 12040-12048.

[6] 徐灵敏， 叶伟， 李秦川. 并联机器人逆动力学建模的几何代数方法［J］. 机械工程学报， 2022， 58（7）： 1-11.

[7] XU Lingmin， YE Wei， LI Qinchuan. Geometric Algebra-based Method for Inverse Dynamic Modeling of Parallel Robots［J］. Journal of Mechanical Engineering， 2022， 58（7）： 1-11.

[8] 李凤刚， 赵磊， 何广平， 等. 八自由度连续体操作臂的运动学分析与仿真［J］. 中国机械工程， 2020， 31（16）： 1950-1959.

[9] LI Fenggang， ZHAO Lei， HE Guangping， et al. Kinematics Analysis and Simulation of Eight-degree-of-freedom Continuum Manipulators［J］. China Mechanical Engineering， 2020， 31（16）： 1950-1959.

[10] 王敏， 孙景健， 丁基恒， 等. 基于D-H参数与拉格朗日联立方程的仿生水蛇机器人运动学分析及动力学建模［J］. 机械工程学报， 2024， 60（15）： 134-148.

[11] WANG Min， SUN Jingjian， DING Jiheng， et al. Kinematics Analysis and Dynamics Modeling of Bionic Water Snake Robot Based on D-H Parameters and Lagrange Equations［J］. Journal of Mechanical Engineering， 2024， 60（15）： 134-148.

[12] 曲乃恒， 杨桂林， 郑天江. 基于解耦式主动万向脚轮的全向移动机器人设计［J］. 中国机械工程， 2015， 26（19）： 2601-2605.

[13] QU Naiheng， YANG Guilin， ZHENG Tianjiang. Design of an Omnidirectional Mobile Robot Based on Decoupled Powered Caster Wheels［J］. China Mechanical Engineering， 2015， 26（19）： 2601-2605.

[14] 张攀， 曾怡炜， 张威， 等. 航空货物搬运机器人运动分析与轨迹规划［J］. 机械设计与研究， 2024， 40（3）： 75-80.

[15] ZHANG Pan， ZENG Yiwei， ZHANG Wei， et al. Research on Motion Analysis and Trajectory Planning of Air Cargo Handling Robots［J］. Machine Design & Research， 2024， 40（3）： 75-80.

[16] AIVALIOTIS S， LOTSARIS K， GKOURNELOS C， et al. An Augmented Reality Software Suite Enabling Seamless Human Robot Interaction［J］. International Journal of Computer Integrated Manufacturing， 2023， 36（1）： 3-29.

[17] CHEN Chengjun， PAN Yong， LI Dongnian， et al. A Virtual-physical Collision Detection Interface for AR-based Interactive Teaching of Robot［J］. Robotics and Computer-Integrated Manufacturing， 2020， 64： 101948.

[18] HOANG K C， CHAN W P， LAY S， et al. ARviz： an Augmented Reality-enabled Visualization Platform for ROS Applications［J］. IEEE Robotics & Automation Magazine， 2022， 29（1）： 58-67.

[19] CHANDAN K， KUDALKAR V， LI Xiang， et al. ARROCH： Augmented Reality for Robots Collaborating with a Human［C］∥2021 IEEE International Conference on Robotics and Automation （ICRA）. IEEE， 2021： 3787-3793.

[20] 郑湃， 李成熙， 殷悦， 等. 增强现实辅助的互认知人机安全交互系统［J］. 机械工程学报， 2023， 59（6）： 173-184.

[21] ZHENG Pai， LI Chengxi， YIN Yue， et al. Augmented Reality-assisted Mutual Cognitive System for Human-robot Interaction Safety Concerns［J］. Journal of Mechanical Engineering， 2023， 59（6）： 173-184.

[22] 侯守明， 韩吉， 张煜东， 等. 基于视觉的增强现实三维注册技术综述［J］. 系统仿真学报， 2019， 31（11）： 2206-2215.

[23] HOU Shouming， HAN Ji， ZHANG Yudong， et al. Survey of Vision-based Augmented Reality 3D Registration Technology［J］. Journal of System Simulation， 2019， 31（11）： 2206-2215.

[24] WANG Jun， ZENG Yajun， WEI Shaoming， et al. Multi-sensor Track-to-track Association and Spatial Registration Algorithm under Incomplete Measurements［J］. IEEE Transactions on Signal Processing， 2021， 69： 3337-3350.

[25] KHAN D， ULLAH S， YAN Dongming， et al. Robust Tracking through the Design of High Quality Fiducial Markers： an Optimization Tool for ARToolKit［J］. IEEE Access， 2018， 6： 22421-22433.

[26] YIN Xuyue， FAN Xiumin， YANG Xu， et al. An Automatic Marker–Object Offset Calibration Method for Precise 3D Augmented Reality Registration in Industrial Applications［J］. Applied Sciences， 2019， 9（20）： 4464.

[27] ONG S K， YEW A W W， THANIGAIVEL N K， et al. Augmented Reality-assisted Robot Programming System for Industrial Applications［J］. Robotics and Computer-Integrated Manufacturing， 2020， 61： 101820.

[28] WANG Hao， LIU Li， WANG Ying， et al. Hand Acupuncture Point Localization Method Based on a Dual-attention Mechanism and Cascade Network Model［J］. Biomedical Optics Express， 2023， 14（11）： 5965-5978.

[29] LI Wang， XU Aibo， WEI Ming， et al. Deep Learning-based Augmented Reality Work Instruction Assistance System for Complex Manual Assembly［J］. Journal of Manufacturing Systems， 2024， 73： 307-319.

[30] YAN Hai’an， WANG Jian， ZHANG Peng. Application of Optimized ORB Algorithm in Design AR Augmented Reality Technology Based on Visualization［J］. Mathematics， 2023， 11（6）： 1278.

[31] CHEN Jieyu， XI Zhenghao， LU Junxin， et al. Multi-object Tracking Based on Network Flow Model and ORB Feature［J］. Applied Intelligence， 2022， 52（11）： 12282-12300.

[32] MA Dan， LAI Huicheng. Remote Sensing Image Matching Based Improved ORB in NSCT Domain［J］. Journal of the Indian Society of Remote Sensing， 2019， 47（5）： 801-807.

[33] ZAFAR M H， LANGÅS E F， SANFILIPPO F. Exploring the Synergies between Collaborative Robotics， Digital Twins， Augmentation， and Industry 5.0 for Smart Manufacturing： a State-of-the-art Review［J］. Robotics and Computer-Integrated Manufacturing， 2024， 89： 102769.

[34] 程云， 黄瑞， 蒋俊锋， 等. 基于增强现实的产品质量信息传递方法［J］. 计算机辅助设计与图形学学报， 2019， 31（5）： 859-868.

[35] CHENG Yun， HUANG Rui， JIANG Junfeng， et al. Product Manufacturing Information Transmission Method Based on Augmented Reality［J］. Journal of Computer-Aided Design & Computer Graphics， 2019， 31（5）： 859-868.

基金资助

国家自然科学基金(U23A20618)

宁波市“科创甬江2035”关键技术突破计划(2024Z167)