面向人机协作装配的动作识别与序列预测方法

Action recognition and sequence prediction method for human-robot collaborative assembly

摘要

人机协作装配中， 机器人能够灵活、准确地响应操作者的动作是保障装配质量的关键. 针对非标准动作与装配序列动态变化带来的挑战， 提出一种融合未知动作识别与操作动作序列预测的协作装配方法. 首先， 面向实际装配中可能出现的未训练动作， 设计基于随机森林分类器的开放集识别策略， 并引入后验概率阈值机制实现未知动作拒识. 在减速器装配实验中， 该方法对已知装配动作的识别准确率为95%， 未知动作识别准确率达98.65%. 其次， 为应对装配任务中动作顺序的多样性与实时变化， 构建融合增量学习与遗忘因子的改进隐马尔可夫模型， 实现新装配模式的快速适应与高效预测， 在遗忘因子为0.7的条件下预测准确率达97.22%. 实验结果表明， 该方法能够在存在动作不确定性和序列可变性的复杂协作场景中保持高识别率与高预测精度. 因此， 该方法不仅提升了协作过程的安全性与效率， 还具备较强的通用性， 可推广至其他动态、多变的人机协作装配任务.

Abstract

In human-robot collaborative assembly， the ability of robots to respond flexibly and accurately to human actions is critical to ensuring assembly quality. To address the challenges posed by non-standard actions and dynamic changes in assembly sequences， this paper proposes a collaborative method integrating unknown action recognition and operation sequence prediction. First， for untrained actions that may occur in actual assembly， an open-set recognition strategy based on a random forest classifier is designed， incorporating a posterior probability threshold to reject unknown actions. In a speed reducer assembly experiment， the method achieved recognition accuracy of 95% for known actions and 98.65% for unknown actions. Second， to cope with the diversity and real-time variation in assembly sequences， an improved hidden Markov model （HMM） combining incremental learning and a forgetting factor is developed， enabling rapid adaptation and efficient prediction of new assembly patterns. With a forgetting factor of 0.7， the prediction accuracy reached 97.22%. Experimental results demonstrate that the proposed method maintains high recognition and prediction performance under complex collaborative scenarios with action uncertainty and sequence variability. In conclusion， the method improves the safety and efficiency of collaboration and is highly generalizable to other dynamic and variable human-robot collaborative assembly tasks.

Graphical abstract

关键词

人机协作装配 / 随机森林 / 开放集识别 / 增量学习 / 隐马尔可夫模型

Key words

human-robot collaborative assembly / random forest / open-set recognition / incremental learning / hidden Markov model （HMM）.

在人机协作装配（human-robot collaborative assembly，HRCA）中， 机器人能够承担高精度和高负荷的重复性操作， 而人类则在灵活性、经验判断和处理非结构化任务方面具有优势， 两者结合可显著提升装配柔性与效率^［1-2］. 然而， 高效的HRCA不仅依赖于合理的任务分配， 还要求机器人能够实时感知和预测人类的操作意图， 以便在动态装配过程中快速做出协作响应， 从而避免因无关动作或误操作导致的协作失效与安全风险^［3-4］. 近年来， 研究者在意图识别、安全控制与人机交互模式方面开展了大量探索， 如基于概率模型的意图推断^［5］、安全驱动的协作控制策略^［6］以及上下文感知的装配意图识别方法^［7］， 这些研究为实现可靠的人机协作奠定了基础. 但如何在复杂装配场景中实现对未知动作的高效识别以及可变序列的预测， 仍是亟待解决的关键问题^［8］.

在这一背景下， 动作识别与预测逐渐成为人机协作研究的重要方向.传统的动作识别方法，如卷积神经网络（convolutional neural network， CNN）、长短期记忆网络（long short-term memory， LSTM）、图神经网络（graph neural network， GNN），能够在封闭集条件下有效识别已知动作， 但对未知动作的鲁棒性不足^［9-11］，在复杂的装配场景中， 这种局限性可能导致误判，从而引发潜在冲突与安全风险^［12］.为解决此问题，“开放集识别”（open set recognition， OSR）被提出，其核心思想是能够在识别已知类别的同时，拒识未知类别. SCHEIRER等^［13］提出“已知类+拒识域”模型，突破了传统封闭集假设，但在复杂数据场景下拒识边界难以稳定确定.LYU等^［14］提出了MetaMax算法，该方法通过对深度神经网络的类激活向量进行Weibull校准，从而在无需依赖均值激活向量的情况下实现更高效的开放集分类.相比OpenMax^［15］， MetaMax算法在图像和视频任务中进一步提升了开放集识别性能，并在一定程度上降低了复杂计算对实时性的限制，但难以直接应用于工业场景中的实时动作识别.尽管现有研究在图像、语言、视频领域有显著进展，但是在传感器驱动的动作识别方面， GENG等^［16］指出其仍存在诸多不足， 尤其是在工业装配中，低成本识别未知动作依然具有挑战性.为此， BERTI等^［17］提出了one-shot开放集骨骼识别框架， 能够在有限样本条件下识别未知动作并动态添加新类别， 从而缓解训练数据稀缺的问题. 然而，该方法依赖骨骼数据获取， 难以直接应用于可穿戴传感器环境. 针对装配任务的特殊性， AGANIAN等^［18］通过引入目标物体信息，提升了骨骼动作模型在装配场景下的识别准确率，有效改善了相似动作之间的区分度；但这类方法依赖外部目标物体的检测， 鲁棒性仍不足. 随机森林（random forest， RF）因其鲁棒性和可输出后验概率， 被引入开放集识别中^［19］.CORTESE等^［20］采用基于阈值判别的开放集识别机制， 能够以较低的计算开销实现对未知动作的有效识别， 具有实时应用潜力.与此同时，Generative OpenMax等生成式扩展进一步改进了开放空间的建模能力^［21］， 但其对计算机性能要求较高， 在低时延需求的装配线中落地依然受限.

动作预测对人机协作同样关键. 基于轨迹预测的研究中， 多采用GNN、Transformer等算法^［22-24］. ABILKASSOV等^［25］通过结合轨迹与任务顺序提升预测性能， 但这些方法依赖多视觉方案， 易受遮挡与光照影响，且实时性较差. 因此研究逐渐转向序列建模， ZANCHETTIN等^［26］提出基于LSTM的动作序列预测模型，能够捕捉装配操作中长期的时序依赖关系， 在一定程度上提升了预测精度. 然而， 深度学习算法对数据量依赖性较高， 应对多变的动作序列数据采集困难. 为应对装配工艺中操作动作序列多变的特点， LIU等^［27］基于隐马尔可夫模型（hidden Markov model， HMM）进行装配序列学习， 为流程建模提供了概率化解释. 然而， 传统HMM在应对多变序列时存在局限， 因此引入增量学习与遗忘机制以提升在线适应性^［28］， 其中SCHÄLE等^［29-30］提出的增量概率运动基元（probabilistic movement primitives， ProMP）方法， 在人机交互中表现出色， 基于遗忘因子的在线策略有助于提高稳定性与实时性.

综上， 现有研究存在两方面不足：一是传统封闭集识别算法无法对未知动作进行有效识别；二是无法适应动态可变的装配序列， 难以实现准确的装配动作序列预测.

因此， 本文提出一种面向人机协作装配的肢体动作识别与预测的方案：对随机森林算法进行改进， 实现对协作装配过程中的开放集识别， 提升鲁棒性与安全性；对HMM算法进行改进， 结合增量学习与遗忘因子快速适应可变装配动作序列.

1 系统总体框架

为实现通用性和适应性的人机协作装配， 本文设计了一套基于肢体动作识别与预测的系统架构， 适用于多零件、复杂顺序的协同任务. 系统结合惯性传感器、动作分类与预测模型以及人机协作机制， 支持操作者与机器人协同完成装配.

系统框架如图1所示， 包含五个模块：动作信息采集，操作者佩戴IMU传感器采集数据；动作识别，基于开放集随机森林分类算法， 分类已知动作并拒识未知动作， 确保安全性与鲁棒性；动作预测，基于HMM， 结合增量学习与遗忘因子动态更新参数， 适应个体习惯与策略变化；任务决策与分工，依据识别与预测结果及协作规则规划机器人任务；协作执行，机器人根据指令完成操作并与操作者配合.

实验中选取“减速器装配”作为应用案例，任务涉及8类零件和1种工具. 其中，A为下基座，B为涡轮组件，C为螺丝刀，D、E和F分别为大号螺丝、中号螺丝和小号螺丝，G为上基座，H为后端盖，I为前端盖.部分零件由操作者装配，其他由机器人在预测到特定动作后完成相应的搬运动作.系统根据实时识别与预测自动调度机器人， 实现柔性协作装配.

系统支持多条装配序列， 具有良好的泛化与适应能力， 如图2所示. 能够在未对全部装配序列进行训练的情况下， 在装配过程中对未经过训练的装配序列进行预测.

2 基于随机森林算法的未知动作识别

2.1 随机森林算法

随机森林通过在随机抽取的样本和特征子集上训练多棵决策树， 采用多数投票确定最终分类结果. 假设D=\{(x_{\mathrm{1}},y_{\mathrm{1}}),(x_{\mathrm{2}},y_{\mathrm{2}}),\dots ,(x_N,y_N)\}为原始训练集， 其中x_i为样本特征， y_i为对应标签. 使用Bootstrap抽样方法生成T个子训练集D_{\mathrm{1}},D_{\mathrm{2}},\cdots ,D_T， 每个子训练集的大小为N， 且样本在子集中可重复. 每棵决策树T_t基于其对应子集D_T进行训练. 在每个节点随机从M个特征中选择m个特征进行决策， 并基于最佳分裂准则进行分裂， 这增加了模型多样性， 避免了过拟合.

决策树训练完成后， 测试集样本输入模型进行分类， 每棵树根据其结构预测样本类别{\widehat{y}}_t.

{\widehat{y}}_t=f_t(x)（2）

式中：f_t（x）表示通过决策树T_t预测样本x的类别.

对于每个测试集样本x， 所有决策树对其进行分类， 最终输出投票最多的类别. 具体来说， 假设有T棵决策树， 且每棵树对样本x的预测类别为{\widehat{y}}_t， 那么最终的预测类别\widehat{y}是投票最多的类别. 其中：

\widehat{y}=\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}{\mathrm{x}}_y{\displaystyle \sum _{t=\mathrm{1}}^T}I({\widehat{y}}_t=y)（3）

式中：{\widehat{y}}_t是第t棵树对样本x的预测类别；I是指示函数， 如果{\widehat{y}}_t=y， 则I=\mathrm{1}， 否则I=\mathrm{0}.

在实际应用中， 随机森林不仅能有效处理高维数据和小样本问题， 还具备较强的泛化能力和抗过拟合特性. 在人机协作装配任务中， 装配动作通常具有较高的相似性， 且传感器信号可能受到噪声的干扰. 通过多棵决策树的投票机制， 随机森林在保持高准确率的同时， 提升了模型的鲁棒性和稳定性. 因此， 随机森林不仅适用于开放集动作识别， 还能够有效地应用于装配动作的预测任务.

2.2 随机森林算法的未知动作的识别策略

在人机协作装配中， 操作者可能出现训练集中未包含的异常或新动作， 传统封闭集分类易误识别或过拟合. 为此，本文提出基于随机森林的未知动作识别方法，通过引入后验概率阈值， 在保持原有分类性能的同时实现开放环境下的动态动作排除与识别.

随机森林是一种典型的集成学习方法， 由T棵独立的决策树组成， 对于每个测试样本x， 每棵决策树输出一个类别预测结果\widehat{y}， 类别的预测概率P(y|x)可以通过所有决策树的投票结果取平均值得到.

P(y|x)=\frac{\mathrm{1}}{T}{\displaystyle \sum _{t=\mathrm{1}}^T}I({\widehat{y}}_t=y)（4）

为增强模型对未知动作的识别能力， 本文引入后验概率阈值\tau， 用于判断样本是否属于训练集中的已知类别集合. 对于每个测试样本x， 计算其在所有候选类别k下的后验概率， 并取其中的最大值：

P_{\mathrm{m}\mathrm{a}\mathrm{x}}(x)=\underset{k}{\mathrm{m}\mathrm{a}\mathrm{x}}P(y|x)（5）

式中：k为候选类别的索引. 若该最大后验概率低于阈值\tau， 则认为该样本可能为未知动作， 系统将其归为“unknown”；否则， 输出最大概率对应的类别作为预测结果. 判别规则如下：

（6）

阈值\tau的取值直接影响未知动作的识别性能. 本文采用简单有效的方法：以训练集中所有样本预测时的最大后验概率平均值作为\tau， 即：

\tau =\frac{\mathrm{1}}{N}{\displaystyle \sum _{i=\mathrm{1}}^N}maxP(y|x_i)（7）

式中：x_i表示第i个训练样本； N为训练样本总数.

3 基于隐马尔可夫算法的装配动作序列预测

在人机协作装配场景中， 装配序列的多样性与动态性使得全面采集和训练变得困难， 模型需具备实时更新与学习能力. 为此， 本文改进了隐马尔可夫模型（HMM）， 通过增量学习逐步适应新装配模式， 无需预采集所有序列， 并引入遗忘因子实现快速参数更新， 提高对新数据的敏感性， 少量迭代即可完成更新.

3.1 隐马尔可夫模型

HMM是一种用于分析序列数据并进行预测的统计模型. 它通过构建隐状态序列并生成可观测输出进行建模. HMM包含3个关键部分， 分别为初始状态概率分布\mathit{\pi }、状态转移概率矩阵\mathit{A}和观测概率矩阵\mathit{B}. 隐藏的状态序列由\mathit{\pi }决定起点， 随后通过矩阵\mathit{A}逐步生成；观测序列在每一时刻根据当前的隐藏状态使用矩阵\mathit{B}生成对应的观测值. 综上， 隐马尔可夫模型参数可用\mathit{\lambda }表示为：

\mathit{\lambda }=(\mathit{A},\mathit{B},\mathit{\pi })（8）

3.2 增量训练

在人机协作装配中， 装配序列的多样性要求模型实时适应新序列， 需在线更新参数. 传统Baum-Welch算法适用于HMM的离线更新， 但面对动态环境， 需实时调整模型. 为此， 本文提出融合增量学习与遗忘因子的改进算法， 动态调整HMM参数. 增量学习在不重训模型的情况下， 逐步调整参数， 实时预测时可使用Baum-Welch算法更新转移概率、发射概率和初始状态分布， 无需重新处理数据集.

模型的初始参数为{\lambda }_{\mathrm{0}}，包括状态转移矩阵、观测概率矩阵和初始状态概率分布.使用当前参数{\lambda }_t计算状态转移后验概率{\xi }_t(i,j)和状态后验概率{\gamma }_t(i). 在完成一次装配过程后，获取新的观测序列{\mathit{O}}_{\mathrm{n}\mathrm{e}\mathrm{w}}， 并基于当前参数计算其前向和后向概率. 然后使用Baum-Welch算法更新参数. 具体更新步骤如下：

初始状态概率分布更新：

{\widehat{\pi }}_j^{(t)}={\gamma }_{\mathrm{1}}^{(t)}(j)（9）

状态转移概率矩阵更新：

{\widehat{a}}_{i,j}^{(t)}=\frac{{\displaystyle \sum _{t=\mathrm{1}}^{T-\mathrm{1}}}{\xi }_t^{(t)}(i,j)}{{\displaystyle \sum _{t=\mathrm{1}}^{T-\mathrm{1}}}{\gamma }_t^{(t)}(i)}（10）

观测概率矩阵更新：

{\widehat{b}}_j^{(t)}(k)=\frac{{\displaystyle \sum _{t=\mathrm{1}}^T}{\gamma }_t^{(t)}(j)\cdot I(o_t=o_k)}{{\displaystyle \sum _{t=\mathrm{1}}^T}{\gamma }_t^{(t)}(j)}（11）

式中：I(o_t=o_k)是指示函数， 用于判断时刻t的观测值是否等于o_k， 如果等于， 函数值为1， 否则为0.

3.3 遗忘因子

为实现增量学习， 需要在接收新观测序列后更新模型参数. 引入遗忘因子可平衡历史信息与新观测序列的影响， 减少对历史数据的依赖， 使模型更加关注近期序列变化. 遗忘因子提高了模型对固定长度序列预测任务的适应性， 避免重新训练， 从而提升预测效率. 引入遗忘因子后， 累计统计量的更新公式为：

初始状态概率分布：

{\widehat{\pi }}_j^{(t)}=\rho \cdot {\widehat{\pi }}_j^{(t-\mathrm{1})}+(\mathrm{1}-\rho )\cdot \mathrm{\Delta }{\widehat{\mathrm{\pi }}}_j^{(t)}（12）

状态转移概率矩阵：

{\widehat{a}}_{i,j}^{(t)}=\rho \cdot {\widehat{a}}_{i,j}^{(t-\mathrm{1})}+(\mathrm{1}-\rho )\cdot \mathrm{\Delta }{\widehat{a}}_{i,j}^{(t)}（13）

观测概率矩阵：

{\widehat{b}}_j^{(t)}(k)=\rho \cdot {\widehat{b}}_j^{(t-\mathrm{1})}(k)+(\mathrm{1}-\rho )\cdot \mathrm{\Delta }{\widehat{b}}_j^{(t)}(k)（14）

综上， 结合增量学习与遗忘因子的HMM方法有效减少了重新训练的复杂度， 使模型更好地适应新数据变化. 遗忘因子调节历史数据影响， 增强模型对动态数据的适应性.

4 实验

4.1 未知动作识别实验

本文提出一种基于随机森林的未知动作识别方法， 应用于人机协作装配减速器场景.首先定义正常与部分未知动作，并进行数据采集，构建实验数据集. 通过实验评估，确定最优阈值，实现准确区分已知与未知动作，为实际应用提供关键参数.

实验分为两部分：首先，定义6种装配动作，具体动作说明见表1和图3.随后，邀请6名实验人员在右手腕部佩戴传感器后进行动作数据采集，每位实验人员依次完成6种动作20次， 共120组数据. 前3位实验人员的数据用于训练， 后3位实验人员的数据用于测试.

在复杂的人机协作装配中，未知动作识别至关重要，因操作失误、设备故障或干扰可能导致预期外的动作，若未及时检测，可能引发安全事故或设备损坏.通过定义未知动作，可构建鲁棒性强的分类模型，确保准确区分标准操作与意外情况，提升安全性和效率.

为测试分类模型在装配场景中的未知动作识别能力， 在减速器装配中定义了6种与已定义动作不同的未知动作， 反映操作人员的非标准或潜在错误行为. 表2是6种未知动作说明.

为检测模型对未知动作的识别， 构建了未知动作数据集. 3位测试人员共采集12种肢体动作， 每位人员重复动作10次， 收集30组数据， 作为测试集进行验证.

对肢体动作识别实验结果进行分析.为评估基于随机森林算法的未知动作识别策略，使用MATLAB对数据集进行训练和分类.6种装配动作的720组数据中， 360组用于训练，剩余数据用于测试.随机森林算法的决策树数量设置为100，实验结果如图4所示，实验结果表明平均识别率为99.7%， 但动作SCS易被误识别为SDR，这是因为两者相似度较高.

为验证基于随机森林的未知动作识别策略的有效性，进行对比实验，如图5所示.未改进模型会将未知动作误判为最接近的已知动作， 导致其正确拒识率为0%，全部测试样本的总体分类准确率仅为84.2%.通过识别6种训练动作，计算每项分类的后验概率，并取其平均值作为未知动作识别的阈值\tau.在随机森林中，当样本的最大后验概率时，该样本归为未知类别， 否则识别为后验概率最高的类别.

为确定最佳阈值， 基于样本平均后验概率绘制ROC曲线， 展示真正率与假正率的关系， AUC（area under curve）值衡量模型性能. AUC越大， 模型区分正常与未知样本的能力越强， AUC=1表示完美模型， AUC=0.5表示随机猜测.

将6种未知动作作为训练集进行测试， 采用不同阈值计算识别准确率， 并绘制ROC曲线（AUC=0.996）， 如图6所示， 表明本文提出的未知动作识别策略在开放集识别中表现良好. 最优阈值为0.841.

最后，使用剩余未知动作样本作为测试集， 如图7所示，7类动作的平均识别准确率为98.14%. 其中，6种已知装配动作的平均识别准确率为98%， 未知动作的识别准确率为99%.部分未知动作被误识别为LGS动作，主要是动作相似或采集时不够标准，导致后验概率低于阈值.在完成LGS动作的过程中，伸手动作与未知动作中PIC动作的取件轨迹高度相似，因而部分动作被误识别， 导致整体识别率下降.

因此， 基于随机森林的未知动作识别策略能够在未训练的情况下有效识别未知动作， 减少误识别， 提升安全性.

4.2 基于HMM的肢体动作预测

前文提出的改进隐马尔可夫预测算法具备实时更新和学习能力， 能够应对新的装配序列. 为验证算法有效性， 使用维度为12的原始动作序列进行训练， 设置迭代次数为200， 隐状态数为6， 观测状态数为6， 预测准确率为100%， 如图8所示.

为测试模型对新序列的预测能力， 采用随机生成的动作序列进行验证. 初次预测时， 初始序列识别率为100%，随机序列识别率为38.9%. 经过增量训练和参数更新， 识别率提升至87.5%， 但仍未达到装配需求. 训练后对原始动作的预测效果如图9所示.

为提高模型对新序列的响应速度， 引入了遗忘因子\rho (\mathrm{0}\le \rho \le \mathrm{1})，设置模型迭代训练次数为200，隐状态数为6，观测状态为6，重复实验10次，预测准确率如表3所示.

据表3中数据可知，当遗忘因子为0.7时，预测准确率最高，平均准确率为97.22%.遗忘因子在固定训练次数下帮助减少模型对历史数据的过度依赖，使模型更关注近期观测序列，从而提高预测准确性和效率.

4.3 基于随机森林的未知动作识别实验

针对减速器人机协作装配任务，本文提出一种基于随机森林的未知动作识别策略，用于在装配过程中识别未训练动作，从而提升识别率并降低误判率. 基于前文构建的装配动作数据集，邀请4名实验人员各自独立完成5次减速器组装，共采集20组数据， 装配实验平台如图10所示.装配动作序列由表1定义的6类动作组成.但在实际装配中，实验人员仍会根据经验和临场决策产生手部位置调整、瞬时停顿等未归入预定义类别的动作， 即未知动作.

过程数据由惯性传感器采集，并通过滑动窗口算法实时分割. 窗口步长设为5，阈值为1，剔除长度小于30的片段， 从而有效保留关键动作并去除部分无关短时动作， 具体如图11所示.

分割后的数据经预处理后输入训练好的分类器， 依据阈值进一步剔除未知动作. 对比实际动作与识别结果表明， 该方法能在装配中有效区分已知与未知动作， 实验结果如表4所示.

本方法在装配动作识别中表现良好，已训练动作的识别准确率达到95%，未知动作的误识率为1.35%，已知动作误拒率为5%，特异性（未知动作识别准确率）则达到98.65%.准确识别未知动作能够减少错误分类对装配序列预测的干扰.若识别错误，输入预测模型的数据将与实际动作不符，导致预测偏差并影响协作装配过程；相反， 较高的未知动作识别准确率能保证预测输入与实际一致，从而提升协作的安全性与实时适应性.

4.4 装配动作序列预测实验

本文针对减速器人机协作装配场景， 提出一种改进的隐马尔可夫算法用于操作人员装配动作序列预测， 并通过实验验证其有效性与可行性.

构建改进的隐马尔可夫模型， 将装配过程中的6种操作（装基座Z1、装涡轮组件Z2、拧大螺丝Z3、拧中螺丝Z4、拧小螺丝Z5、拿螺丝刀Z6）定义为隐状态， 故隐状态集合维度为6， 具体定义为：

Q=\{\mathrm{Z}\mathrm{1},\mathrm{Z}\mathrm{2},\mathrm{Z}\mathrm{3},\mathrm{Z}\mathrm{4},\mathrm{Z}\mathrm{5},\mathrm{Z}\mathrm{6}\}（15）

模型的观测状态同样定义为6种装配动作， 集合维度为6：

V=\{\mathrm{L}\mathrm{G}\mathrm{S},\mathrm{M}\mathrm{G}\mathrm{S},\mathrm{B}\mathrm{A}\mathrm{S},\mathrm{W}\mathrm{G}\mathrm{R},\mathrm{S}\mathrm{C}\mathrm{S},\mathrm{S}\mathrm{D}\mathrm{R}\}（15）

模型参数包括初始状态矩阵、状态转移矩阵和观测矩阵， 均随机生成， 无需预训练， 通过增量训练自适应更新， 迭代次数设为200， 遗忘因子取0.7. 识别得到的装配动作序列作为输入， 用于预测操作人员的下一步动作. 为验证模型的预测性能， 共邀请4名实验人员进行装配动作序列预测实验， 每人进行10组实验.每组实验中， 实验人员根据表1所示的装配动作， 结合自身的装配习惯， 使用两种不同的装配序列进行装配.具体流程为：在完成首次装配后， 重复使用该序列进行一次装配， 随后使用另一装配序列完成两次装配.为确保实验结果具有较好的普适性和统计可靠性， 实验中模型初始参数为随机生成. 实验数据共包含160个装配序列， 每个序列包含6个装配动作. 实验数据显示， 对首次出现的装配序列， 模型正确预测了171个动作， 预测准确率为35.6%；在自适应更新后， 模型正确预测的动作数提升至465个， 准确率达到98.9%.图12展示了随机选取的一组实验预测结果， 用以说明模型在自适应更新前后的性能变化.

实验结果表明， 模型在未经训练的情况下， 对新的动作序列的预测结果接近随机分类， 完成首次装配并更新参数后即可对该序列实现有效预测；当序列变化时预测精度会短暂下降， 但经增量训练能迅速恢复. 遗忘因子的引入减少了对旧序列的依赖， 使模型以较少迭代适应新序列， 从而提升实时性. 这一结果与持续学习和增量更新的相关研究结论一致^［31-32］， 表明该模型无需全面采集所有序列即可自适应训练， 有效降低数据采集难度并提高协作效率. 因此， 该模型无需全面采集所有装配序列即可在装配过程中自适应训练， 显著降低数据采集与训练难度， 提高了人机协作装配的效率.

5 结 论

本文针对人机协作装配中机器人难以准确识别操作者动作及预测装配意图的问题， 提出了基于随机森林的开放集未知动作识别策略与融合增量学习及遗忘因子的改进隐马尔可夫预测模型. 实验表明， 该方法在减速器装配中已知动作识别准确率达95%， 未知动作识别准确率达98.65%， 在遗忘因子为0.7的条件下新序列预测准确率最高达97.22%， 显著提升了协作安全性与实时适应性. 与依赖封闭集假设或固定参数的传统方法相比， 本方法能在轻量计算条件下有效处理未知动作并自适应序列变化， 但在未知动作与已知动作高度相似或首次遇到全新序列时仍存在少量误判或需一次装配周期更新. 该研究在理论上为可穿戴传感器动作识别引入开放集思想并扩展至动态预测， 在应用上具备推广至3C制造、精密装配及医疗康复等领域的潜力；未来可在多模态融合、深度序列建模及实时优化方面进一步提升性能.

参考文献

[1] WU S S， FANG H N， WANG P， et al ．A method for human-robot collaborative assembly action recognition based on skeleton data and transfer learning［J］．Human Factors in Robots， Drones and Unmanned Systems， 2024：66-74．

[2] NICORA M L， AMBROSETTI R， WIENS G J， et al. Human-robot collaboration in smart manufacturing：robot reactive behavior intelligence［J］. Journal of Manufacturing Science and Engineering， 2021， 143（3）： 031009．

[3] ZHANG X Y， TIAN S B， LIANG X， et al ．Early prediction of human intention for human-robot collaboration using transformer network［J］．Journal of Computing and Information Science in Engineering， 2024， 24（5）： 051003．

[4] QU J， LI Y M， LIU C R， et al ．Prediction of assembly intent for human-robot collaboration based on video analytics and hidden Markov model［J］. Computers， Materials & Continua， 2025， 84（2）： 3787-3810．

[5] HOFFMAN G， BREAZEAL C. Cost-based anticipatory action selection for human-robot fluency［J］. IEEE Transactions on Robotics， 2007， 23（5）： 952-961．

[6] VILLANI V， PINI F， LEALI F， et al. Survey on human-robot collaboration in industrial settings：safety， intuitive interfaces and applications［J］．Mechatronics， 2018， 55： 248-266．

[7] ZHANG Y Q， DING K， HUI J Z， et al. Human-object integrated assembly intention recognition for context-aware human-robot collaborative assembly［J］. Advanced Engineering Informatics， 2022， 54：101792．

[8] MAURTUA I， FERNANDEZ I， KILDAL J， et al ．Enhancing safe human-robot collaboration through natural multimodal communication［C］//2016 IEEE 21st International Conference on Emerging Technologies and Factory Automation （ETFA）. September 6-9， 2016， Berlin， Germany. IEEE， 2016： 1-8．

[9] 马耀安， 黄裕婷， 张健豪， 等. 基于K-means-CNN的复杂牌号混合合金样品分类研究［J］. 光谱学与光谱分析， 2025， 45（7）：1946-1952．

[10] MA Y A， HUANG Y T， ZHANG J H， et al. K-means-CNN-based classification study of mixed alloy samples of complex grades［J］．Spectroscopy and Spectral Analysis， 2025， 45（7）： 1946-1952．（in Chinese）

[11] 吕丽丽.基于长短期记忆网络步行训练机器人柔顺化控制［D］.沈阳：沈阳工业大学， 2021.

[12] LÜ L L， Compliant control of walking rehabilitation training robot based on long short-term memory network ［D］. Shenyang： Shenyang University of Technology， 2021. （in Chinese）

[13] 仝佳媛 ．基于图神经网络的机器人抓取推理与决策研究［D］. 北京： 北京工业大学， 2022．

[14] TONG J Y ．Study on robot grasping reasoning and decision based on graph neural network［D］. Beijing：Beijing University of Technology， 2022．（in Chinese）

[15] KULIĆ D N， TAKANO W， NAKAMURA Y ．Incremental learning， clustering and hierarchy formation of whole body motion patterns using adaptive hidden Markov chains［J］. The International Journal of Robotics Research， 2008， 27（7）：761-784．

[16] SCHEIRER W J， DE REZENDE ROCHA A， SAPKOTA A， et al ．Toward open set recognition［J］．IEEE Transactions on Pattern Analysis and Machine Intelligence， 2013， 35（7）：1757-1772．

[17] LYU Z Y， GUTIERREZ N B， BEKSI W J ．MetaMax：improved open-set deep neural networks via weibull calibration［C］//2023 IEEE/CVF Winter Conference on Applications of Computer Vision Workshops （WACVW）. January 3-7， 2023， Waikoloa， HI， USA．IEEE， 2023：439-443．

[18] BENDALE A， BOULT T E ．Towards open set deep networks［C］//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. June 27-30， 2016， Las Vegas， NV， USA．IEEE， 2016：1563-1572．

[19] GENG C X， HUANG S J， CHEN S C ．Recent advances in open set recognition：a survey［J］．IEEE Transactions on Pattern Analysis and Machine Intelligence， 2021， 43（10）：3614-3631．

[20] BERTI S， ROSASCO A， COLLEDANCHISE M， et al ．One-shot open-set skeleton-based action recognition［C］//2022 IEEE-RAS 21st International Conference on Humanoid Robots （Humanoids）．November 28-30， 2022， Ginowan， Japan. IEEE， 2023：765-772．

[21] AGANIAN D， KÖHLER M， BAAKE S， et al ．How object information improves skeleton-based human action recognition in assembly tasks［EB/OL］. （2023-01-09）［2025-08-15］．

[22] FENG G C， DESAI D， PASQUALI S， et al. Open set recognition for random forest［EB/OL］. （2024-08-01）［2025-08-15］.

[23] CORTESE A， SOLBIATI S， SCANDELLI A， et al. Open-set recognition of human activities from head-mounted inertial sensor［J］. Sensors， 2026， 26（3）： 1079.

[24] GE Z Y， DEMYANOV S， CHEN Z T， et al ．Generative OpenMax for multi-class open set classification［EB/OL］.（2017-08-24）［2025-08-15］.

[25] KIM S， CHI H G， LIM H， et al. Higher-order relational reasoning for pedestrian trajectory prediction［C］//2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）．June 16-22， 2024， Seattle， WA， USA. IEEE， 2024：15251-15260．

[26] SALZMANN T， CHIANG H T L， RYLL M， et al. Robots that can see： Leveraging human pose for trajectory prediction［J］. IEEE Robotics and Automation Letters， 2023， 8（11）： 7090-7097.

[27] GUPTA A， JOHNSON J， LI F F， et al. Social GAN：socially acceptable trajectories with generative adversarial networks［C］//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition．June 18-23， 2018， Salt Lake City， UT， USA．IEEE， 2018：2255-2264．

[28] ABILKASSOV S， GENTNER M， SHINTEMIROV A， et al ．Proactive robot task sequencing through real-time hand motion prediction in human-robot collaboration［J］．Image and Vision Computing， 2025， 155：105443．

[29] ZANCHETTIN A M， CASALINO A， PIRODDI L， et al ．Prediction of human activity patterns for human-robot collaborative assembly tasks［J］．IEEE Transactions on Industrial Informatics， 2019， 15（7）：3934-3942．

[30] LIU H Y， WANG L H ．Human motion prediction for human-robot collaboration［J］．Journal of Manufacturing Systems， 2017， 44：287-294．

[31] DELANGE M， ALJUNDI R， MASANA M， et al ．A continual learning survey：Defying forgetting in classification tasks［J］．IEEE Transactions on Pattern Analysis and Machine Intelligence， 2021：1．

[32] SCHÄLE D， STOELEN M F， KYRKJEBØ E ．Incremental learning of probabilistic movement primitives （ProMPs） for human-robot cooperation［EB/OL］. （2021-05-28）［2026-06-15］．

[33] SCHÄLE D， STOELEN M F， KYRKJEBØ E. Continuous and incremental learning in physical human-robot cooperation using probabilistic movement primitives［C］//2022 31st IEEE International Conference on Robot and Human Interactive Communication （RO-MAN）. August 29-September 2，2022，Napoli，Italy. IEEE， 2022： 1216-1223．

[34] PARISI G I， KEMKER R， PART J L， et al. Continual lifelong learning with neural networks：a review［J］. Neural Networks， 2019， 113：54-71．

[35] SCHIEMER M， FANG L， DOBSON S， et al. Online continual learning for human activity recognition［J］. Pervasive and Mobile Computing， 2023， 93：101817．

基金资助

福建省科技重大专项专题项目(2024HZ026020)

Fujian Provincial Science and Technology Major Project(2024HZ026020)