基于RL-DE改进算法的移动机械臂逆运动学求解研究

Research on inverse kinematics solution of mobile robotic arms based on an improved RL-DE algorithm

摘要

针对移动平台与机械臂耦合系统因整体关节自由度冗余导致的逆运动学求解难题， 传统的基于伪逆矩阵解决方法存在奇异点敏感性缺陷. 为解决多自由度冗余移动机械臂逆运动学求解问题， 提出一种融合强化学习（reinforcement learning， RL）与差分进化（differential evolution， DE）的改进算法. 其中， 基于移动机械臂物理模型， 以目标位姿与移动机械臂末端实际到达位姿的误差为适应度函数， 构建DE算法优化模型. 为克服传统DE算法进化参数固定的局限性，进而提升算法的全局搜索能力和求解收敛速度， 提出一种调整不同时期进化方向的动态突变多策略， 实现全局探索与局部开发策略之间的权衡， 并将种群的适应度与多样性的变化作为特征输入， 以最优个体适应度的进化率作为奖励函数， 采用深度确定性策略梯度（deep deterministic policy gradient， DDPG）强化学习方法优化种群进化参数. 仿真结果表明：本文提出的方法无须对矩阵求逆， 可有效规避奇异点问题， 且其逆运动学求解成功率和定位误差等性能优于人工蜂群、粒子群、自适应差分进化等算法， 同时轨迹平滑度及平均误差等轨迹跟踪性能优于自适应差分进化算法.

Abstract

To address the inverse kinematics challenge arising from the joint redundancy in mobile platform-arm coupled systems， the traditional pseudo-inverse matrix-based methods are sensitive to singularity. This paper proposes an improved algorithm that integrates reinforcement learning （RL） and differential evolution （DE） to solve the inverse kinematics problem for highly redundant mobile robotic arms. The optimization model in the DE algorithm is constructed based on the physical model of the mobile robotic arms， with the fitness function defined as the error between the target pose and the desired end-effector pose of the mobile robotic arms. To overcome the limitations of fixed evolutionary parameters in conventional DE algorithm and enhance both global search capability and convergence speed， a dynamic mutation multi-strategy mechanism that adaptively adjusts evolutionary directions at different stages to balance global exploration and local exploitation is proposed. Furthermore， the deep deterministic policy gradient （DDPG） algorithm is employed to optimize the evolutionary parameters， in which variation in population fitness and diversity serves as state inputs， and the improvement rate of the best individual’s fitness acts as the reward signal. Simulation results demonstrate that the proposed method eliminates the need for matrix inversion， effectively circumventing singularity issues and outperforming artificial bee colony， particle swarm optimization， and self-adaptive differential evolution algorithms in terms of inverse kinematics success rate and positioning accuracy. Additionally， it outperforms the self-adaptive differential evolution algorithm in trajectory smoothness and tracking precision， and exhibits lower average error in trajectory tracking.

Graphical abstract

关键词

移动机械臂 / 逆运动学 / 差分进化算法 / 强化学习 / 动态突变多策略

Key words

mobile robotic arms / inverse kinematics / differential evolution algorithm / reinforcement learning / dynamic mutation multi-strategy

移动机械臂通过移动平台与多个机械臂协作运动， 具有可操作性强、性能高及移动性强等特点， 极大地提升了机器人系统的工作空间和运动灵活性， 目前广泛应用于空间检测、物体搬运、环境检测、人员辅助等多个领域^［1-2］. 然而， 机械臂与移动平台的组合导致移动机械臂在工作空间的自由度冗余. 移动机械臂的逆运动学研究可转变为多变量、强耦合的高维非线性方程组求解问题， 但该过程复杂且存在多组解^［3］. 因此， 如何高效寻找每个驱动关节的最优控制量， 确保末端执行器精确到达指定位姿的空间点， 是当前移动机械臂逆运动学研究的难点问题.

近年来， 移动机械臂逆运动学研究的方法有解析法、基于雅可比矩阵的方法、数值方法、神经网络方法和群体智能方法^［2］. ZHAO等^［4］提出一种适用于非球腕结构七自由度空间机械臂的闭式逆运动学解析方法， 通过固定不同关节识别冗余自由度， 基于螺钉理论推导非参数关节角的闭式表达式， 并分析多种自运动流形分支获得最佳解析解. 解析法基于移动机械臂的构型布置， 直接用数学公式表示末端位姿与驱动关节之间的关系. 移动机械臂的自由度高且结构复杂， 几何分析方法通常不适用.COLAN等^［5］针对串联机器人的逆运动学问题提出基于雅可比矩阵的可变步长迭代方法， 并与传统恒定步长方法比较， 实验结果表明可变步长策略显著提高基于雅可比矩阵的逆运动学求解效率和收敛性能. 基于雅可比矩阵的方法通过移动机械臂的雅可比矩阵在速度层连续迭代求解逆运动学问题， 不能有效求解奇异值.WOLIŃSKI等^［6］提出一种基于二次规划的新型逆运动学求解方法， 将关节加速度作为决策变量， 并与经典的伪逆方法进行对比， 结果表明该方法在约束处理方面具备更高的实用性. 采用数值方法将逆运动学问题转化为二次规划问题， 其求解过程主要在速度层和加速度层， 因此无法准确得到各种约束点和奇异点的解. BAI等^［7］提出一种基于果蝇优化算法的前馈神经网络求解机器人逆运动学问题， 通过果蝇优化算法提高神经网络的收敛精度与泛化能力， 并与传统神经网络方法和基于粒子群优化的神经网络方法进行对比， 结果表明基于果蝇优化算法的神经网络方法在误差控制方面表现更优. 神经网络方法通过构造多层神经网络学习移动机械臂关节角度与末端位姿的非线性关系， 复杂度高， 求解时间长^［8］. 由于基于生物群体智能的算法具有良好的全局收敛能力，不需要计算雅可比矩阵及其伪逆， 不存在奇异点^［9］，已成为移动机械臂逆运动学求解研究的热点.

目前用于求解移动机械臂逆运动学问题的群体智能算法主要有粒子群（particle swarm optimization， PSO）算法、遗传（genetic algorithm， GA）算法、蚁群（ant algorithm， AA）算法、人工蜂群（artificial bee colony， ABC）算法和差分进化（differential evolution， DE）算法等^［10］. PSO算法易于实现， 执行效率高， 但是全局搜索能力非常依赖对粒子速度上限的设定^［11］， 不符合全局收敛准则.GA算法在单个染色体上使用交叉操作然后相互比较， 拥有较强的全局搜索能力， 但染色体共享效率低^［12］.AA算法基于个体协作寻优， 具有良好的可扩展性和较强的全局搜索能力，但在面对复杂问题时收敛速度慢，容易陷入局部最优^［13］. ABC算法是一种模仿蜜蜂群体觅食行为的优化方法，具有较快的收敛速度，参数对算法收敛性能影响大，因此陷入局部最优的风险较高^［14］.DE算法参数少，结构简单，自适应与优化能力强，全局搜索能力突出，可有效求解移动机械臂逆运动学问题^［15］.

LÓPEZ-FRANCO等^［15］使用Denavit-Hartenberg法构建移动机械臂的运动学模型， 定义优化目标函数， 使用标准DE算法研究三种移动机械臂的逆运动学， 结果显示DE算法在精度与求解时间上优于PSO、CS（cuckoo search， 布谷鸟搜索算法）等算法. HERNANDEZ-BARRAGAN等^［16］提出一种自适应突变策略用于权衡全局搜索与局部开发的方法， 将DE算法应用于求解协作移动机械臂的逆运动学问题，多次实验表明其精度CFPSO（constriction factor PSO， 收缩因子粒子群优化）、FPA（flower pollination algorithm，花粉授粉）、KABC（knowledge-based artificial bee colony， 基于知识的人工蜂群）算法. ZHANG等^［17］提出一种应用于移动机械臂的改进自适应变异差分进化（improved self-adaptive mutation differential evolution， ISAMDE）算法， 加入新的自适应突变算子和缩放因子控制变异策略， 通过比较该算法在跟踪不同轨迹的性能， 表明该算法在解决移动机械臂逆运动学问题的精度与关节平滑性方面具有显著优势. LI等^［2］研究DE算法的变异策略与进化参数对移动机械臂逆运动学的影响， 结果显示设置不同变异策略与进化参数， 移动机械臂的逆运动学误差有显著变化.

综上所述， 国内外研究学者已针对移动机械臂逆运动学求解算法取得了丰富的研究成果， 然而仍存在优化和改进空间. 已有方法主要关注于通过改进DE算法的变异策略提高算法的全局搜索能力， 在求解逆运动学问题时直接根据经验确定种群的进化参数， 无法保证算法处理不同目标函数寻优过程的鲁棒性. 然而， 种群的变异和交叉参数直接影响算法的全局搜索能力与收敛速度^［2］. 其中， 变异参数通过改变搜索步长影响收敛速度和种群多样性， DE算法倾向于在早期阶段进行全局搜索以探索整个可行区域， 然后进行局部搜索以加快收敛速度；交叉参数决定亲本传递给后代的信息量， 对收敛速度与种群多样性有明显影响^［18］. 为解决上述问题， 本文以一种10自由度移动机械臂为研究对象， 建立逆运动学优化模型， 提出融合强化学习（RL）与差分进化（DE）的改进算法， 设计动态突变多策略， 调整不同进化时期种群全局搜索或局部优化的进化方向， 并综合种群适应度与多样性的变化度因素， 采用DDPG强化学习方法优化种群进化参数.

1 移动机械臂逆运动学模型构建

本节主要介绍移动机械臂物理模型构建， 为逆运动学求解算法研究提供模型基础.

1.1 机械臂物理模型

机械臂由一系列刚体组成，这些刚体称为连杆. 连杆由关节连接.相邻两个关节之间的连接定义一个关节变量q_i，给定所有关节变量\mathit{q}，通过正运动学得到机械臂末端的位姿.将所有关节变量定义为：

\mathit{q}={[\begin{array}{ccccc}{q}_{\mathrm{1}}& q_{\mathrm{2}}& q_{\mathrm{3}}& \cdots & q_n\end{array}]}^{\mathrm{T}}（1）

式中：q_i表示机械臂的不同位置的关节， i\in (\mathrm{1,2},\mathrm{3},\cdots ,n)； n是机械臂的自由度. 机械臂的连杆与关节运动模型构成一条运动链， 如图1所示.

其正运动学方程可表示为^［19］：

{}^{\mathrm{0}}{\mathit{T}}_n(\mathit{q}){=}^{\mathrm{0}}{\mathit{T}}_{\mathrm{1}}(q_{\mathrm{1}}{)}^{\mathrm{1}}{\mathit{T}}_{\mathrm{2}}(q_{\mathrm{2}}{)}^{\mathrm{2}}{\mathit{T}}_{\mathrm{3}}(q_{\mathrm{3}}){\cdots }^{n-\mathrm{1}}{\mathit{T}}_n(q_n)=

{{\displaystyle \prod _{i=\mathrm{1}}^n}{}^{}}^{i-\mathrm{1}}{\mathit{T}}_i(q_i)（2）

式中：{}^{\mathrm{0}}{\mathit{T}}_n(\mathit{q})表示世界参考点到末端执行器位姿的齐次变换矩阵；{}^{i-\mathrm{1}}{\mathit{T}}_i(q_i)表示连杆i-\mathrm{1}到连杆i的齐次变换矩阵. 使用改进的DH（Denavit-Hartenberg）参数法^［19］：

{}^{i-\mathrm{1}}{\mathit{T}}_i=

\left[\begin{array}{cccc}\mathrm{c}\mathrm{o}\mathrm{s}({\theta }_i)& -\mathrm{s}\mathrm{i}\mathrm{n}({\theta }_i)& \mathrm{0}& a_{i-\mathrm{1}}\\ \mathrm{s}\mathrm{i}\mathrm{n}({\theta }_i)\mathrm{c}\mathrm{o}\mathrm{s}({\alpha }_{i-\mathrm{1}})& \mathrm{c}\mathrm{o}\mathrm{s}({\theta }_i)\mathrm{c}\mathrm{o}\mathrm{s}({\alpha }_{i-\mathrm{1}})& -\mathrm{s}\mathrm{i}\mathrm{n}({\alpha }_{i-\mathrm{1}})& -\mathrm{s}\mathrm{i}\mathrm{n}({\alpha }_{i-\mathrm{1}}{d}_i)\\ \mathrm{s}\mathrm{i}\mathrm{n}({\theta }_i)\mathrm{s}\mathrm{i}\mathrm{n}({\alpha }_{i-\mathrm{1}})& \mathrm{c}\mathrm{o}\mathrm{s}({\theta }_i)\mathrm{s}\mathrm{i}\mathrm{n}({\alpha }_{i-\mathrm{1}})& \mathrm{c}\mathrm{o}\mathrm{s}({\alpha }_{i-\mathrm{1}})& \mathrm{c}\mathrm{o}\mathrm{s}({\alpha }_{i-\mathrm{1}}{d}_i)\\ \mathrm{0}& \mathrm{0}& \mathrm{0}& \mathrm{1}\end{array}\right]（3）

式中：{\theta }_i是连杆转角；d_i是连杆偏距；a_{i-\mathrm{1}}是连杆长度；{\alpha }_{i-\mathrm{1}}是连杆扭转角. 若关节为转动关节， q_i表示旋转角度， {\theta }_i是关节变量；若关节为移动关节， q_i表示移动距离， 参数d_i是关节变量， 如式（4）所示：

q_i=\left\{\begin{array}{c}{\theta }_i,\mathrm{关节}i\mathit{为}\mathrm{旋转}\mathrm{关节}\\ d_i,\mathrm{关节}i\mathrm{为移}\mathrm{动关}\mathrm{节}\end{array}\right.（4）

在笛卡儿坐标系下， 连杆i-\mathrm{1}到连杆i的齐次变换矩阵可表示为：

\begin{array}{c}{}^{i-\mathrm{1}}{\mathit{T}}_i\end{array}=\left[\begin{array}{cc}\mathit{R}& \mathit{P}\\ \mathrm{0}& \mathrm{1}\end{array}\right]（5）

式中：\mathit{R}是\mathrm{3}\times \mathrm{3}旋转矩阵， 表示连杆i的方向；\mathit{P}是\mathrm{3}\times \mathrm{1}矩阵， 表示连杆i的位置.

1.2 移动底盘物理模型

本文采用前摆臂式履带底盘作为移动机械臂的移动平台，如图2所示. 其中{\theta }_{\mathrm{f}}^{\mathrm{*}}表示虚拟转动关节， d_{\mathrm{f}}^{\mathrm{*}}表示虚拟移动关节.

若不考虑前摆臂的影响， 将移动平台的位置变化等效为三个虚拟关节的变化量， 如图3所示. 从当前位置到下一个位置， 移动平台的两个虚拟关节d_x^{\mathrm{*}}与d_y^{\mathrm{*}}代表平台的平移， 虚拟关节{\theta }_z^{\mathrm{*}}代表平台的旋转^［15］. 若考虑前摆臂转动， 移动平台整体绕后轮轴旋转， 同时沿平台前进方向偏离一定移动关节量d_{\mathrm{f}}^{\mathrm{*}}. d_x^{\mathrm{*}}与d_y^{\mathrm{*}}虚拟关节平移一定关节量可以抵消d_{\mathrm{f}}^{\mathrm{*}}的偏离影响， 因此前摆臂转动等效于增加一个俯仰转动关节{\theta }_{\mathrm{f}}^{\mathrm{*}}.

1.3 移动机械臂物理模型

基于连杆模型与虚拟关节方法，本文研究的移动机械臂关节布置如图4和图5所示.由图4可知， p_x、p_y表示平台的虚拟移动关节，{\theta }_z表示方向垂直于p_x、p_y移动平面的虚拟转动关节，{\theta }_{\mathrm{f}}表示绕后轮轴旋转的俯仰关节.{\theta }_{\mathrm{1}}、{\theta }_{\mathrm{2}}、p_{\mathrm{3}}、{\theta }_{\mathrm{4}}、p_{\mathrm{5}}、{\theta }_{\mathrm{6}}表示机械臂的移动关节或转动关节，其中， p_{\mathrm{3}}、p_{\mathrm{5}}为移动关节， θ₁、θ₂、θ₄、θ₆为转动关节.图5为移动机械臂改进DH参数法坐标系布局， 其中，坐标系中下标为X、Y、Z、f、1、2、3、4、5、6的参数分别与关节p_x、p_y、{\theta }_z、{\theta }_{\mathrm{f}}、{\theta }_{\mathrm{1}}、{\theta }_{\mathrm{2}}、p_{\mathrm{3}}、{\theta }_{\mathrm{4}}、p_{\mathrm{5}}、{\theta }_{\mathrm{6}}对应， G为世界坐标系.

表1为移动机械臂的改进DH参数表.其中，\theta为连杆转角，\alpha为连杆扭角，d为连杆偏距，a为连杆距离.将表1中参数代入式（3）~式（5）并结合图5， 构建移动机械臂物理模型.

2 改进DE算法

本节主要介绍基于改进DE算法的移动机械臂逆运动学求解方法. 通过移动机械臂物理模型构建逆运动学求解问题的适应度函数， 结合改进DE算法， 将个体基因编码为关节变量， 引入均匀初始化操作提升种群多样性， 添加动态变异多策略方法与进化监督机制增强算法全局搜索性能， 基于种群迭代获得移动机械臂关节在目标位姿点逆运动学的最优解.

2.1 适应度函数构建

定义移动机械臂末端执行器期望位姿为{{}_{}{}^{\mathrm{0}}}_n， 实际末端到达的位姿为{}^{\mathrm{0}}{\mathit{T}}_n(\mathit{q})， 两者之间的误差如下式所示：

T_{\mathrm{e}\mathrm{r}\mathrm{r}\mathrm{o}\mathrm{r}}=‖{}^{\mathrm{0}}{\mathit{T}}_n(\mathit{q}){-}^{\mathrm{0}}{\widehat{\mathit{T}}}_n‖（6）

式中：{}^{\mathrm{0}}{\mathit{T}}_n(\mathit{q}){\mathrm{、}}^{\mathrm{0}}{\widehat{\mathit{T}}}_n\in {\mathbf{R}}^{\mathrm{4}\times \mathrm{4}},T_{\mathrm{e}\mathrm{r}\mathrm{r}\mathrm{o}\mathrm{r}}\in \mathbf{R}. \mathit{q}\in {\mathbf{R}}^n是求解得到的关节估计值， n表示关节个数， ‖\cdot ‖表示弗罗贝尼乌斯范数.

定义关节初始角度{\mathit{q}}_{\mathrm{o}\mathrm{l}\mathrm{d}}与关节估计角度\mathit{q}的误差以最小化移动机械臂的关节运动， 运动误差计算为：

q_{\mathrm{e}\mathrm{r}\mathrm{r}\mathrm{o}\mathrm{r}}=‖{\mathit{q}}_{\mathrm{o}\mathrm{l}\mathrm{d}}-\mathit{q}‖（7）

式中：q_{\mathrm{e}\mathrm{r}\mathrm{r}\mathrm{o}\mathrm{r}}\in \mathbf{R}. 在求解单个位姿点逆运动学问题时， 使用位姿的误差作为适应度函数， 即：

f_{\mathrm{1}}{(}^{\mathrm{0}}{\widehat{\mathit{T}}}_n,\mathit{q})=T_{\mathrm{e}\mathrm{r}\mathrm{r}\mathrm{o}\mathrm{r}}（8）

在求轨迹跟踪问题时， 为降低关节角度的突变， 使用位姿误差与关节运动误差的加权和作为适应度函数， 适应度函数可定义为：

f_{\mathrm{2}}{(}^{\mathrm{0}}{\widehat{\mathit{T}}}_n,\mathit{q},{\mathit{q}}_{\mathrm{o}\mathrm{l}\mathrm{d}})=\alpha T_{\mathrm{e}\mathrm{r}\mathrm{r}\mathrm{o}\mathrm{r}}+\beta q_{\mathrm{e}\mathrm{r}\mathrm{r}\mathrm{o}\mathrm{r}}（9）

式中：\alpha \mathrm{、}\beta是衡量位姿误差与关节运动误差占比的加权因子.

式（8）和式（9）将移动机械臂的逆运动学求解转化为约束条件下的优化问题， 约束为每个关节的运动范围. 在差分进化算法中， 通过限制个体边界的方式进行关节运动约束.

2.2 均匀初始化

在种群初始化阶段， 标准DE算法采用随机方法生成个体数量为\mathrm{p}\mathrm{s}、空间维度为dim的初始种群， 定义^［2］：

X_{i,j}=\mathrm{l}{\mathrm{b}}_j+(\mathrm{u}{\mathrm{b}}_j-\mathrm{l}{\mathrm{b}}_j)\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{d}(\mathrm{0,1})（10）

式中：\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{d}(\mathrm{0,1})表示［\mathrm{0,1}］之间的一个随机数；i为种群个体， i=1，2，3，…，\mathrm{p}\mathrm{s}；j为空间维度， j=1，2，3，…，\mathrm{d}\mathrm{i}\mathrm{m}；\mathrm{u}{\mathrm{b}}_j和\mathrm{l}{\mathrm{b}}_j分别表示维度为j的上界和下界；X_{i,j}表示i个体第j维度信息. 由于随机数方法的初始种群在空间上分布不均匀， 故采用数理统计方法对种群进行初始化^［20］， 如下式所示：

X_{i,j}=\mathrm{l}{\mathrm{b}}_j+\left(\begin{array}{c}\mathrm{u}{\mathrm{b}}_j-\mathrm{l}{\mathrm{b}}_j\end{array}\right)\mathrm{m}\mathrm{o}\mathrm{d}\left(\mathrm{2}\mathrm{c}\mathrm{o}\mathrm{s}\left(\frac{\mathrm{2}\mathrm{\pi }j}{w}\right)i,\mathrm{1}\right)（11）

式中：w是满足(w-\mathrm{3})/\mathrm{2}\ge \mathrm{d}\mathrm{i}\mathrm{m}的最小质数.

在二维空间中设置种群个数为100，对式（10）与式（11）的初始化进行对比，如图6所示.结果显示：数理统计方法的初始种群在空间上分布更均匀，有利于增加种群多样性，降低算法陷入局部最优的风险^［20］.

2.3 动态变异多策略方法

改进\mathrm{D}\mathrm{E}算法在种群多样性丰富的进化前期侧重于全局探索， 防止过早陷入局部最优；在进化后期迭代一定次数后种群多样性趋向单一性， 侧重在优秀个体周围开发. 本文提出一种动态多策略的方法权衡算法在进化过程中探索与开发的占比. 采用如下4个算子作为变异策略：

1） \mathrm{D}\mathrm{E}/\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{d}\mathrm{1}

V_i^l=X_{r_{\mathrm{1}}}^l+F_i^l(X_{r_{\mathrm{2}}}^l-X_{r_{\mathrm{3}}}^l)（12）

2） \mathrm{D}\mathrm{E}/\mathrm{b}\mathrm{e}\mathrm{s}\mathrm{t}\mathrm{1}

V_i^l=X_{\mathrm{b}\mathrm{e}\mathrm{s}\mathrm{t}}^l+F_i^l(X_{r_{\mathrm{2}}}^l-X_{r_{\mathrm{3}}}^l)（13）

3） \mathrm{D}\mathrm{E}/\mathrm{b}\mathrm{e}\mathrm{s}\mathrm{t}\mathrm{2}

V_i^l=X_{\mathrm{b}\mathrm{e}\mathrm{s}\mathrm{t}}^l+F_i^l(X_{r_{\mathrm{1}}}^l-X_{r_{\mathrm{2}}}^l)+F_i^l(X_{r_{\mathrm{3}}}^l-X_{r_{\mathrm{4}}}^l)（14）

4） \mathrm{D}\mathrm{E}/\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{d}\mathrm{2}

V_i^l=X_{r_{\mathrm{1}}}^l+F_i^l(X_{r_{\mathrm{2}}}^l-X_{r_{\mathrm{3}}}^l)+F_i^l(X_{r_{\mathrm{4}}}^l-X_{r_{\mathrm{5}}}^l)（15）

式中：\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{d}\mathrm{1}与\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{d}\mathrm{2}用于全局探索， 称为探索算子（exploration）；best1与best2用于局部开发， 称为开发算子（exploitation）； i表示种群的个体数；l是迭代次数；V_i^l表示突变的子代；F_i^l是突变因子， 范围在[\mathrm{0,1}]内；r_{\mathrm{1}}\mathrm{、}{r}_{\mathrm{2}}\mathrm{、}{r}_{\mathrm{3}}\mathrm{、}{r}_{\mathrm{4}}\mathrm{、}{r}_{\mathrm{5}}是[\mathrm{1},\mathrm{p}\mathrm{s}]中互不相同的整数；X_{\mathrm{b}\mathrm{e}\mathrm{s}\mathrm{t}}^l表示当前种群的最优个体.

若突变个体V_i^l的某些维度V_{i,j}^l超出搜索空间范围， 则计算如下：

V_{i,j}^l=\mathrm{l}{\mathrm{b}}_j+(\mathrm{u}{\mathrm{b}}_j-\mathrm{l}{\mathrm{b}}_j)\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{d}(\mathrm{0,1})（16）

动态变异多策略方法首先确定主体算子\mathrm{m}\mathrm{u}\mathrm{t}\mathrm{a}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}， 计算公式如下：

（17）

式中：\mathrm{r}\mathrm{a}\mathrm{n}{\mathrm{d}}_l表示［0，1］内的随机数；\mathrm{m}\mathrm{a}\mathrm{x}\mathrm{I}\mathrm{t}\mathrm{e}\mathrm{r}表示最大的迭代次数.

式（17）表明在进化前期种群迭代次数l较小， 选择探索算子的概率更大；在进化后期迭代次数l变大后， 选择开发算子的概率更大. \mathrm{r}\mathrm{a}\mathrm{n}\mathrm{d}\mathrm{2}和\mathrm{b}\mathrm{e}\mathrm{s}\mathrm{t}\mathrm{2}算子分别比\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{d}\mathrm{1}和\mathrm{b}\mathrm{e}\mathrm{s}\mathrm{t}\mathrm{1}算子多一项差分顶， 相应加强了全局探索能力. 确定主体算子后， 动态变异多策略方法根据强化学习方法输出的突变因子F选择具体的变异算子， 如下所示：

（18）

式中：\mathrm{s}\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{t}\mathrm{e}\mathrm{g}{\mathrm{y}}^l、\mathrm{s}\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{t}\mathrm{e}\mathrm{g}{\mathrm{y}}^{l-\mathrm{1}}分别表示第l、l-\mathrm{1}代种群的具体变异策略， \mathrm{m}\mathrm{u}\mathrm{t}\mathrm{a}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}(\mathrm{1})对应\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{d}\mathrm{1}或者\mathrm{b}\mathrm{e}\mathrm{s}\mathrm{t}\mathrm{1}， \mathrm{m}\mathrm{u}\mathrm{t}\mathrm{a}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}(\mathrm{2})对应\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{d}\mathrm{2}或者\mathrm{b}\mathrm{e}\mathrm{s}\mathrm{t}\mathrm{2}. 若当代的突变因子比上一代大， 选择\mathrm{m}\mathrm{u}\mathrm{t}\mathrm{a}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}(\mathrm{2})增强探索能力；若当代的突变因子比上一代小， 选择\mathrm{m}\mathrm{u}\mathrm{t}\mathrm{a}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}(\mathrm{1})增强开发能力；否则变异策略与上一代保持相同.

2.4 进化监督机制

在进化过程中， 将个体多次迭代后仍没有进化的问题视为进化停滞. 为避免此问题， 将种群个体根据适应度进行排名， 排名靠后的个体视为非精英群体. 迭代过程中若非精英群体的个体X_i^l连续\mathrm{N}{\mathrm{S}}_i代未进化， 且\mathrm{N}{\mathrm{S}}_i大于停滞界限\mathrm{N}{\mathrm{S}}_{\mathrm{m}\mathrm{a}\mathrm{x}}， 对个体X_i^l的每个维度施加小概率突变措施， 以解决个体进化停滞问题， 如下式所示：

X_{i,j}^l=\left\{\begin{array}{l}\mathrm{l}{\mathrm{b}}_j+(\mathrm{u}{\mathrm{b}}_j-\mathrm{l}{\mathrm{b}}_j)\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{d}(\mathrm{0,1}),\mathrm{r}\mathrm{a}\mathrm{n}{\mathrm{d}}_j\le \phi \\ X_{i,j}^l,\mathrm{其他}\end{array}\right.（19）

式中：\mathrm{r}\mathrm{a}\mathrm{n}{\mathrm{d}}_j是[\mathrm{0,1}]内的随机数；\phi为控制个体维度突变的调节参数. \phi过大停滞进化个体容易偏离正确的进化方向， 过小不利于解决进化停滞问题， 因此设置为0.5. 非精英个体通过式（19）优化后， 将\mathrm{N}{\mathrm{S}}_i重置为0.

3 基于强化学习的改进DE算法

本节主要介绍基于深度确定性策略梯度算法的强化学习方法， 以优化改进DE算法的进化参数， 如图7所示. 以种群多样性和最佳个体的适应度进化率等种群特征作为DDPG方法输入信息， 基于当前父代与子代的进化反馈设计奖励函数， 最大化种群进化后最优个体适应度的变化率. DDPG智能体迭代学习后输出当前父代种群的进化参数， 以实现快速收敛至全局最优区域.

3.1 DDPG强化学习方法

改进DE算法的关键是控制变异与交叉进化过程. 交叉操作如式（20）所示：

U_{i,j}^l=\left\{\begin{array}{l}{V}_{i,j}^l,\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{d}(\mathrm{0,1})\le \mathrm{C}{\mathrm{R}}_i^l\mathrm{或}j=j_{\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{d}}\\ X_{i,j}^l,\mathrm{其他}\end{array}\right.（20）

式中：U_{i,j}^l表示交叉个体i第j维度的交叉结果；\mathrm{C}{\mathrm{R}}_i^l表示交叉率， 是范围在[\mathrm{0,1}]内的实数；j_{\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{d}}表示区间在[\mathrm{1},\mathrm{p}\mathrm{s}]内的随机整数. 进化过程中需要突变因子与交叉率控制个体的进化程度. 突变因子与交叉率越大， 产生的子代个体相对亲本个体的变异程度越大， 反之亦然.

\mathrm{D}\mathrm{D}\mathrm{P}\mathrm{G}是一种无模型、非策略的\mathrm{R}\mathrm{L}算法， 其采用演员-评论家的方法解决连续动作的输出问题， 利用贝尔曼方程存储Q函数，继而用Q函数学习动作策略^［21］，如图8所示.其中，Q(s,a)表示在状态s下执行动作a获得的预期累积回报，Q(s\mathrm{\text{'}},a\mathrm{\text{'}})表示在下一状态s\mathrm{\text{'}}下执行对应动作a\mathrm{\text{'}}获得的预期累积回报.

本文在改进\mathrm{D}\mathrm{E}算法迭代过程中融合\mathrm{D}\mathrm{D}\mathrm{P}\mathrm{G}强化学习， 将当前种群与上一代种群的适应度与多样性特征作为输入状态， 突变因子与交叉率作为连续动作输出. DDPG输入状态为：种群适应度特征\mathrm{F}\mathrm{C}与多样性特征\mathrm{P}\mathrm{C}， 如下式计算：

\begin{array}{l}\mathrm{s}\mathrm{t}\mathrm{a}\mathrm{t}\mathrm{e}\mathrm{1}:\mathrm{P}\mathrm{C}=\sqrt[]{\frac{\mathrm{1}}{\mathrm{p}\mathrm{s}}{\displaystyle \sum _{i=\mathrm{1}}^{\mathrm{p}\mathrm{s}}}{\displaystyle \sum _{j=\mathrm{1}}^{\mathrm{d}\mathrm{i}\mathrm{m}}}{\left(\frac{X_{i,j}^{l+\mathrm{1}}-X_{i,j}^l}{\mathrm{u}{\mathrm{b}}_j-\mathrm{l}{\mathrm{b}}_j}\right)}^{\mathrm{2}}}\\ \mathrm{s}\mathrm{t}\mathrm{a}\mathrm{t}\mathrm{e}\mathrm{2}:\mathrm{F}\mathrm{C}=\sqrt[]{\frac{\mathrm{1}}{\mathrm{p}\mathrm{s}}{{\displaystyle \sum _{i=\mathrm{1}}^{\mathrm{p}\mathrm{s}}}\left(\frac{f({\mathit{X}}_i^{l+\mathrm{1}})-f({\mathit{X}}_i^l)}{f({\mathit{X}}_i^l)}\right)}^{\mathrm{2}}}\end{array}（21）

式中：f(·)表示适应度函数. DDPG输出动作为：第l+\mathrm{1}代种群的突变因子F^{l+\mathrm{1}}与交叉率\mathrm{C}{\mathrm{R}}^{l+\mathrm{1}}， F^{l+\mathrm{1}}\mathrm{、}\mathrm{C}{\mathrm{R}}^{l+\mathrm{1}}\in [\mathrm{0,1}]. 若范围超出[\mathrm{0,1}]， 则采用\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{d}(\mathrm{0,1})随机生成一个[\mathrm{0,1}]范围内的实数代替超出的动作.

为优化改进DE算法的收敛速度， DDPG奖励函数考虑子代种群进化后最优个体适应度的变化率. \mathrm{l}\mathrm{e}\mathrm{v}\mathrm{e}\mathrm{l}表示第l+\mathrm{1}代到第l+\mathrm{2}代最优个体适应度的进化水平， 如：

\mathrm{l}\mathrm{e}\mathrm{v}\mathrm{e}\mathrm{l}=\frac{f(X_{\mathrm{b}\mathrm{e}\mathrm{s}\mathrm{t}}^{l+\mathrm{1}})-f(X_{\mathrm{b}\mathrm{e}\mathrm{s}\mathrm{t}}^{l+\mathrm{2}})}{f(X_{\mathrm{b}\mathrm{e}\mathrm{s}\mathrm{t}}^{l+\mathrm{1}})}（22）

式中：X_{\mathrm{b}\mathrm{e}\mathrm{s}\mathrm{t}}^{l+\mathrm{1}}表示第l+\mathrm{1}代的最优个体， X_{\mathrm{b}\mathrm{e}\mathrm{s}\mathrm{t}}^{l+\mathrm{2}}表示第l+\mathrm{2}代的最优个体. 奖励函数设计如下：

r^{{}_{l+\mathrm{1}}}=\left\{\begin{array}{l}\mathrm{20}\times \mathrm{l}\mathrm{e}\mathrm{v}\mathrm{e}\mathrm{l},\mathrm{l}\mathrm{e}\mathrm{v}\mathrm{e}\mathrm{l}\ge \mathrm{0.6}\\ \mathrm{16}\times \mathrm{l}\mathrm{e}\mathrm{v}\mathrm{e}\mathrm{l},\mathrm{l}\mathrm{e}\mathrm{v}\mathrm{e}\mathrm{l}\in [\mathrm{0.5,0.6})\\ \mathrm{12}\times \mathrm{l}\mathrm{e}\mathrm{v}\mathrm{e}\mathrm{l},\mathrm{l}\mathrm{e}\mathrm{v}\mathrm{e}\mathrm{l}\in [\mathrm{0.4,0.5})\\ \begin{array}{l}\mathrm{8}\times \mathrm{l}\mathrm{e}\mathrm{v}\mathrm{e}\mathrm{l},\mathrm{l}\mathrm{e}\mathrm{v}\mathrm{e}\mathrm{l}\in [\mathrm{0.3,0.4})\\ \mathrm{6}\times \mathrm{l}\mathrm{e}\mathrm{v}\mathrm{e}\mathrm{l},\mathrm{l}\mathrm{e}\mathrm{v}\mathrm{e}\mathrm{l}\in [\mathrm{0.2,0.3})\\ \mathrm{4}\times \mathrm{l}\mathrm{e}\mathrm{v}\mathrm{e}\mathrm{l},\mathrm{l}\mathrm{e}\mathrm{v}\mathrm{e}\mathrm{l}\in [\mathrm{0.1,0.2})\\ \mathrm{2}\times \mathrm{l}\mathrm{e}\mathrm{v}\mathrm{e}\mathrm{l},\mathrm{其他}\end{array}\end{array}\right.（23）

由式（23）可知， 智能体输出的进化参数使当前种群最佳个体的适应度值到下一代最佳个体的适应度值变化率越大， 获得的奖励越高. 在迭代前期， 种群的搜索空间大， 每一代种群根据智能体的学习效果向奖励最大的方向进化， 实现快速收敛到全局最优区域；在迭代后期， 种群的搜索空间缩小， 智能体选择使最佳个体的适应度值变化率最大的进化参数， 进一步开发当前区域. 由式（17）与式（18）可知， 输出的突变因子F若升高， 则智能体判定算法需要加强探索能力， F若降低， 则算法需要对优秀个体展开进一步开发， 从而选择对应变异算子. 这种以最优个体适应度进化率为奖励导向的RL-DE改进算法建立突变因子与突变策略的联系， 解决DE算法进化参数的选取问题.

\mathrm{D}\mathrm{D}\mathrm{P}\mathrm{G}的策略网络与评价网络均采用2层全连接层，每层的神经元个数为256， 采用\mathrm{r}\mathrm{e}\mathrm{l}\mathrm{u}\mathrm{l}\mathrm{a}\mathrm{y}\mathrm{e}\mathrm{r}激活层.

3.2 RL-DE改进算法训练流程

选取式（8）作为适应度函数， 对RL-DE改进算法的智能体进行训练， 伪代码如表2所示.

4 实验与结果

为验证本文算法的优越性， 首先设计200个目标位姿点逆运动学求解实验， 将本文方法与已有的算法进行对比， 测试离散位姿点求解的成功率及误差性能；其次， 选取上述实验表现最佳的对比算法与本文算法进行3种不同轨迹的跟踪仿真对比实验， 验证算法轨迹跟踪误差及关节平滑性等性能. 仿真实验开发环境为MATLAB R2023b， 其运行平台为Windows 10 64 bit系统的个人电脑（CPU i7-4790， RAM 16 GB）.

4.1 目标位姿点实验

为保证目标位姿点在移动机械臂的工作范围内， 使用蒙特卡罗方法随机生成\mathrm{200}组关节角度， 如下所示^［2］：

\left\{\begin{array}{l}{\widehat{q}}_j=\mathrm{l}{\mathrm{b}}_j+\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{d}(\mathrm{0,1})(\mathrm{u}{\mathrm{b}}_j-\mathrm{l}{\mathrm{b}}_j)\\ \widehat{\mathit{q}}=[{\widehat{q}}_{\mathrm{1}},{\widehat{q}}_{\mathrm{2}},\cdots ,{\widehat{q}}_j,\cdots ,{\widehat{q}}_{\mathrm{10}}]\end{array}\right.（24）

式中：\mathrm{u}{\mathrm{b}}_j和\mathrm{l}{\mathrm{b}}_j分别表示关节j运动范围上、下界. 据式（3）正运动学得到位姿转化矩阵{}^{\mathrm{0}}{\widehat{\mathit{T}}}_n(\widehat{\mathit{q}})， 优化问题表示为：

\begin{array}{l}\mathrm{m}\mathrm{i}\mathrm{n}{f}_{\mathrm{1}}{(}^{\mathrm{0}}{\widehat{\mathit{T}}}_n(\widehat{\mathit{q}}),\mathit{q})\\ \mathrm{s}.\mathrm{t}.\mathit{q}\in [\mathrm{l}\mathrm{b},\mathrm{u}\mathrm{b}]\end{array}（25）

对比算法及其参数设置如下：基于知识的人工蜂群（KABC）算法的雇佣蜂群设置为\mathrm{50}， 观察蜂群设置为\mathrm{50}， 停滞极限设置为（ps\timesdim）/2^［22］；收缩因子粒子群优化（CFPSO）算法的粒子种群设置为\mathrm{50}， 认知因子c_{\mathrm{1}}=2.05， 社会因子c_{\mathrm{2}}=2.05， 收缩因子\varphi =\mathrm{4.1}^［23］；布谷鸟搜索（cuckoo search， CS）算法的发现概率Pa=0.25^［24］；\mathrm{D}\mathrm{E}^［2］与自适应差分进化^［16］（self-adaptive differential evolution， SDE）的变异因子与交叉率分别设置为\mathrm{0.4}和\mathrm{0.9}；外部存档自适应差分进化（adaptive differential evolution with optimization external archive， ADE）算法的变异因子均值{\mu }_{\mathrm{F}}=0.6， 交叉率均值{\mu }_{\mathrm{C}\mathrm{R}}=0.85^［25］；自适应调参差分进化（self-adapting control parameters in differential evolution， SADE）算法的变异因子F=0.1+0.9rand（0，1）， 交叉率\mathrm{C}\mathrm{R}=rand （0，1）， 种群设置为50^［26］. 本文提出的RL-DE改进算法种群设置为50， 所有算法迭代次数设置为 1 000. 利用式（8）计算末端位姿误差小于\mathrm{1}\times {\mathrm{10}}^{-\mathrm{10}}\mathrm{m}的逆解视为成功解. 定义成功率表示如下：

\mathrm{s}\mathrm{u}\mathrm{c}\_\mathrm{r}\mathrm{a}\mathrm{t}\mathrm{e}=\frac{n_{\mathrm{s}\mathrm{u}\mathrm{c}}}{n_{\mathrm{t}\mathrm{o}\mathrm{t}\mathrm{a}\mathrm{l}}}\times \mathrm{100}\mathrm{\%}（26）

式中：n_{\mathrm{s}\mathrm{u}\mathrm{c}}表示获得成功解的目标位姿点个数；n_{\mathrm{t}\mathrm{o}\mathrm{t}\mathrm{a}\mathrm{l}}表示所有目标位姿点个数.

结果如表3和表4所示.由表3可知， KABC、CFPSO和CS算法的成功率均为\mathrm{0}，DE和SDE算法成功率均大于\mathrm{10}\mathrm{\%}， 由此可知差分进化算法在求解移动机械臂的逆运动学问题上具有显著优势.本文方法误差均值、误差最大值、成功率求解均为最佳，误差最小值与最佳的SDE算法表现相当，由表4可知，本文方法通过强化学习获得种群进化参数，所需计算资源大，因此目标位姿点逆运动学的平均求解时间较长，为36.091 4 s.此外，SDE算法与本文算法成功率较高，分别为\mathrm{92.0}\mathrm{\%}和\mathrm{99.5}\mathrm{\%}，两种算法的误差分布如图9所示.由图9可知，以0作为基准，SDE算法的误差分布离散，且最大值超过0.8 m，本文方法的误差分布更集中在0附近，最大值不超过0.05 m， 误差的方差更小.如图10所示为不同算法在求解 4个随机目标位姿点逆运动学问题时的迭代过程， 可见，本文方法具备更突出的寻优能力与收敛速度.

4.2 轨迹跟踪实验

为进一步验证本文算法的有效性，对SDE算法与RL-DE改进算法进行轨迹跟踪实验.选取3种复杂程度不同的轨迹进行对比实验，每条轨迹被分段，取k=1，2，3，…，201，共201个目标点，轨迹方程如下：

轨迹1：

\left\{\begin{array}{l}{\theta }_k=\mathrm{0}:\mathrm{\pi }/\mathrm{100}:\mathrm{2}\mathrm{\pi }\\ x_k=\mathrm{0.5}\\ y_k=\mathrm{0.2}\mathrm{c}\mathrm{o}\mathrm{s}({\theta }_k)\\ z_k=\mathrm{0.55}+\mathrm{0.2}\mathrm{s}\mathrm{i}\mathrm{n}({\theta }_k)\end{array}\right.（27）

轨迹2：

\left\{\begin{array}{l}{\theta }_k=\mathrm{0}:\mathrm{\pi }/\mathrm{100}:\mathrm{2}\mathrm{\pi }\\ r_k=\mathrm{0.15}+\mathrm{0.08}\mathrm{c}\mathrm{o}\mathrm{s}(\mathrm{3}{\theta }_k)\\ x_k=\mathrm{0.4}\\ y_k=r_k\mathrm{c}\mathrm{o}\mathrm{s}(r_k)\\ z_k=\mathrm{0.5}+r_k\mathrm{s}\mathrm{i}\mathrm{n}({\theta }_k)\end{array}\right.（28）

轨迹3：

\left\{\begin{array}{l}{y}_k=-\mathrm{0.5}:\mathrm{0.005}:\mathrm{0.5}\\ x_k=\mathrm{0.4}\\ z_k=\mathrm{0.5}+\mathrm{0.1}\mathrm{s}\mathrm{i}\mathrm{n}(\mathrm{30}{y}_k)\end{array}\right.（29）

式中：(x_k,y_k,z_k)表示第k个目标点坐标. 轨迹1、2、3分别为圆曲线、玫瑰曲线和正弦曲线， 如图11所示.

在对比实验中， 规定所有跟踪点{{}_{}{}^{\mathrm{0}}}_n的方向矩阵\mathit{R}为：

\mathit{R}=\left[\begin{array}{ccc}\mathrm{1}& \mathrm{0}& \mathrm{0}\\ \mathrm{0}& \mathrm{1}& \mathrm{0}\\ \mathrm{0}& \mathrm{0}& \mathrm{1}\end{array}\right]

将轨迹跟踪转化为最小优化问题， 定义如下：

\begin{array}{l}\mathrm{m}\mathrm{i}\mathrm{n}{f}_{\mathrm{2}}{(}^{\mathrm{0}}{\widehat{\mathit{T}}}_n,\mathit{q},{\mathit{q}}_{\mathrm{o}\mathrm{l}\mathrm{d}})\\ \mathrm{s}.\mathrm{t}.\mathit{q}\in [\mathrm{l}\mathrm{b},\mathrm{u}\mathrm{b}]\end{array}（30）

式中：\alpha =\mathrm{1},\beta =\mathrm{0.05}. 在求解k跟踪点的关节变量{\mathit{q}}_k时，将{\mathit{q}}_{\mathrm{o}\mathrm{l}\mathrm{d}}设置为k-\mathrm{1}跟踪点的关节变量{\mathit{q}}_{k-\mathrm{1}}.为增加关节的平滑性，在轨迹跟踪中进一步降低关节突变， 在求出k-\mathrm{1}跟踪点的逆解后，保存其最后一代种群中排名前10的优秀个体.求解k(k>\mathrm{1})跟踪点的逆解时，在种群初始化步骤加入k-\mathrm{1}跟踪点保存的优秀个体，如图12所示.由于相邻两个跟踪点在三维空间的欧氏距离很小，上述优秀个体的保存过程可以加快求解当前跟踪点逆运动学问题的收敛速度.

本文方法与SDE参数设置与目标位姿点实验相同， 两者适应度函数加入关节变化权重. 通过式（8）计算每个跟踪点的最终位姿误差. 实验结果以位姿误差不超过\mathrm{1}\times {\mathrm{10}}^{-\mathrm{5}}\mathrm{m}的跟踪点视为成功点，并通过式（26）计算轨迹跟踪的成功率， 误差结果如图13所示. 由图13可知在3种轨迹跟踪实验中， 本文方法的误差波动更小.

表5为跟踪点误差对比. 由表5可知， 本文方法的轨迹跟踪实验跟踪成功率均在95%以上， 轨迹2的跟踪成功率为99.50%， 轨迹3的跟踪成功率为98.51%. SDE算法各轨迹的跟踪成功率均比本文方法低， 且轨迹1的跟踪成功率为0.

图14给出了本文方法和SDE算法轨迹跟踪的三维空间图，绿色点表示成功跟踪点， 红色点表示误差超过\mathrm{1}\times {\mathrm{10}}^{-\mathrm{5}}\mathrm{m}的失败跟踪点. 图15为3种轨迹跟踪的关节角度变化曲线. 为评估关节运动轨迹平滑度，基于角度变化特征提出评价指标D_{\mathrm{s}}^［27］：

D_{\mathrm{s}}=\frac{{\displaystyle \sum _{i=\mathrm{1}}^{N-\mathrm{1}}}\left|\mathrm{\Delta }q(i)\right|}{N-\mathrm{1}}（31）

式中： \mathrm{\Delta }q(i) 表示相邻跟踪点的关节角度差；N为轨迹跟踪点个数.D_{\mathrm{s}}数值越小， 表明关节的平滑度性能越好. 表6为轨迹跟踪实验移动机械臂关节运动的平滑度评价结果. 综合图15和表6可知本文方法的关节轨迹比SDE算法的关节轨迹更平滑.

5 结 论

本文针对移动机械臂逆运动学高效求解问题， 提出了一种融合RL与DE算法的改进算法， 优化DE算法种群进化方向和收敛速度. 基于进化参数动态设定种群突变策略， 调整DE算法不同进化阶段的全局搜索与局部优化方向， 保证算法全局寻优能力. 加入进化监督机制优化停滞进化个体，有助于降低算法陷入局部最优的风险. 采用DDPG强化学习方法以种群最优个体适应度变化率为奖励函数优化改进DE算法进化参数， 解决进化参数固定的局限性问题以提高DE算法的全局收敛性能. 两组对比实验结果表明：相比于KABC、CFPSO、CS、SDE等智能启发算法， 本文方法目标点逆运动学求解成功率最高， 平均误差最小， 算法收敛性能优越；相比于SDE算法， 本文方法在不同目标轨迹跟踪场景下逆运动学求解平均误差更小， 跟踪成功率更高， 关节运动轨迹更为平滑.

综上所述， 本文提出的RL-DE改进算法可有效提升移动机械臂逆运动学求解成功率和降低跟踪误差.

参考文献

[1] CHEN F， SELVAGGIO M， CALDWELL D G ．Dexterous grasping by manipulability selection for mobile manipulator with visual guidance［J］．IEEE Transactions on Industrial Informatics，2019，15（2）：1202-1210.

[2] LI M H， QIAO L J ．A review and comparative study of differential evolution algorithms in solving inverse kinematics of mobile manipulator［J］．Symmetry，2023，15（5）：1080.

[3] 李翠明，任柯州，龚俊 ．基于改进遗传算法的清洁移动机械臂运动学逆解［J］．太阳能学报，2022，43（7）：180-185．

[4] LI C M， REN K Z， GONG J ．Inverse kinematics solution of cleaning mobile manipulator based on improved genetic algorithm［J］．Acta Energiae Solaris Sinica，2022，43（7）：180-185．（in Chinese）

[5] ZHAO G J， TAO B， JIANG D，et al ．A closed-form inverse kinematic analytical method for seven-DOF space manipulator with aspheric wrist structure［J］．Machines，2024，12（9）：632.

[6] COLAN J， DAVILA A， HASEGAWA Y ．Variable step sizes for iterative Jacobian-based inverse kinematics of robotic manipulators［J］．IEEE Access，2024，12：87909-87922.

[7] WOLIŃSKI Ł， WOJTYRA M ．A novel QP-based kinematic redundancy resolution method with joint constraints satisfaction［J］．IEEE Access，2022，10：41023-41037.

[8] BAI Y H， LUO M Z， PANG F L ．An algorithm for solving robot inverse kinematics based on FOA optimized BP neural network［J］．Applied Sciences，2021，11（15）：7129.

[9] AGGARWAL L， AGGARWAL K， URBANIC R J ．Use of artificial neural networks for the development of an inverse kinematic solution and visual identification of singularity zone（s）［J］．Procedia CIRP，2014，17：812-817.

[10] RAM R V， PATHAK P M， JUNCO S J ．Inverse kinematics of mobile manipulator using bidirectional particle swarm optimization by manipulator decoupling［J］．Mechanism and Machine Theory，2019，131：385-405.

[11] NGUYEN-VAN S， LIEU Q X， XUAN-MUNG N，et al.．A new study on optimization of four-bar mechanisms based on a hybrid-combined differential evolution and jaya algorithm［J］. Symmetry，2022，14（2）：381.

[12] LIU Y Y， XI J L， BAI H F，et al ．A general robot inverse kinematics solution method based on improved PSO algorithm［J］．IEEE Access，2021，9：32341-32350.

[13] KHALEEL H Z ．Inverse kinematics solution for redundant robot manipulator using combination of GA and NN［J］．Al-Khwarizmi Engineering Journal，2018，14（1）：136-144.

[14] WONG C C， FENG H M， LAI Y C，et al ．Ant colony optimization and image model-based robot manipulator system for pick-and-place tasks［J］. Journal of Intelligent & Fuzzy Systems，2019，36（2）： 1083-1098.

[15] LOPEZ-FRANCO C， HERNANDEZ-BARRAGAN J， ALANIS A Y，et al ．A soft computing approach for inverse kinematics of robot manipulators［J］. Engineering Applications of Artificial Intelligence，2018，74：104-120.

[16] LÓPEZ-FRANCO C， HERNÁNDEZ-BARRAGÁN J， ALANIS A Y，et al ．Inverse kinematics of mobile manipulators based on differential evolution［J］．International Journal of Advanced Robotic Systems，2018，15：1729881417752738.

[17] HERNANDEZ-BARRAGAN J， LOPEZ-FRANCO C， ARANA-DANIEL N，et al ．Inverse kinematics for cooperative mobile manipulators based on self-adaptive differential evolution［J］．PeerJ Computer Science，2021，7： e419.

[18] ZHANG Q Q， WANG D Q， GAO L F ．Research on the inverse kinematics of manipulator using an improved self-adaptive mutation differential evolution algorithm［J］. International Journal of Advanced Robotic Systems，2021，18（3）：17298814211014413.

[19] MIN C， ZHANG M， ZHANG Q X，et al ．A two-stage adaptive differential evolution algorithm with accompanying populations［J］. Mathematics，2025，13（3）：440.

[20] 蔡自兴， 谢斌. 机器人学［M］. 3版．北京：清华大学出版社，2015：40-42．

[21] CAI Z X， XIE B.Robotics［M］. 3rd ed．Beijing：Tsinghua University Press， 2015： 40-42．（in Chinese）

[22] YANG Q Y， CHU S C， PAN J S，et al ．Dynamic multi-strategy integrated differential evolution algorithm based on reinforcement learning for optimization problems［J］. Complex & Intelligent Systems，2024，10（2）：1845-1877.

[23] SUMIEA E H， ABDULKADIR S J， ALHUSSIAN H S，et al ．Deep deterministic policy gradient algorithm：a systematic review［J］. Heliyon， 2024， 10（9）： e30697.

[24] BAI J H， LI J J， WANG M J. An efficient artificial bee colony algorithm for analytical inverse kinematics of redundant manipulator［C］//7th International Conference on Intelligent Robotics and Control Engineering （IRCE）. August 7-9，2024，Xi’an，China．IEEE，2024：117-123.

[25] COLLINSM T J， SHEN W M. Particle Swarm Optimization for high-DOF inverse kinematics［C］//3rd International Conference on Control，Automation and Robotics （ICCAR）. April 24-26，2017，Nagoya，Japan．IEEE，2017：1-6.

[26] LI M H， LUO X， QIAO L J. Inverse kinematics of robot manipulator based on BODE-CS algorithm［J］. Machines，2023，11（6）： 648.

[27] ZHANG J Q， SANDERSON A C ．JADE：adaptive differential evolution with optional external archive［J］. IEEE Transactions on Evolutionary Computation， 2009， 13（5）： 945-958.

[28] BREST J， GREINER S， BOSKOVIC B，et al ．Self-adapting control parameters in differential evolution：a comparative study on numerical benchmark problems［J］. IEEE Transactions on Evolutionary Computation， 2006， 10（6）： 646-657.

[29] 朱特浩，赵群飞，夏泽洋 ．利用Kinect的人体动作视觉感知算法［J］．机器人，2014，36（6）：647-653．

[30] ZHU T H， ZHAO Q F， XIA Z Y. A visual perception algorithm for human motion by a kinect［J］. Robot， 2014，36（6）：647-653．（in Chinese）

基金资助

国家自然科学基金资助项目(52402495)

国家自然科学基金资助项目(U2341269)

National Natural Science