基于自适应动态规划的约束非线性系统自触发间歇最优控制

Self-triggered intermittent optimal control of constrained nonlinear systems via adaptive dynamic programming

摘要

通过自触发间歇控制机制研究了带有输入约束的连续非线性系统的最优控制问题.将设计出的控制器应用到系统中，并克服系统内部未知扰动的影响；然后，采用评价神经网络和执行神经网络分别逼近最优成本函数和最优控制输入，得到最优控制策略，再利用半全局实际有限时间稳定的推广引理保证系统的稳定性分析；最后，通过数值仿真验证了所提理论的可行性.

Abstract

The optimal control problem of continuous nonlinear systems are investigated with input constraints using a self-triggered intermittent control mechanism. The designed controller is applied to the system to overcome the influence of unknown internal disturbances. Then， the critic and action neural networks are employed to approximate the optimal cost function and the optimal control input， respectively， to obtain the optimal control strategy. The stability of the system is analyzed by using a generalized lemma on semi-global practical finite-time stability. Finally， numerical simulations are conducted to verify the feasibility of the proposed theory.

Graphical abstract

关键词

自适应动态规划 / 连续非线性系统 / 自触发间歇最优控制 / 输入约束 / 神经网络

Key words

adaptive dynamic programming / continuous nonlinear systems / self-triggered intermittent optimal control / input constraint / neural network

在过去的几十年，自适应动态规划（ADP）作为一种有效的智能控制方法，在寻找最优控制^［1-2］的解决方案方面发挥了重要作用.为了克服传统动态规划方法导致的“维数灾”问题，WERBOS在1977年提出了该方法.通常，对于线性系统可以使用Riccati方程求解^［3］，而对于非线性系统来说，其对应的哈密顿-雅可比-贝尔曼（HJB）方程是一个非线性偏微分方程，其解析解很难得到.因此，运用ADP方法^［4-5］利用函数近似结构来逼近满足HJB方程的最优成本函数和最优控制输入，可以有效地解决此问题，例如使用神经网络（NN）结构.

最优控制作为现代控制系统设计的核心理念，致力于确保在满足系统性能指标的前提下，寻求期望性能指标和可用控制资源之间的最优平衡.对于传统的控制策略^［6］，控制器随着时间连续更新，消耗了大量的通信资源.为缓解该问题，学界内提出了事件触发机制^［7］，该机制是一种非周期性的方式，虽然在一定程度上减少了采样数量，但需要连续检测触发条件，消耗了大量的计算资源.在此基础上，有学者提出了自触发机制^［8］和动态事件触发机制.自触发机制在当前时刻计算出下一触发时刻，有效避免连续检测触发条件，降低了计算的复杂度；相较于传统的事件触发机制，动态事件触发机制引入了一个额外的内部动态变量，可以动态调整触发阈值，使得采样间隔进一步增大.近年来，为了降低控制器的采样数量，且提高采样效率，很多学者将间歇控制方法^［9-11］引入最优控制问题，间歇控制方法将时间区间划分为工作区间和休息区间，在工作区间进行控制，而在休息区间停止控制，这种方式不仅能确保系统性能，还提高了资源的利用率.如LIU等^［12］将事件触发机制和间歇控制结合，提出了事件触发间歇最优控制方法，有效地减少了采样次数；ZHANG等^［13］将动态事件触发机制和间歇控制结合，提出了动态事件触发间歇最优控制方法，使理论得到进一步扩展.在其他领域，该方法同样彰显优越性，如MEI等^［14］将其考虑在空调系统中，体现了间歇控制方法的节能优势.基于上述分析，本文通过将自触发机制和间歇控制方法结合的方式去解决最优控制问题，具有重要的理论价值和实际意义.

近年来，带有输入约束的控制问题在工业界引起广泛关注^［15］，因为在实际应用中，系统不可避免地存在影响内部特性的约束条件，一定程度上阻碍了控制的实行，甚至严重影响到具体方案的实际效果.本文通过引入一种非二次型函数解决此问题，以避免资源的过度消耗.此外，实际的系统中经常出现模型不确定性和外部扰动等因素，为降低这类因素对系统的影响，业内学者们对鲁棒控制问题进行了大量的研究工作，如LIU等^［16］通过设计合适的成本函数实现不确定系统和标称系统之间的等价性；LIU等^［17］将鲁棒控制问题转换为最优控制问题进行求解，极大地保证了系统的性能.在实际的工程背景下，以上描述的限制条件和影响因素需要有效克服，本文综合考虑了输入约束和扰动因素的影响，以满足实际中的真实需求.

基于上述分析，本文基于ADP方法，利用自触发间歇控制机制对带有输入约束的连续非线性系统的最优控制问题进行研究.首先，将原控制问题通过一个带有修改后成本函数的标称系统转换为最优控制问题；另外，由于稳定性理论的进一步发展，本文介绍了半全局实际有限时间稳定性理论^［18-19］（SGPFS）；然后，采用两个NN分别逼近最优成本函数和最优控制输入，保证了系统的稳定性；最后，通过仿真验证该方法的有效性.

1 问题描述

考虑如下连续时间非线性仿射系统：

\dot{x}\left(t\right)=f\left(x\left(t\right)\right)+g\left(x\left(t\right)\right)\left(u\left(t\right)+\mathrm{\Delta }\left(x\left(t\right)\right)\right),（1）

其中x\left(t\right)\in {\mathbb{R}}^n为系统的状态，u(t)=\left[u_{\mathrm{1}}(t),\dots ,\right.{\left.u_i(t),\dots ,u_m(t)\right]}^{\mathrm{T}}\in {\mathbb{R}}^m为控制输入，满足\left|u_i\left(t\right)\right|\le \lambda，\lambda >\mathrm{0}；f\left(·\right)和g\left(·\right)都为连续可微函数，f\left(·\right)\in {\mathbb{R}}^n是有界闭集\mathrm{\Omega }上的\mathrm{L}\mathrm{i}\mathrm{p}\mathrm{s}\mathrm{c}\mathrm{h}\mathrm{i}\mathrm{t}\mathrm{z}函数，f\left(\mathrm{0}\right)=\mathrm{0}，g\left(·\right)\in {\mathbb{R}}^{n\times m}是\mathrm{\Omega }上的有界函数；\mathrm{\Delta }\left(x\right)\in {\mathbb{R}}^n是未知的有界扰动，满足‖\mathrm{\Delta }\left(x\right)‖\le {\mathrm{\Delta }}_M\left(x\right)，{\mathrm{\Delta }}_M\left(x\right)是一个已知函数且{\mathrm{\Delta }}_M\left(\mathrm{0}\right)=\mathrm{0}.假设\mathrm{\Delta }\left(\mathrm{0}\right)=\mathrm{0}，使得x=\mathrm{0}是\mathrm{\Omega }上的唯一平衡点，初始状态为x\left(\mathrm{0}\right)=x_{\mathrm{0}}.

考虑系统\left(\mathrm{1}\right)对应的标称系统：

\dot{x}\left(t\right)=f\left(x\left(t\right)\right)+g\left(x\left(t\right)\right)u\left(t\right).（2）

因未知扰动的影响，受LIU^［16］的启发，为实现系统\left(\mathrm{1}\right)和标称系统\left(\mathrm{2}\right)之间的等价性，且将鲁棒控制问题转换为最优控制问题，定义成本函数如下：

V\left(x\left(t\right)\right)={\int }_t^{\mathrm{\infty }}\left(\frac{\mathrm{1}}{\mathrm{2}}{‖{\mathrm{\Delta }}_M\left(x\left(s\right)\right)‖}^{\mathrm{2}}+r\left(x\left(s\right),u\left(s\right)\right)\right)\mathrm{d}s,（3）

其中r\left(x,u\right)=x^{\mathrm{T}}Qx+\vartheta \left(u\right)，Q\in {\mathbb{R}}^{n\times n}为对称正定矩阵，满足V\left(\mathrm{0}\right)=\mathrm{0}.为简单起见，后续与时间t相关的变量或函数在表示时均省略t.对于输入约束问题，LIU^［17］引入一种非二次型函数\vartheta \left(u\right)，定义为：

\vartheta \left(u\right)=\mathrm{2}{\int }_{\mathrm{0}}^u\lambda \mathrm{t}\mathrm{a}\mathrm{n}{\mathrm{h}}^{-\mathrm{1}}\left(\frac{\tau }{\lambda }\right)\mathrm{d}\tau =\mathrm{2}{\displaystyle \sum _{i=\mathrm{1}}^m}{\int }_{\mathrm{0}}^{u_i}\lambda \mathrm{t}\mathrm{a}\mathrm{n}{\mathrm{h}}^{-\mathrm{1}}\left(\frac{{\tau }_i}{\lambda }\right)\mathrm{d}{\tau }_i.（4）

定义系统\left(\mathrm{1}\right)的Hamiltonian如下：

H\left(x,u,\nabla V\left(x\right)\right)=\frac{\mathrm{1}}{\mathrm{2}}{‖{\mathrm{\Delta }}_M\left(x\right)‖}^{\mathrm{2}}+r\left(x,u\right)+{\left(\nabla V\left(x\right)\right)}^{\mathrm{T}}\left(f\left(x\right)+g\left(x\right)u\right),（5）

其中\nabla V\left(x\right)=\partial V\left(x\right)/\partial x，根据Bellman最优性原理可以得到连续时间HJB方程：

\underset{u\in \mathrm{\Lambda }(\mathrm{\Omega })}{\mathrm{m}\mathrm{i}\mathrm{n}}H\left(x,u,\nabla V^{\mathrm{*}}\left(x\right)\right)=\mathrm{0},（6）

其中\mathrm{\Lambda }\left(\mathrm{\Omega }\right)为容许控制域，V^{\mathrm{*}}\left(x\right)为最优成本函数，对应时刻的最优控制输入u^{\mathrm{*}}为：

u^{\mathrm{*}}=\underset{u\in \mathrm{\Lambda }(\mathrm{\Omega })}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}}H\left(x,u,\nabla V^{\mathrm{*}}\left(x\right)\right).（7）

已知最优控制满足一阶必要性条件，通过求解\partial H\left(x,u,\nabla V\left(x\right)\right)/\partial u=\mathrm{0}，最小化\left(\mathrm{3}\right)式得：

u^{\mathrm{*}}=-\lambda \mathrm{t}\mathrm{a}\mathrm{n}\mathrm{h}\left({\upsilon }^{\mathrm{*}}\right),（8）

其中{\upsilon }^{\mathrm{*}}=\frac{\mathrm{1}}{\mathrm{2}\lambda }{g}^{\mathrm{T}}\left(x\right)\nabla V^{\mathrm{*}}\left(x\right).通过\left(\mathrm{5}\right)和\left(\mathrm{8}\right)式，HJB方程\left(\mathrm{6}\right)可以写成：

\frac{\mathrm{1}}{\mathrm{2}}{‖{\mathrm{\Delta }}_M\left(x\right)‖}^{\mathrm{2}}+x^{\mathrm{T}}Qx+\mathrm{2}{\int }_{\mathrm{0}}^{u^{\mathrm{*}}}\lambda \mathrm{t}\mathrm{a}\mathrm{n}{\mathrm{h}}^{-\mathrm{1}}\left(\frac{\tau }{\lambda }\right)\mathrm{d}\tau +{\left(\nabla V^{\mathrm{*}}\left(x\right)\right)}^{\mathrm{T}}\left(f\left(x\right)+g\left(x\right)u^{\mathrm{*}}\right)=\mathrm{0}.（9）

本文控制目标为：设计一个满足约束条件的控制策略u^{\mathrm{*}}使带有扰动的闭环系统(\mathrm{1})是稳定的，同时最小化成本函数.

成本函数\left(\mathrm{3}\right)的设计是为了克服扰动因素的影响和实现输入约束的限制，结合后续的稳定性证明，其首项评估每一时刻的扰动；而\vartheta \left(u\right)的设计有效地将控制输入约束到指定范围.受LIU^［16］的启发，本文设计的成本函数可以确保在标称系统中实现与原系统的等价性，将鲁棒控制问题转换为最优控制问题，再结合现有理论实现本文的控制目标.

2 自触发间歇控制器设计

本节首先介绍一种周期性间歇控制方法，通过逼近连续时间HJB方程，设计对应的周期性间歇控制器，且保证系统的稳定性.间歇控制的目的在于减少通信资源的浪费，在系统稳定的前提下，减少采样量的同时最小化成本，而周期性提高了采样效率.控制器以间歇方式运行，当系统处于工作区间，控制器运行；当系统处于休息区间，控制器关闭.为了设计周期性间歇控制器，将\left.\left[\mathrm{0},+\mathrm{\infty }\right.\right)划分为一系列子区间\left.\left[T_i,T_{i+\mathrm{1}}\right.\right)，i=\mathrm{0,1},\dots，定义一个周期的长度为T_{\mathrm{\Delta }}=T_{\mathrm{2}i+\mathrm{2}}-T_{\mathrm{2}i}，一个周期内工作区间和休息区间的长度分别为T_{\mathrm{1}}=\delta T_{\mathrm{\Delta }}，T_{\mathrm{2}}=\left(\mathrm{1}-\delta \right)T_{\mathrm{\Delta }}，其中，周期性间歇控制器的工作时间为t\in T^w={\cup }_{i=\mathrm{0}}^{\mathrm{\infty }}\left.\left[T_{\mathrm{2}i},T_{\mathrm{2}i+\mathrm{1}}\right.\right)，休息时间为t\in T^r={\cup }_{i=\mathrm{0}}^{\mathrm{\infty }}\left.\left[T_{\mathrm{2}i+\mathrm{1}},T_{\mathrm{2}\left(i+\mathrm{1}\right)}\right.\right).初始时刻为T_{\mathrm{0}}=\mathrm{0}，满足.而后引入一种自触发机制，其触发时刻序列为{\left\{t_k^i\right\}}_{i\in \mathbb{N},k\in \mathbb{N}}，满足t_{\mathrm{0}}^i=T_{\mathrm{2}i}，t_k^i\in {\mathbb{R}}^{+}.定义误差：

e=x_k-x\left(t\right),t\in \left.\left[t_k^i,t_{k+\mathrm{1}}^i\right.\right),

其中x_k=x\left(t_k^i\right).

考虑如下间歇最优控制器：

{\overline{u}}^{\mathrm{*}}=\left\{\begin{array}{l}-\lambda \mathrm{t}\mathrm{a}\mathrm{n}\mathrm{h}\left({\upsilon }_k^{\mathrm{*}}\right),t\in \left.\left[t_k^i,t_{k+\mathrm{1}}^i\right.\right)\bigcap \left.\left[T_{\mathrm{2}i},T_{\mathrm{2}i+\mathrm{1}}\right.\right)\\ \mathrm{0},t\in \left.\left[T_{\mathrm{2}i+\mathrm{1}},T_{\mathrm{2}\left(i+\mathrm{1}\right)}\right.\right)\end{array}\right.,（10）

其中{\upsilon }_k^{\mathrm{*}}=\frac{\mathrm{1}}{\mathrm{2}\lambda }{g}^{\mathrm{T}}\left(x_k\right)\nabla V^{\mathrm{*}}\left(x_k\right)，根据间歇控制思想将系统\left(\mathrm{2}\right)写为：

\dot{x}=\left\{\begin{array}{l}f\left(x\right)+g\left(x\right)u_k^{\mathrm{*}},t\in \left.\left[t_k^i,t_{k+\mathrm{1}}^i\right.\right)\bigcap \left.\left[T_{\mathrm{2}i},T_{\mathrm{2}i+\mathrm{1}}\right.\right)\\ f\left(x\right),t\in \left.\left[T_{\mathrm{2}i+\mathrm{1}},T_{\mathrm{2}(i+\mathrm{1})}\right.\right)\end{array}\right.,（11）

其中u_k^{\mathrm{*}}=u^{\mathrm{*}}\left(x_k\right).

接下来给出半全局实际有限时间稳定性的推广引理：

引理1^［11］ 对于连续时间非线性系统\left(\mathrm{1}\right)，若存在连续可微的正定函数V\left(t\right)，满足以下条件：

\dot{V}\left(t\right)\le \left\{\begin{array}{l}-{\beta }_{\mathrm{1}}{V}^{\alpha }\left(t\right)+\gamma ,t\in \left.\left[T_{\mathrm{2}i},T_{\mathrm{2}i+\mathrm{1}}\right.\right)\\ {\beta }_{\mathrm{2}}V\left(t\right)+\gamma ,t\in \left.\left[T_{\mathrm{2}i+\mathrm{1}},T_{\mathrm{2}\left(i+\mathrm{1}\right)}\right.\right)\end{array}\right.,（12）

其中{\beta }_{\mathrm{1}},{\beta }_{\mathrm{2}},\gamma >\mathrm{0}，\alpha ,\varpi \in \left(\mathrm{0,1}\right)，则以下不等式成立：

\begin{array}{c}{V}^{\mathrm{1}-\alpha }\left(t\right)\le \mathrm{1}+V^{\mathrm{1}-\alpha }\left(\mathrm{0}\right){\mathrm{e}}^{\left({\beta }_{\mathrm{1}}+{\beta }_{\mathrm{2}}\right)\left(\mathrm{1}-\alpha \right)\delta t}-\\ \varpi {\beta }_{\mathrm{1}}\left(\mathrm{1}-\alpha \right)\left(\mathrm{1}-\delta \right)t,\mathrm{0}\le t\le T,\end{array}

其中\delta \in \left(\mathrm{0,1}\right)为一个周期内工作区间的长度，T是一个常数.若满足{\mathrm{e}}^{\mathrm{1}+\frac{\left({\beta }_{\mathrm{1}}+{\beta }_{\mathrm{2}}\right)\delta }{\varpi {\beta }_{\mathrm{1}}\left(\mathrm{1}-\alpha \right)}}{V}^{\mathrm{1}-\alpha }\left(\mathrm{0}\right)\le \frac{\varpi {\beta }_{\mathrm{1}}\left(\mathrm{1}-\alpha \right)}{\left({\beta }_{\mathrm{1}}+{\beta }_{\mathrm{2}}\right)\delta }，设定的时间为T\left(x_{\mathrm{0}}\right)=\frac{\mathrm{1}}{\left({\beta }_{\mathrm{1}}+{\beta }_{\mathrm{2}}\right)\left(\mathrm{1}-\alpha \right)\delta }+\frac{\mathrm{1}}{\varpi {\beta }_{\mathrm{1}}\left(\mathrm{1}-\alpha \right)\left(\mathrm{1}-\delta \right)}，那么系统\left(\mathrm{1}\right)是SGPFS.

基于间歇控制思想和引理1，定理1给出对应的稳定性证明.在此之前，先介绍如下两个假设：

假设1^［13］ 假设f\left(x\right)在包含原点的有界闭集\mathrm{\Omega }\subseteq {\mathbb{R}}^n上是\mathrm{L}\mathrm{i}\mathrm{p}\mathrm{s}\mathrm{c}\mathrm{h}\mathrm{i}\mathrm{t}\mathrm{z}连续的，f\left(\mathrm{0}\right)=\mathrm{0}，g\left(x\right)在\mathrm{\Omega }上是有界函数，u^{\mathrm{*}}和{\upsilon }^{\mathrm{*}}是\mathrm{L}\mathrm{i}\mathrm{p}\mathrm{s}\mathrm{c}\mathrm{h}\mathrm{i}\mathrm{t}\mathrm{z}连续的，且\lambda -\mathrm{t}\mathrm{a}\mathrm{n}\mathrm{h}\left(·\right)是\lambda -\mathrm{L}\mathrm{i}\mathrm{p}\mathrm{s}\mathrm{c}\mathrm{h}\mathrm{i}\mathrm{t}\mathrm{z}连续函数，即满足：

‖u^{\mathrm{*}}-u_k^{\mathrm{*}}‖\le L_u‖x-x_k‖=L_u‖e‖,

‖\lambda \mathrm{t}\mathrm{a}\mathrm{n}\mathrm{h}\left({\upsilon }^{\mathrm{*}}\right)-\lambda \mathrm{t}\mathrm{a}\mathrm{n}\mathrm{h}\left({\upsilon }_k^{\mathrm{*}}\right)‖\le \lambda ‖{\upsilon }^{\mathrm{*}}-{\upsilon }_k^{\mathrm{*}}‖\le \lambda L_{\upsilon }‖e‖,

其中L_u、L_f、L_g和L_{\upsilon }都是正数.

假设2^［13］ 假设存在3个正数{\alpha }_{\mathrm{1}},{\alpha }_{\mathrm{2}},{\alpha }_{\mathrm{3}}使得最优成本函数及其导数满足：

{\alpha }_{\mathrm{1}}{‖x‖}^{\mathrm{2}}\le V^{\mathrm{*}}\left(x\right)\le {\alpha }_{\mathrm{2}}{‖x‖}^{\mathrm{2}},

‖\nabla V^{\mathrm{*}}\left(x\right)‖\le {\alpha }_{\mathrm{3}}‖x‖.

定理1 考虑标称系统\left(\mathrm{2}\right).在假设1和假设2下，若存在一个满足HJB方程\left(\mathrm{9}\right)的最优成本函数的导数\nabla V^{\mathrm{*}}\left(x\right)，且有正数\theta ,\tau \in \left(\mathrm{0,1}\right)满足：

{‖e‖}^{\mathrm{2}}\le \frac{\left(\mathrm{1}-{\theta }^{\mathrm{2}}\right)\left(\mathrm{1}-{\tau }^{\mathrm{2}}\right){\lambda }_{\mathrm{m}\mathrm{i}\mathrm{n}}\left(Q\right){‖x_k‖}^{\mathrm{2}}}{L_a^{\mathrm{2}}+\left(\frac{\mathrm{1}}{{\tau }^{\mathrm{2}}}-\mathrm{1}\right){\lambda }_{\mathrm{m}\mathrm{a}\mathrm{x}}\left(Q\right)}=e_T,（13）

其中L_a^{\mathrm{2}}=\mathrm{2}\lambda L_u{L}_{\upsilon }+L_g^{\mathrm{2}}{\alpha }_{\mathrm{3}}^{\mathrm{2}}，那么系统\left(\mathrm{1}\right)在间歇最优控制器\left(\mathrm{10}\right)的作用下是SGPFS.

证明 选取\mathrm{L}\mathrm{y}\mathrm{a}\mathrm{p}\mathrm{u}\mathrm{n}\mathrm{o}\mathrm{v}函数L_{\mathrm{1}}：

L_{\mathrm{1}}=V^{\mathrm{*}}\left(x\right),

当t\in \left.\left[t_k^i,t_{k+\mathrm{1}}^i\right.\right)\bigcap \left.\left[T_{\mathrm{2}i},T_{\mathrm{2}i+\mathrm{1}}\right.\right)时，可得：

{\dot{L}}_{\mathrm{1}}={\left(\nabla V^{\mathrm{*}}\left(x\right)\right)}^{\mathrm{T}}\left(f\left(x\right)+g\left(x\right)\left(u_k^{\mathrm{*}}+\mathrm{\Delta }\left(x\right)\right)\right).（14）

根据\left(\mathrm{8}\right)和\left(\mathrm{9}\right)式可知满足：

{\left(\nabla V^{\mathrm{*}}\left(x\right)\right)}^{\mathrm{T}}g\left(x\right)=-\mathrm{2}\lambda \mathrm{t}\mathrm{a}\mathrm{n}{\mathrm{h}}^{-\mathrm{1}}{\left(\frac{u^{\mathrm{*}}}{\lambda }\right)}^{\mathrm{T}},（15）

{\left(\nabla V^{\mathrm{*}}\left(x\right)\right)}^{\mathrm{T}}\left(f\left(x\right)+g\left(x\right)u^{\mathrm{*}}\right)=-\frac{\mathrm{1}}{\mathrm{2}}{\mathrm{\Delta }}_M^{\mathrm{2}}\left(x\right)-x^{\mathrm{T}}Qx-\mathrm{2}{\int }_{\mathrm{0}}^{u^{\mathrm{*}}}\lambda \mathrm{t}\mathrm{a}\mathrm{n}{\mathrm{h}}^{-\mathrm{1}}\left(\frac{\tau }{\lambda }\right)\mathrm{d}\tau ,（16）

另外，由误差定义有：

\begin{array}{c}{x}^{\mathrm{T}}Qx=x_k^{\mathrm{T}}Q{x}_k-\mathrm{2}{x}_k^{\mathrm{T}}Qe+e^{\mathrm{T}}Qe=\left(\mathrm{1}-{\tau }^{\mathrm{2}}\right)x_k^{\mathrm{T}}Q{x}_k-\\ \left(\frac{\mathrm{1}}{{\tau }^{\mathrm{2}}}-\mathrm{1}\right)e^{\mathrm{T}}Qe+{\left(\tau x_k-\frac{\mathrm{1}}{\tau }e\right)}^{\mathrm{T}}Q\left(\tau x_k-\frac{\mathrm{1}}{\tau }e\right)\ge \\ \left(\mathrm{1}-{\tau }^{\mathrm{2}}\right)x_k^{\mathrm{T}}Q{x}_k-\left(\frac{\mathrm{1}}{{\tau }^{\mathrm{2}}}-\mathrm{1}\right)e^{\mathrm{T}}Qe,\end{array}

将\left(\mathrm{15}\right)、\left(\mathrm{16}\right)式代入\left(\mathrm{14}\right)式，且满足-\vartheta \left(u_k^{\mathrm{*}}\right)\le \mathrm{0}，结合\left(\mathrm{13}\right)式可知：

\begin{array}{c}{\dot{L}}_{\mathrm{1}}=-\frac{\mathrm{1}}{\mathrm{2}}{‖{\mathrm{\Delta }}_M\left(x\right)‖}^{\mathrm{2}}-x^{\mathrm{T}}Qx-\mathrm{2}{\int }_{\mathrm{0}}^{u^{\mathrm{*}}}\lambda \mathrm{t}\mathrm{a}\mathrm{n}{\mathrm{h}}^{-\mathrm{1}}\left(\frac{\tau }{\lambda }\right)\mathrm{d}\tau -\\ \mathrm{2}\lambda \mathrm{t}\mathrm{a}\mathrm{n}{\mathrm{h}}^{-\mathrm{1}}{\left(\frac{u^{\mathrm{*}}}{\lambda }\right)}^{\mathrm{T}}\left(u_k^{\mathrm{*}}-u^{\mathrm{*}}\right)+{\left(\nabla V^{\mathrm{*}}\left(x\right)\right)}^{\mathrm{T}}g\left(x\right)\mathrm{\Delta }\left(x\right)\le \\ -\frac{\mathrm{1}}{\mathrm{2}}{‖{\mathrm{\Delta }}_M\left(x\right)‖}^{\mathrm{2}}-\left(\mathrm{1}-{\tau }^{\mathrm{2}}\right)x_k^{\mathrm{T}}Q{x}_k+\left(\frac{\mathrm{1}}{{\tau }^{\mathrm{2}}}-\mathrm{1}\right)e^{\mathrm{T}}Qe+\\ \mathrm{2}\lambda L_u{L}_{\upsilon }{‖e‖}^{\mathrm{2}}-\mathrm{2}{\int }_{\mathrm{0}}^{u_k^{\mathrm{*}}}\lambda \mathrm{t}\mathrm{a}\mathrm{n}{\mathrm{h}}^{-\mathrm{1}}\left(\frac{\tau }{\lambda }\right)\mathrm{d}\tau +\\ \frac{\mathrm{1}}{\mathrm{2}}{\left(\nabla V^{\mathrm{*}}\left(x\right)\right)}^{\mathrm{T}}g\left(x\right)g{\left(x\right)}^{\mathrm{T}}\left(\nabla V^{\mathrm{*}}\left(x\right)\right)+\\ \frac{\mathrm{1}}{\mathrm{2}}{\mathrm{\Delta }}^{\mathrm{2}}\left(x\right)\le -\left[\left(\mathrm{1}-{\theta }^{\mathrm{2}}\right)\left(\mathrm{1}-{\tau }^{\mathrm{2}}\right){\lambda }_{\mathrm{m}\mathrm{i}\mathrm{n}}\left(Q\right)-L_g^{\mathrm{2}}{\alpha }_{\mathrm{3}}^{\mathrm{2}}\right]{‖x_k‖}^{\mathrm{2}}+\left[L_a^{\mathrm{2}}+\left(\frac{\mathrm{1}}{{\tau }^{\mathrm{2}}}-\mathrm{1}\right){\lambda }_{\mathrm{m}\mathrm{a}\mathrm{x}}\left(Q\right)\right]{‖e‖}^{\mathrm{2}}-\\ {\theta }^{\mathrm{2}}\left(\mathrm{1}-{\tau }^{\mathrm{2}}\right){\lambda }_{\mathrm{m}\mathrm{i}\mathrm{n}}\left(Q\right){‖x_k‖}^{\mathrm{2}}-\vartheta \left(u_k^{\mathrm{*}}\right)+\frac{\mathrm{1}}{\mathrm{2}}{\mathrm{\Delta }}^{\mathrm{2}}\left(x\right)-\\ \frac{\mathrm{1}}{\mathrm{2}}{‖{\mathrm{\Delta }}_M\left(x\right)‖}^{\mathrm{2}}\le -{\eta }_{\mathrm{1}}{L}_{\mathrm{1}}+{\eta }_{\mathrm{1}}^{\alpha }{L}_{\mathrm{1}}^{\alpha }-{\eta }_{\mathrm{1}}^{\alpha }{L}_{\mathrm{1}}^{\alpha }\le -{\eta }_{\mathrm{1}}^{\alpha }{L}_{\mathrm{1}}^{\alpha }+{\gamma }_{\mathrm{1}},\end{array}（17）

其中{\eta }_{\mathrm{1}}={\alpha }_{\mathrm{1}}^{-\mathrm{1}}\left({\theta }^{\mathrm{2}}\left(\mathrm{1}-{\tau }^{\mathrm{2}}\right){\lambda }_{\mathrm{m}\mathrm{i}\mathrm{n}}\left(Q\right)-L_g^{\mathrm{2}}{\alpha }_{\mathrm{3}}^{\mathrm{2}}\right)，{\gamma }_{\mathrm{1}}=\left(\mathrm{1}-\alpha \right){\alpha }^{\frac{\alpha }{\left(\mathrm{1}-\alpha \right)}}，\alpha >\mathrm{0}.当t\in \left.\left[T_{\mathrm{2}i+\mathrm{1}},T_{\mathrm{2}\left(i+\mathrm{1}\right)}\right.\right)时，控制器停止运行，根据系统\left(\mathrm{11}\right)可得：

\begin{array}{c}{\dot{L}}_{\mathrm{1}}={\left(\nabla V^{\mathrm{*}}\left(x\right)\right)}^{\mathrm{T}}f\left(x\right)\le \\ L_f{\alpha }_{\mathrm{3}}{‖x‖}^{\mathrm{2}}\le {\eta }_{\mathrm{2}}{L}_{\mathrm{1}}+{\gamma }_{\mathrm{1}},\end{array}（18）

其中{\eta }_{\mathrm{2}}={\alpha }_{\mathrm{1}}^{-\mathrm{1}}\left(L_f{\alpha }_{\mathrm{3}}\right).

因此，基于引理1，有{\beta }_{\mathrm{1}}={\eta }_{\mathrm{1}}^{\alpha }，{\beta }_{\mathrm{2}}={\eta }_{\mathrm{2}}，\gamma ={\gamma }_{\mathrm{1}}，则选取的\mathrm{L}\mathrm{y}\mathrm{a}\mathrm{p}\mathrm{u}\mathrm{n}\mathrm{o}\mathrm{v}函数L_{\mathrm{1}}是满足条件的，结合两种情形可知系统\left(\mathrm{1}\right)是SGPFS.

3 神经网络的实现

非线性HJB方程是一种偏微分方程，通常难以求解，本节通过应用ADP方法的评价网络和执行网络分别逼近最优成本函数V^{\mathrm{*}}\left(x\right)和最优控制u^{\mathrm{*}}.

(\mathrm{1})评价网络表示为：

V^{\mathrm{*}}\left(x\right)=W_c^{\mathrm{T}}{\varphi }_c\left(x\right)+{\epsilon }_c,

其中W_c\in {\mathbb{R}}^{N_{\mathrm{1}}}为评价网络的理想权值，{\varphi }_c\left(x\right)\in {\mathbb{R}}^{N_{\mathrm{1}}}为评价网络的激活函数，N_{\mathrm{1}}为隐藏层的神经元数量，{\epsilon }_c为评价网络的重构误差.

最优成本函数的导数表示为：

\nabla V^{\mathrm{*}}=\nabla {\varphi }_c^{\mathrm{T}}{W}_c+\nabla {\epsilon }_c,

其中\nabla V^{\mathrm{*}}=\partial V^{\mathrm{*}}\left(x\right)/\partial x，\nabla {\varphi }_c=\partial {\varphi }_c\left(x\right)/\partial x，\nabla {\epsilon }_c=\partial {\epsilon }_c\left(x\right)/\partial x.将上式代入\left(\mathrm{8}\right)式，触发时刻的控制器可以表示为：

u_{ck}^{\mathrm{*}}=-\lambda \mathrm{t}\mathrm{a}\mathrm{n}\mathrm{h}\left({\upsilon }_k^{\mathrm{*}}\right),（19）

其中{\upsilon }_k^{\mathrm{*}}=\frac{\mathrm{1}}{\mathrm{2}\lambda }{g}^{\mathrm{T}}\left(x_k\right)\left(\nabla {\varphi }_c^{\mathrm{T}}{W}_c+\nabla {\epsilon }_c\right).利用评价网络逼近V^{\mathrm{*}}\left(x\right)：

{\widehat{V}}^{\mathrm{*}}\left(x\right)={\widehat{W}}_c^{\mathrm{T}}{\varphi }_c\left(x\right),

其中{\widehat{W}}_c为评价网络的估计权值，{\widehat{V}}^{\mathrm{*}}\left(x\right)是V^{\mathrm{*}}\left(x\right)的估计.

因此，间歇最优控制器\left(\mathrm{10}\right)的评价网络形式可以表示为：

{\widehat{\overline{u}}}^{\mathrm{*}}=\left\{\begin{array}{l}-\lambda \mathrm{t}\mathrm{a}\mathrm{n}\mathrm{h}\left({\widehat{\upsilon }}_k^{\mathrm{*}}\right),t\in \left.\left[t_k^i,t_{k+\mathrm{1}}^i\right.\right)\bigcap \left.\left[T_{\mathrm{2}i},T_{\mathrm{2}i+\mathrm{1}}\right.\right)\\ \mathrm{0},t\in \left.\left[T_{\mathrm{2}i+\mathrm{1}},T_{\mathrm{2}\left(i+\mathrm{1}\right)}\right.\right)\end{array}\right.,（20）

其中{\widehat{\upsilon }}_k^{\mathrm{*}}=\frac{\mathrm{1}}{\mathrm{2}\lambda }{g}^{\mathrm{T}}\left(x_k\right)\nabla {\varphi }_c^{\mathrm{T}}{\widehat{W}}_c.由上述形式可知，HJB方程的近似形式可以写成：

\begin{array}{c}H\left(x,{\widehat{\overline{u}}}^{\mathrm{*}},{\widehat{W}}_c\right)={\widehat{W}}_c^{\mathrm{T}}\nabla {\varphi }_c\left(f\left(x\right)+g\left(x\right){\widehat{\overline{u}}}^{\mathrm{*}}\right)+\\ x^{\mathrm{T}}Qx+\vartheta \left({\widehat{\overline{u}}}^{\mathrm{*}}\right)=e_c.\end{array}

以下采用梯度下降法最小化目标函数E_c=\frac{\mathrm{1}}{\mathrm{2}}{e}_c^{\mathrm{T}}{e}_c，得到评价网络权值更新律.如果控制器处于休息区间，评价网络权值的更新律为{\dot{\widehat{W}}}_c=\mathrm{0}，当控制器工作时，评价网络权值的更新律为：

{\widehat{W}}_c^{+}={\widehat{W}}_c-{\alpha }_c\sigma \left({\sigma }^{\mathrm{T}}{\widehat{W}}_c+x^{\mathrm{T}}Qx+\vartheta \left({\widehat{\overline{u}}}^{\mathrm{*}}\right)\right),

其中{\alpha }_c>\mathrm{0}是评价网络的学习率，\sigma ={\sigma }_{\mathrm{1}}/\left({\sigma }_{\mathrm{1}}^{\mathrm{T}}{\sigma }_{\mathrm{1}}+\mathrm{1}\right)，{\sigma }_{\mathrm{1}}=\nabla {\varphi }_c\left(f\left(x\right)+g\left(x\right){\widehat{\overline{u}}}^{\mathrm{*}}\right)，且满足{\sigma }_m\le \sigma \le {\sigma }_M.

定义评价网络权值的估计误差为{\tilde{W}}_c=W_c-{\widehat{W}}_c，有：

\begin{array}{c}H\left(x,{\overline{u}}^{\mathrm{*}},W_c\right)=W_c^{\mathrm{T}}\nabla {\varphi }_c\left(f\left(x\right)+g\left(x\right){\overline{u}}^{\mathrm{*}}\right)+\\ x^{\mathrm{T}}Qx+\vartheta \left({\overline{u}}^{\mathrm{*}}\right)={\epsilon }_H,\end{array}

其中{\epsilon }_H=-\nabla {\epsilon }_c\left(f\left(x\right)+g\left(x\right){\overline{u}}^{\mathrm{*}}\right)，由此可以得出：

\left\{\begin{array}{l}{\dot{\tilde{W}}}_c=\mathrm{0},t\ne t_k^i\\ {\tilde{W}}_c^{+}={\tilde{W}}_c-{\alpha }_c\sigma ({\sigma }^{\mathrm{T}}{\tilde{W}}_c+\vartheta \left({\overline{u}}^{\mathrm{*}}\right)-\vartheta \left({\widehat{\overline{u}}}^{\mathrm{*}}\right)+{\epsilon }_H),t=t_k^i\end{array}\right..（21）

(\mathrm{2})执行网络表示为：

u^{\mathrm{*}}=W_a^{\mathrm{T}}{\varphi }_a\left(x\right)+{\epsilon }_a,

其中W_a\in {\mathbb{R}}^{N_{\mathrm{2}}}为执行网络的理想权值，{\varphi }_a\left(x\right)\in {\mathbb{R}}^{N_{\mathrm{2}}}为执行网络的激活函数，N_{\mathrm{2}}为隐藏层的神经元数量，{\epsilon }_a为执行网络的重构误差.

利用执行网络逼近u^{\mathrm{*}}：

{\widehat{u}}^{\mathrm{*}}={\widehat{W}}_a^{\mathrm{T}}{\varphi }_a\left(x\right),（22）

其中{\widehat{W}}_a为执行网络的估计权值，{\widehat{u}}^{\mathrm{*}}是u^{\mathrm{*}}的估计.

因此，执行网络的近似误差可以表示为：

e_a={\widehat{W}}_a^{\mathrm{T}}{\varphi }_a\left(x\right)+\lambda \mathrm{t}\mathrm{a}\mathrm{n}\mathrm{h}\left(\frac{\mathrm{1}}{\mathrm{2}\lambda }{g}^{\mathrm{T}}\left(x\right)\nabla {\varphi }_c^{\mathrm{T}}{\widehat{W}}_c\right).

以下采用梯度下降法最小化目标函数E_a=\frac{\mathrm{1}}{\mathrm{2}}{e}_a^{\mathrm{T}}{e}_a，得到执行网络权值更新律.如果控制器处于休息区间，执行网络权值的更新律为{\dot{\widehat{W}}}_a=\mathrm{0}，当控制器工作时，执行网络权值的更新律为：

{\widehat{W}}_a^{+}={\dot{\widehat{W}}}_a-{\alpha }_a{\varphi }_a{\left({\widehat{W}}_a^{\mathrm{T}}{\varphi }_a\left(x_k\right)-{\widehat{u}}_{ck}^{\mathrm{*}}\right)}^{\mathrm{T}},

其中{\widehat{u}}_{ck}^{\mathrm{*}}=-\lambda \mathrm{t}\mathrm{a}\mathrm{n}\mathrm{h}\left(\frac{\mathrm{1}}{\mathrm{2}\lambda }{g}^{\mathrm{T}}\left(x_k\right)\nabla {\varphi }_c^{\mathrm{T}}{\widehat{W}}_c\right)，{\alpha }_a>\mathrm{0}是执行网络的学习率，执行网络权值的估计误差为{\tilde{W}}_a=W_a-{\widehat{W}}_a，则有：

u_k^{\mathrm{*}}-u_{ck}^{\mathrm{*}}={W_a}^{\mathrm{T}}{\varphi }_a\left(x_k\right)+{\epsilon }_a+\lambda \mathrm{t}\mathrm{a}\mathrm{n}\mathrm{h}\left(\frac{\mathrm{1}}{\mathrm{2}\lambda }{g}^{\mathrm{T}}\left(x_k\right)\left(\nabla {\varphi }_c^{\mathrm{T}}{W}_c+\nabla {\epsilon }_c\right)\right)=\mathrm{0}.

由此可得：

\left\{\begin{array}{l}{\dot{\tilde{W}}}_a=\mathrm{0},t\ne t_k^i\\ {\tilde{W}}_a^{+}={\tilde{W}}_a-{\alpha }_a{\varphi }_a{\left({\tilde{W}}_a^{\mathrm{T}}{\varphi }_a\left(x_k\right)+\left(u_{ck}^{\mathrm{*}}-{\widehat{u}}_{ck}^{\mathrm{*}}\right)+{\epsilon }_a\right)}^{\mathrm{T}},t=t_k^i\end{array}\right..（23）

4 稳定性分析

假设3^［4］ 假设评价网络的理想权值W_c、激活函数{\varphi }_c、激活函数的梯度\nabla {\varphi }_c、重构误差{\epsilon }_c、重构误差的梯度\nabla {\epsilon }_c、残差{\epsilon }_H分别满足‖W_c‖\le W_{cM}、‖{\varphi }_c‖\le {\varphi }_{cM}、‖\nabla {\varphi }_c‖\le {\varphi }_M、‖{\epsilon }_c‖\le {\epsilon }_{cM}、‖\nabla {\epsilon }_c‖\le {\epsilon }_M、‖{\epsilon }_H‖\le {\epsilon }_{HM}；执行网络的参数满足‖W_a‖\le W_{aM}、‖{\varphi }_a‖\le {\varphi }_{aM}、‖{\epsilon }_a‖\le {\epsilon }_{aM}，即均有界.

定理2 考虑标称系统\left(\mathrm{2}\right)和HJB方程\left(\mathrm{9}\right).在假设1~假设3下，采用间歇最优控制律\left(\mathrm{20}\right)和权值更新律\left(\mathrm{21}\right)、\left(\mathrm{23}\right)，且触发条件满足：

{‖e‖}^{\mathrm{2}}\le \frac{\left(\mathrm{1}-{\theta }^{\mathrm{2}}\right)\left(\mathrm{1}-{\tau }^{\mathrm{2}}\right){\lambda }_{\mathrm{m}\mathrm{i}\mathrm{n}}\left(Q\right){‖x_k‖}^{\mathrm{2}}}{L_b^{\mathrm{2}}+\left(\frac{\mathrm{1}}{{\tau }^{\mathrm{2}}}-\mathrm{1}\right){\lambda }_{\mathrm{m}\mathrm{a}\mathrm{x}}\left(Q\right)}=e_T,（24）

其中L_b^{\mathrm{2}}=\mathrm{4}{\lambda }^{\mathrm{2}}{L}_u^{\mathrm{2}}{L}_{\upsilon }^{\mathrm{2}}，则系统\left(\mathrm{2}\right)是SGPFS.

证明 首先，分析权值误差{\tilde{W}}_c和{\tilde{W}}_a的收敛性，选取\mathrm{L}\mathrm{y}\mathrm{a}\mathrm{p}\mathrm{u}\mathrm{n}\mathrm{o}\mathrm{v}函数L：

L=L_{\mathrm{2}}+L_{\mathrm{3}},

其中L_{\mathrm{2}}={\left({\alpha }_c\right)}^{-\mathrm{1}}tr\left\{{\tilde{W}}_c^{\mathrm{T}}{\tilde{W}}_c\right\}，L_{\mathrm{3}}={\left({\alpha }_a\right)}^{-\mathrm{1}}tr\left\{{\tilde{W}}_a^{\mathrm{T}}{\tilde{W}}_a\right\}.当t=t_k^i时，可得：

\mathrm{\Delta }L=\mathrm{\Delta }{L}_{\mathrm{2}}+\mathrm{\Delta }{L}_{\mathrm{3}}.（25）

可知‖\vartheta \left({\overline{u}}^{\mathrm{*}}\right)-\vartheta \left({\widehat{\overline{u}}}^{\mathrm{*}}\right)‖满足不等式：

\begin{array}{l}‖\vartheta \left({\overline{u}}^{\mathrm{*}}\right)-\vartheta \left({\widehat{\overline{u}}}^{\mathrm{*}}\right)‖=‖\mathrm{2}{\int }_{{\widehat{\overline{u}}}^{\mathrm{*}}}^{{\overline{u}}^{\mathrm{*}}}\lambda \mathrm{t}\mathrm{a}\mathrm{n}{\mathrm{h}}^{-\mathrm{1}}\left(\frac{\tau }{\lambda }\right)\mathrm{d}\tau ‖\le \\ \mathrm{2}\lambda ‖{\upsilon }_k^{\mathrm{*}}‖‖{\overline{u}}^{\mathrm{*}}-{\widehat{\overline{u}}}^{\mathrm{*}}‖\le L_g{\varphi }_M{W}_{cM}‖{\overline{u}}^{\mathrm{*}}-{\widehat{\overline{u}}}^{\mathrm{*}}‖\le \\ \lambda L_g{\varphi }_M{W}_{cM}‖{\upsilon }^{\mathrm{*}}-{\upsilon }_k^{\mathrm{*}}‖\le \frac{\mathrm{1}}{\mathrm{2}}{L}_g^{\mathrm{2}}{\varphi }_M^{\mathrm{2}}{W}_{cM}\left(‖{\tilde{W}}_c‖+{\epsilon }_M\right),\end{array}

由此可得：

\begin{array}{c}\mathrm{\Delta }{L}_{\mathrm{2}}={\left({\alpha }_c\right)}^{-\mathrm{1}}\mathrm{\Delta }tr\left\{{\tilde{W}}_c^{\mathrm{T}}{\tilde{W}}_c\right\}={\left({\alpha }_c\right)}^{-\mathrm{1}}\left(tr\left\{{{\tilde{W}}_c^{+}}^{\mathrm{T}}{\tilde{W}}_c^{+}\right\}-tr\left\{{\tilde{W}}_c^{\mathrm{T}}{\tilde{W}}_c\right\}\right)\le -\mathrm{2}\sigma \left({\sigma }^{\mathrm{T}}{\tilde{W}}_c+\vartheta \left({\overline{u}}^{\mathrm{*}}\right)-\vartheta \left({\widehat{\overline{u}}}^{\mathrm{*}}\right)+{\epsilon }_H\right){\tilde{W}}_c+\\ {\alpha }_c{\sigma }^{\mathrm{2}}{\left({\sigma }^{\mathrm{T}}{\tilde{W}}_c+\vartheta \left({\overline{u}}^{\mathrm{*}}\right)-\vartheta \left({\widehat{\overline{u}}}^{\mathrm{*}}\right)+{\epsilon }_H\right)}^{\mathrm{2}}\le \\ -\left(\mathrm{1}+\frac{\mathrm{3}}{\mathrm{2}}{\alpha }_c{b}_{\mathrm{1}}^{\mathrm{2}}+b_{\mathrm{1}}^{\mathrm{2}}-\frac{b_{\mathrm{1}}}{‖\sigma ‖}-\mathrm{3}{\alpha }_c{‖\sigma ‖}^{\mathrm{2}}\right){‖\sigma ‖}^{\mathrm{2}}{‖{\tilde{W}}_c‖}^{\mathrm{2}}+\\ \left(\mathrm{3}{\alpha }_c{‖\sigma ‖}^{\mathrm{2}}+\mathrm{1}\right){\epsilon }_{HM}^{\mathrm{2}}+\left(\frac{\mathrm{3}}{\mathrm{2}}{\alpha }_c{b}_{\mathrm{1}}^{\mathrm{2}}{‖\sigma ‖}^{\mathrm{2}}+\mathrm{1}\right){\epsilon }_M^{\mathrm{2}},\end{array}（26）

\begin{array}{c}\mathrm{\Delta }{L}_{\mathrm{3}}={\left({\alpha }_a\right)}^{-\mathrm{1}}\mathrm{\Delta }tr\left\{{\tilde{W}}_a^{\mathrm{T}}{\tilde{W}}_a\right\}={\left({\alpha }_a\right)}^{-\mathrm{1}}\left(tr\left\{{{\tilde{W}}_a^{+}}^{\mathrm{T}}{\tilde{W}}_a^{+}\right\}-tr\left\{{\tilde{W}}_a^{\mathrm{T}}{\tilde{W}}_a\right\}\right)\le -\mathrm{2}{\varphi }_a\left({\tilde{W}}_a{\varphi }_a+\left(u_{ck}^{\mathrm{*}}-{\widehat{u}}_{ck}^{\mathrm{*}}\right)+{\epsilon }_a\right){\tilde{W}}_a+\\ {\alpha }_a{\varphi }_a^{\mathrm{2}}{\left({\tilde{W}}_c{\varphi }_a+\left(u_{ck}^{\mathrm{*}}-{\widehat{u}}_{ck}^{\mathrm{*}}\right)+{\epsilon }_a\right)}^{\mathrm{2}}\le -\\ \left(\mathrm{1}-\mathrm{3}{\alpha }_a{‖{\varphi }_a‖}^{\mathrm{2}}\right){‖{\varphi }_a‖}^{\mathrm{2}}{‖{\tilde{W}}_a‖}^{\mathrm{2}}+\frac{\mathrm{3}}{\mathrm{2}}{\alpha }_a{b}_{\mathrm{2}}^{\mathrm{2}}{‖{\tilde{W}}_c‖}^{\mathrm{2}}+\\ b_{\mathrm{2}}‖{\tilde{W}}_c‖‖{\tilde{W}}_a‖+\left(\mathrm{3}{\alpha }_a{‖{\varphi }_a‖}^{\mathrm{2}}+\mathrm{1}\right){\epsilon }_{aM}^{\mathrm{2}}+\frac{\mathrm{3}}{\mathrm{2}}{\alpha }_a{b}_{\mathrm{2}}^{\mathrm{2}}{\epsilon }_M^{\mathrm{2}},\end{array}（27）

其中b_{\mathrm{1}}=L_g^{\mathrm{2}}{\varphi }_M^{\mathrm{2}}{W}_{cM}，b_{\mathrm{2}}=L_g{\varphi }_M{\varphi }_{aM}.根据上述不等式可得：

\begin{array}{c}\mathrm{\Delta }L\le -\left(\mathrm{1}+\frac{\mathrm{3}}{\mathrm{2}}{\alpha }_c{b}_{\mathrm{1}}^{\mathrm{2}}+b_{\mathrm{1}}^{\mathrm{2}}-\frac{b_{\mathrm{1}}}{‖\sigma ‖}-\mathrm{3}{\alpha }_c{‖\sigma ‖}^{\mathrm{2}}\right){‖\sigma ‖}^{\mathrm{2}}{‖{\tilde{W}}_c‖}^{\mathrm{2}}+\\ \left(\mathrm{3}{\alpha }_c{‖\sigma ‖}^{\mathrm{2}}+\mathrm{1}\right){\epsilon }_{HM}^{\mathrm{2}}+\left(\frac{\mathrm{3}}{\mathrm{2}}{\alpha }_c{b}_{\mathrm{1}}^{\mathrm{2}}{‖\sigma ‖}^{\mathrm{2}}+\mathrm{1}\right){\epsilon }_M^{\mathrm{2}}-\\ \left(\mathrm{1}-\mathrm{3}{\alpha }_a{‖{\varphi }_a‖}^{\mathrm{2}}\right){‖{\varphi }_a‖}^{\mathrm{2}}{‖{\tilde{W}}_a‖}^{\mathrm{2}}+\frac{\mathrm{3}}{\mathrm{2}}{\alpha }_a{b}_{\mathrm{2}}^{\mathrm{2}}{‖{\tilde{W}}_c‖}^{\mathrm{2}}+\\ b_{\mathrm{2}}‖{\tilde{W}}_c‖‖{\tilde{W}}_a‖+\left(\mathrm{3}{\alpha }_a{‖{\varphi }_a‖}^{\mathrm{2}}+\mathrm{1}\right){\epsilon }_{aM}^{\mathrm{2}}+\frac{\mathrm{3}}{\mathrm{2}}{\alpha }_a{b}_{\mathrm{2}}^{\mathrm{2}}{\epsilon }_M^{\mathrm{2}}\le \\ \left[-\left(\mathrm{1}+\left(\frac{\mathrm{3}}{\mathrm{2}}{\alpha }_c+\mathrm{1}\right)b_{\mathrm{1}}^{\mathrm{2}}-\frac{b_{\mathrm{1}}}{‖\sigma ‖}-\mathrm{3}{\alpha }_c{‖\sigma ‖}^{\mathrm{2}}\right){‖\sigma ‖}^{\mathrm{2}}+\frac{\mathrm{3}}{\mathrm{2}}{\alpha }_a{b}_{\mathrm{1}}^{\mathrm{2}}\right]{‖{\tilde{W}}_c‖}^{\mathrm{2}}-\left(\mathrm{1}-\mathrm{3}{\alpha }_a{‖{\varphi }_a‖}^{\mathrm{2}}\right){‖{\varphi }_a‖}^{\mathrm{2}}{‖{\tilde{W}}_a‖}^{\mathrm{2}}+\\ b_{\mathrm{2}}‖{\tilde{W}}_c‖‖{\tilde{W}}_a‖+\left(\mathrm{3}{\alpha }_c{‖\sigma ‖}^{\mathrm{2}}+\mathrm{1}\right){\epsilon }_{HM}^{\mathrm{2}}+\left(\mathrm{3}{\alpha }_a{‖{\varphi }_a‖}^{\mathrm{2}}+\mathrm{1}\right){\epsilon }_{aM}^{\mathrm{2}}+\\ \left(\frac{\mathrm{3}}{\mathrm{2}}{\alpha }_c{b}_{\mathrm{1}}^{\mathrm{2}}{‖\sigma ‖}^{\mathrm{2}}+\frac{\mathrm{3}}{\mathrm{2}}{\alpha }_a{b}_{\mathrm{2}}^{\mathrm{2}}+\mathrm{1}\right){\epsilon }_M^{\mathrm{2}}\le -{\chi }^{\mathrm{T}}A\chi +{\epsilon }^{\mathrm{2}},\end{array}（28）

其中A=\left[\begin{array}{cc}{D}_{\mathrm{3}}& -b_{\mathrm{1}}\\ \mathrm{0}& \left(\mathrm{1}-\mathrm{3}{\alpha }_a{‖{\varphi }_a‖}^{\mathrm{2}}\right){‖{\varphi }_a‖}^{\mathrm{2}}\end{array}\right],D₃ =\left(\mathrm{1}+\left(\frac{\mathrm{3}}{\mathrm{2}}{\alpha }_c+\mathrm{1}\right)b_{\mathrm{1}}^{\mathrm{2}}-\frac{b_{\mathrm{1}}}{‖\sigma ‖}-\mathrm{3}{\alpha }_c{‖\sigma ‖}^{\mathrm{2}}\right){‖\sigma ‖}^{\mathrm{2}}+\frac{\mathrm{3}}{\mathrm{2}}{\alpha }_a{b}_{\mathrm{1}}^{\mathrm{2}},\chi =\left[‖{\tilde{W}}_c‖,\right.{\left.‖{\tilde{W}}_a‖\right]}^{\mathrm{T}}，{\epsilon }^{\mathrm{2}}=\left(\mathrm{3}{\alpha }_c{‖\sigma ‖}^{\mathrm{2}}+\mathrm{1}\right){\epsilon }_{HM}^{\mathrm{2}}+\left(\mathrm{3}{\alpha }_a{‖{\varphi }_a‖}^{\mathrm{2}}+\mathrm{1}\right){\epsilon }_{aM}^{\mathrm{2}}+\left(\frac{\mathrm{3}}{\mathrm{2}}{\alpha }_c{b}_{\mathrm{1}}^{\mathrm{2}}{‖\sigma ‖}^{\mathrm{2}}+\frac{\mathrm{3}}{\mathrm{2}}{\alpha }_a{b}_{\mathrm{2}}^{\mathrm{2}}+\mathrm{1}\right){\epsilon }_M^{\mathrm{2}}，若A的特征值都为正数，且当‖\chi ‖\ge \sqrt[]{{\epsilon }^{\mathrm{2}}/{\lambda }_{\mathrm{m}\mathrm{a}\mathrm{x}}\left(A\right)}时，\mathrm{\Delta }L\le \mathrm{0}.另外，当t\ne t_k^i时，权值向量保持不变，有\dot{L}=\mathrm{0}，因此，当满足A的特征值都为正数时，权值误差{\tilde{W}}_c和{\tilde{W}}_a是UUB.

接下来，分析系统状态的收敛性，选取\mathrm{L}\mathrm{y}\mathrm{a}\mathrm{p}\mathrm{u}\mathrm{n}\mathrm{o}\mathrm{v}函数为定理1中的L_{\mathrm{1}}，分情况讨论.

情形1：当t\in \left.\left[T_{\mathrm{2}i},T_{\mathrm{2}i+\mathrm{1}}\right.\right)时，由假设1和杨不等式\mathrm{2}{a}^{\mathrm{T}}b\le q{a}^{\mathrm{T}}a+\left(\mathrm{1}/q\right)b^{\mathrm{T}}b，q>\mathrm{0}，另借助\left(\mathrm{19}\right)式和\left(\mathrm{20}\right)式可知：

\begin{array}{c}{‖{\upsilon }^{\mathrm{*}}-{\widehat{\upsilon }}_k^{\mathrm{*}}‖}^{\mathrm{2}}\le {‖{\upsilon }^{\mathrm{*}}-{\upsilon }_k^{\mathrm{*}}+{\upsilon }_k^{\mathrm{*}}-{\widehat{\upsilon }}_k^{\mathrm{*}}‖}^{\mathrm{2}}\le \\ \mathrm{2}{‖{\upsilon }^{\mathrm{*}}-{\upsilon }_k^{\mathrm{*}}‖}^{\mathrm{2}}+\mathrm{2}{‖{\upsilon }_k^{\mathrm{*}}-{\widehat{\upsilon }}_k^{\mathrm{*}}‖}^{\mathrm{2}}\le \mathrm{2}{L}_{\upsilon }^{\mathrm{2}}{‖e‖}^{\mathrm{2}}+\\ \frac{\mathrm{1}}{\mathrm{2}{\lambda }^{\mathrm{2}}}{‖g^{\mathrm{T}}(x_k)\left(\nabla {\varphi }_c^{\mathrm{T}}{\tilde{W}}_c+\nabla {\epsilon }_c\right)‖}^{\mathrm{2}}\le \\ \mathrm{2}{L}_{\upsilon }^{\mathrm{2}}{‖e‖}^{\mathrm{2}}+{\lambda }^{-\mathrm{2}}{L}_g^{\mathrm{2}}{\varphi }_M^{\mathrm{2}}{‖{\tilde{W}}_c‖}^{\mathrm{2}}+{\lambda }^{-\mathrm{2}}{L}_g^{\mathrm{2}}{\epsilon }_M^{\mathrm{2}}.\end{array}（29）

已知-\vartheta \left({\widehat{\overline{u}}}^{\mathrm{*}}\right)\le \mathrm{0}，满足\left(\mathrm{24}\right)式和\left(\mathrm{25}\right)式，则可得：

\begin{array}{c}{\dot{L}}_{\mathrm{1}}\le -\frac{\mathrm{1}}{\mathrm{2}}{‖{\mathrm{\Delta }}_M\left(x\right)‖}^{\mathrm{2}}-x^{\mathrm{T}}Qx-\mathrm{2}{\int }_{\mathrm{0}}^{u^{\mathrm{*}}}\lambda \mathrm{t}\mathrm{a}\mathrm{n}{\mathrm{h}}^{-\mathrm{1}}\left(\frac{\tau }{\lambda }\right)\mathrm{d}\tau -\\ \mathrm{2}\lambda \mathrm{t}\mathrm{a}\mathrm{n}{\mathrm{h}}^{-\mathrm{1}}{\left(\frac{u^{\mathrm{*}}}{\lambda }\right)}^{\mathrm{T}}\left({\widehat{\overline{u}}}^{\mathrm{*}}-u^{\mathrm{*}}\right)\le -\frac{\mathrm{1}}{\mathrm{2}}{‖{\mathrm{\Delta }}_M\left(x\right)‖}^{\mathrm{2}}-x^{\mathrm{T}}Qx-\\ \mathrm{2}{\int }_{\mathrm{0}}^{{\widehat{\overline{u}}}^{\mathrm{*}}}\lambda \mathrm{t}\mathrm{a}\mathrm{n}{\mathrm{h}}^{-\mathrm{1}}\left(\frac{\tau }{\lambda }\right)\mathrm{d}\tau -\mathrm{2}{\int }_{{\widehat{\overline{u}}}^{\mathrm{*}}}^{u^{\mathrm{*}}}\lambda \mathrm{t}\mathrm{a}\mathrm{n}{\mathrm{h}}^{-\mathrm{1}}\left(\frac{\tau }{\lambda }\right)\mathrm{d}\tau +\\ \mathrm{2}{\int }_{{\widehat{\overline{u}}}^{\mathrm{*}}}^{u^{\mathrm{*}}}\lambda \mathrm{t}\mathrm{a}\mathrm{n}{\mathrm{h}}^{-\mathrm{1}}\left(\frac{u^{\mathrm{*}}}{\lambda }\right)\mathrm{d}\tau \le -\frac{\mathrm{1}}{\mathrm{2}}{‖{\mathrm{\Delta }}_M\left(x\right)‖}^{\mathrm{2}}-\vartheta \left({\widehat{\overline{u}}}^{\mathrm{*}}\right)-\\ \left(\mathrm{1}-{\tau }^{\mathrm{2}}\right)x_k^{\mathrm{T}}Q{x}_k+\left(\frac{\mathrm{1}}{{\tau }^{\mathrm{2}}}-\mathrm{1}\right)e^{\mathrm{T}}Qe+L_b^{\mathrm{2}}{‖e‖}^{\mathrm{2}}+\\ \mathrm{2}{L}_u^{\mathrm{2}}{L}_g^{\mathrm{2}}{\varphi }_M^{\mathrm{2}}{‖{\tilde{W}}_c‖}^{\mathrm{2}}+\mathrm{2}{L}_g^{\mathrm{2}}{\epsilon }_M^{\mathrm{2}}\le -\left(\mathrm{1}-{\tau }^{\mathrm{2}}\right){\beta }^{\mathrm{2}}{\lambda }_{\mathrm{m}\mathrm{i}\mathrm{n}}\left(Q\right){‖x_k‖}^{\mathrm{2}}-\\ \vartheta \left({\widehat{\overline{u}}}^{\mathrm{*}}\right)-\frac{\mathrm{1}}{\mathrm{2}}{‖{\mathrm{\Delta }}_M\left(x\right)‖}^{\mathrm{2}}+\mathrm{2}{L}_u^{\mathrm{2}}{L}_g^{\mathrm{2}}{\varphi }_M^{\mathrm{2}}{‖{\tilde{W}}_c‖}^{\mathrm{2}}+\mathrm{2}{L}_g^{\mathrm{2}}{\epsilon }_M^{\mathrm{2}}\le -{\theta }_{\mathrm{1}}{L}_{\mathrm{1}}+\\ {\theta }_{\mathrm{1}}^{\alpha }{L}_{\mathrm{1}}^{\alpha }-{\theta }_{\mathrm{1}}^{\alpha }{L}_{\mathrm{1}}^{\alpha }+\mathrm{2}{L}_u^{\mathrm{2}}{L}_g^{\mathrm{2}}{\varphi }_M^{\mathrm{2}}{W}_M^{\mathrm{2}}+\mathrm{2}{L}_g^{\mathrm{2}}{\epsilon }_M^{\mathrm{2}}\le -{\theta }_{\mathrm{1}}^{\alpha }{L}_{\mathrm{1}}^{\alpha }+{\psi }_{\mathrm{1}},\end{array}（30）

其中{\theta }_{\mathrm{1}}={\alpha }_{\mathrm{1}}^{-\mathrm{1}}\left(\left(\mathrm{1}-{\tau }^{\mathrm{2}}\right){\beta }^{\mathrm{2}}{\lambda }_{\mathrm{m}\mathrm{i}\mathrm{n}}\left(Q\right)\right)，{\psi }_{\mathrm{1}}=\mathrm{2}{L}_u^{\mathrm{2}}{L}_g^{\mathrm{2}}{\varphi }_M^{\mathrm{2}}{W}_M^{\mathrm{2}}+\mathrm{2}{L}_g^{\mathrm{2}}{\epsilon }_M^{\mathrm{2}}+\left(\mathrm{1}-\alpha \right){\alpha }^{\frac{\alpha }{\left(\mathrm{1}-\alpha \right)}}，‖{\tilde{W}}_c‖\le W_M.

情形2：当t\in \left.\left[T_{\mathrm{2}i+\mathrm{1}},T_{\mathrm{2}\left(i+\mathrm{1}\right)}\right.\right)时，接下来有：

\begin{array}{c}{\dot{L}}_{\mathrm{1}}\le {\left(\nabla V^{\mathrm{*}}\left(x\right)\right)}^{\mathrm{T}}f\left(x\right)\le \\ {\alpha }_{\mathrm{1}}^{-\mathrm{1}}\left(L_f{\alpha }_{\mathrm{3}}\right)V^{\mathrm{*}}\left(x\right)\le {\theta }_{\mathrm{2}}L+{\psi }_{\mathrm{2}},\end{array}（31）

其中{\theta }_{\mathrm{2}}={\alpha }_{\mathrm{1}}^{-\mathrm{1}}\left(L_f{\alpha }_{\mathrm{3}}\right)，{\psi }_{\mathrm{2}}={\gamma }_{\mathrm{1}}.

综合对上述两种情况的分析和引理1，有{\beta }_{\mathrm{1}}={\theta }_{\mathrm{1}}^{\alpha }，{\beta }_{\mathrm{2}}={\theta }_{\mathrm{2}}，\gamma =\mathrm{m}\mathrm{a}\mathrm{x}\left\{{\psi }_{\mathrm{1}},{\psi }_{\mathrm{2}}\right\}，则选取的\mathrm{L}\mathrm{y}\mathrm{a}\mathrm{p}\mathrm{u}\mathrm{n}\mathrm{o}\mathrm{v}函数L_{\mathrm{1}}是满足条件的，可知间歇最优控制律\left(\mathrm{20}\right)能确保系统\left(\mathrm{2}\right)是SGPFS，定理2得证.

接下来，给出自触发机制的触发规则，并且表明芝诺行为是可以避免的.

\begin{array}{c}‖\dot{x}‖\le ‖f\left(x\right)‖+‖g\left(x\right)\left(u_k^{\mathrm{*}}+\mathrm{\Delta }\left(x\right)\right)‖\le \\ L_f‖x‖+L_g{L}_u\left(‖e‖+\lambda \right)+L_g{\mathrm{\Delta }}_M\le \\ l_{\mathrm{1}}‖x‖+l_{\mathrm{2}}‖e‖+l_{\mathrm{3}},\end{array}

其中l_{\mathrm{1}}=L_f，l_{\mathrm{2}}=L_g{L}_u，l_{\mathrm{3}}=L_g{L}_u\lambda +L_g{\mathrm{\Delta }}_M，且满足‖u_k^{\mathrm{*}}‖\le ‖u^{\mathrm{*}}-u_k^{\mathrm{*}}‖+‖u^{\mathrm{*}}‖\le L_u‖e‖+\lambda.

对于t\in \left.\left[t_k^i,t_{k+\mathrm{1}}^i\right.\right)\bigcap \left.\left[T_{\mathrm{2}i},T_{\mathrm{2}i+\mathrm{1}}\right.\right)，有：

‖\dot{e}‖=‖\dot{x}‖\le l_{\mathrm{1}}‖x_k‖+l_{\mathrm{2}}‖e‖+l_{\mathrm{3}},

由比较原理可知：

‖e‖\le \frac{l_{\mathrm{1}}‖x_k‖+l_{\mathrm{3}}}{l_{\mathrm{1}}+l_{\mathrm{2}}}\left(e^{\left(l_{\mathrm{1}}+l_{\mathrm{2}}\right)\left(t-t_k^i\right)}-\mathrm{1}\right),

在触发时刻t=t_{k+\mathrm{1}}^i，满足：

\frac{l_{\mathrm{1}}‖x_k‖+l_{\mathrm{3}}}{l_{\mathrm{1}}+l_{\mathrm{2}}}\left(e^{\left(l_{\mathrm{1}}+l_{\mathrm{2}}\right)\left(t-t_k^i\right)}-\mathrm{1}\right)\ge e\left(t_{k+\mathrm{1}}^i\right)>\sqrt[]{e_T},

那么可以得到：

t_{k+\mathrm{1}}^i-t_k^i>\frac{\mathrm{1}}{l_{\mathrm{1}}+l_{\mathrm{2}}}\mathrm{l}\mathrm{n}\left(\mathrm{1}+\frac{l_{\mathrm{1}}+l_{\mathrm{2}}}{l_{\mathrm{1}}‖x_k‖+l_{\mathrm{3}}}\sqrt[]{e_T}\right)>\mathrm{0}.（32）

基于上述分析，设计的触发规则如下：

t_{k+\mathrm{1}}^i=t_k^i+\frac{\mathrm{1}}{l_{\mathrm{1}}+l_{\mathrm{2}}}\mathrm{l}\mathrm{n}\left(\mathrm{1}+\frac{l_{\mathrm{1}}+l_{\mathrm{2}}}{l_{\mathrm{1}}‖x_k‖+l_{\mathrm{3}}}\sqrt[]{e_T}\right).（33）

由设计的自触发时刻的关系可知，自触发机制在当前时刻计算下一触发时刻，避免了计算资源的消耗，其触发间隔相较于事件触发机制更加保守，由定理2可知，系统在自触发机制下是满足稳定性要求的，且通过\left(\mathrm{32}\right)式可知两个相邻触发时刻的差大于零，因此，该机制避免了芝诺行为.以下给出的定理3表明系统在自触发机制下的稳定性，具体证明可通过定理2得出，故省略.另外，图1展示了该方案的框架，增强了理论的可实现性.

定理3 考虑标称系统\left(\mathrm{2}\right)和HJB方程\left(\mathrm{9}\right).在假设1~假设3下，采用间歇最优控制律\left(\mathrm{20}\right)和权值更新律\left(\mathrm{21}\right)、\left(\mathrm{23}\right)，自触发规则设置为\left(\mathrm{33}\right)式，则系统\left(\mathrm{2}\right)是SGPFS.

5 仿真结果

考虑如下非线性系统：

\dot{x}=f\left(x\right)+g\left(x\right)\left(u+\mathrm{\Delta }\left(x\right)\right),

其中x=\left[\begin{array}{l}{x}_{\mathrm{1}}\\ x_{\mathrm{2}}\end{array}\right]，f\left(x\right)=\left[\begin{array}{c}-x_{\mathrm{1}}+x_{\mathrm{2}}\\ -\mathrm{0.5}{x}_{\mathrm{1}}-\mathrm{0.5}{x}_{\mathrm{2}}+\mathrm{0.5}{x}_{\mathrm{2}}\left(\left(\mathrm{c}\mathrm{o}\mathrm{s}\left(\mathrm{2}{x}_{\mathrm{1}}\right)\right.\right.\end{array}\right.\left.\left.\left.+\mathrm{2}\right)\right)\stackrel{}{\underset{}{\stackrel{}{{}^{\mathrm{2}}}}}\right]，g\left(x\right)=\left[\begin{array}{l}\mathrm{0}\\ \mathrm{c}\mathrm{o}\mathrm{s}\left(\mathrm{2}{x}_{\mathrm{1}}\right)+\mathrm{2}\end{array}\right]，u为控制输入，满足\left|u\right|\le \mathrm{6.5}，\mathrm{\Delta }\left(x\right)=\mathrm{0.5}p{x}_{\mathrm{1}}\mathrm{s}\mathrm{i}\mathrm{n}\left(x_{\mathrm{2}}\right)，p\in \left[-\mathrm{1,1}\right].仿真中初始值设为x_{\mathrm{0}}={\left[\mathrm{1},-\mathrm{1}\right]}^{\mathrm{T}}，Q=diag\left(\mathrm{2,2}\right)，\lambda =\mathrm{6.5}，{\mathrm{\Delta }}_M\left(x\right)=‖x‖，选取周期T_{\mathrm{\Delta }}=\mathrm{10}\mathrm{s}，工作区间长度T_{\mathrm{1}}=\mathrm{9.5}\mathrm{s}，在自触发间歇机制下得到最优控制策略，且应用到系统.在神经网络中，评价网络的激活函数选择为{\varphi }_c={\left[x_{\mathrm{1}}^{\mathrm{2}}{x}_{\mathrm{1}}{x}_{\mathrm{2}}{x}_{\mathrm{2}}^{\mathrm{2}}\right]}^{\mathrm{T}}，定义其权值W_c={\left[W_{c\mathrm{1}}{W}_{c\mathrm{2}}{W}_{c\mathrm{3}}\right]}^{\mathrm{T}}且初始权值设置为{\left[\mathrm{1,1},\mathrm{1}\right]}^{\mathrm{T}}.执行网络的激活函数选择{\varphi }_a={\left[x_{\mathrm{1}}^{\mathrm{2}}{x}_{\mathrm{1}}{x}_{\mathrm{2}}{x}_{\mathrm{2}}^{\mathrm{2}}\right]}^{\mathrm{T}}，定义执行网络权值W_a={\left[W_{a\mathrm{1}}{W}_{a\mathrm{2}}{W}_{a\mathrm{3}}\right]}^{\mathrm{T}}且初始权值的设置使初始控制是容许的.另外，通过在仿真中对相关参数的优化调整，评价网络和执行网络的学习率分别设为\mathrm{0.5}和\mathrm{0.5}，触发阈值的设置满足性能需求.

图2中展示了系统状态的收敛过程；带有输入约束的自触发间歇控制收敛过程见图3，其有效地将控制值限制在指定范围，若没有考虑输入约束，控制值将会超过所设范围，就需要将控制值设置为上界；图4和图5分别呈现了评价网络和执行网络权值的变化过程，最终收敛到一个稳定的值；成本函数的变化过程见图6，该图表明成本有限累积到一个固定值；图7对比了连续控制和自触发间歇控制的采样数量，连续控制需要的采样数量为10000，而自触发间歇控制的采样数量为3972，可知所提出的方法减少了约60%的通信资源.本文方法克服了系统中未知扰动的影响和输入约束的限制，减少了控制器的更新数量，提高了采样效率，体现出本文方法的优越性.

6 结论

本文运用ADP方法研究了带有输入约束的连续时间非线性系统的最优控制问题.采用自触发间歇控制器，克服了系统内部扰动的影响，有效地减少了采样数量，提高了采样效率；使用评价网络和执行网络分别逼近最优成本函数和最优控制输入，且在有限时间内使系统稳定；最后，通过仿真测试验证了理论的可行性.在接下来的研究中，可以进一步探索间歇机制在控制理论中的应用，优化自触发机制.

参考文献

[1] WANG D， GAO N， LIU D， et al. Recent progress in reinforcement learning and adaptive dynamic programming for advanced control applications［J］. IEEE/CAA Journal of Automatica Sinica， 2023， 11（1）： 18-36.

[2] WANG K， MU C， NI Z， et al. Safe reinforcement learning and adaptive optimal control with applications to obstacle avoidance problem［J］. IEEE Transactions on Automation Science and Engineering， 2023， 21（3）： 4599-4612.

[3] BOURDIN L， TRÉLAT E. Linear-quadratic optimal sampled-data control problems： Convergence result and Riccati theory［J］. Automatica， 2017， 79： 273-281.

[4] ZHANG H， CUI L， ZHANG X， et al. Data-driven robust approximate optimal tracking control for unknown general nonlinear systems using adaptive dynamic programming method［J］. IEEE Transactions on Neural Networks， 2011， 22（12）： 2226-2236.

[5] XIANG Z， LI P， ZOU W. Event-triggered optimal control for a class of continuous-time switched nonlinear systems［J］. IEEE Transactions on Automation Science and Engineering， 2024， 22： 1620-1630.

[6] FENG T， ZHANG H， LUO Y， et al. Stability analysis of heuristic dynamic programming algorithm for nonlinear systems［J］. Neurocomputing， 2015， 149： 1461-1468.

[7] YANG D， LI T， ZHANG H， et al. Event-trigger-based robust control for nonlinear constrained-input systems using reinforcement learning method［J］. Neurocomputing， 2019， 340： 158-170.

[8] MING Z， ZHANG H， YAN Y， et al. Self-triggered adaptive dynamic programming for model-free nonlinear systems via generalized fuzzy hyperbolic model［J］. IEEE Transactions on Systems， Man， and Cybernetics： Systems， 2022， 53（5）： 2792-2801.

[9] 宋广发， 梅俊. 基于PMV的多区域暖通空调事件触发间歇控制研究［J］. 三峡大学学报（自然科学版）， 2024， 46（3）： 99-104.

[10] LIU C， LIU L， CAO J， et al. Intermittent event-triggered optimal leader-following consensus for nonlinear multi-agent systems via actor-critic algorithm［J］. IEEE Transactions on Neural Networks and Learning Systems， 2021， 34（8）： 3992-4006.

[11] WANG W， GU H， MEI J， et al. Output information-based intermittent optimal control for continuous-time nonlinear systems with unmatched uncertainties via adaptive dynamic programming［J］. ISA Transactions， 2024， 147： 163-175.

[12] LIU C， LIU L， WU Z. Intermittent event-triggered optimal control for second-order delayed multiagent systems with input constraints［J］. IEEE Transactions on Systems， Man， and Cybernetics： Systems， 2024， 54（5）： 2698-2710.

[13] ZHANG C， ZHANG X， XIAO F， et al. Intermittent dynamic event-triggered optimal control for networked control systems with input saturation［J］. International Journal of Robust and Nonlinear Control， 2025， 35（6）： 1935-1949.

[14] MEI J， LU Z， HU J， et al. Energy-efficient optimal guaranteed cost intermittent-switch control of a direct expansion air conditioning system［J］. IEEE/CAA Journal of Automatica Sinica， 2021， 8（11）： 1852-1866.

[15] HUO Y， WANG D， QIAO J， et al. Off-policy model-free learning for multi-player non-zero-sum games with constrained inputs［J］. IEEE Transactions on Circuits and Systems I： Regular Papers， 2022， 70（2）： 910-920.

[16] LIU D， WANG D， WANG F Y， et al. Neural-network-based online HJB solution for optimal robust guaranteed cost control of continuous-time uncertain nonlinear systems［J］. IEEE Transactions on Cybernetics， 2014， 44（12）： 2834-2847.

[17] LIU S， NIU B， ZONG G， et al. Data-driven-based event-triggered optimal control of unknown nonlinear systems with input constraints［J］. Nonlinear Dynamics， 2022， 109（2）： 891-909.

[18] RUAN Z， HU J， MEI J. Robust optimal triple event-triggered intermittent control for uncertain input-constrained nonlinear systems［J］. Communications in Nonlinear Science and Numerical Simulation， 2024， 129： 107718.

[19] LIU M， JIANG H， HU C. Finite-time synchronization of delayed dynamical networks via aperiodically intermittent control［J］. Journal of the Franklin Institute， 2017， 354（13）： 5374-5397.

基金资助

湖北省自然科学基金资助项目(2023AFC006)