无人机辅助物联网中基于Safe Actor-Critic的信息年龄最小化研究

Age of Information Minimization for UAV‑Enabled Internet of Things Networks： A Safe Actor‑Critic Approach

摘要

无人机作为一种新的通信设备，有望在物联网数据采集、监控等业务中发挥关键作用。为保证所采集数据的时效性，利用信息年龄来衡量无人机从物联网设备接收到的数据新鲜度。通过联合优化无人机轨迹和无人机与物联网设备的关联策略以最小化信息年龄加权和，并保证无人机累积飞行能量消耗满足预算要求。由于上述问题同时受短期和长期约束条件的限制，将问题建模为受约束的马尔可夫决策过程（CMDP），并利用Safe Actor-Critic来求解。仿真结果表明，所提算法在最小化信息年龄的同时，能有效保证能量预算。

Abstract

As a novel communication device， unmanned aerial vehicle （UAV） is expected to play a key role in data collection， monitoring and applications in the Internet of Things （IoT）. To ensure the timeliness of the collected data， this paper employs the Age of Information （AoI） to measure the freshness of the data received by the UAV from IoT devices. This paper jointly optimizes the UAV’s trajectory and UAV-devices association to minimize the weighted sum of AoI and ensure that the cumulative flight energy consumption of the UAV meets the energy budget requirement. Because the problem is confined by both short-term and long-term constraints， the problem is modeled as a constrained Markov decision process （CMDP） and solved by the Safe Actor-Critic approach. The simulation results show that our proposed scheme can effectively decrease AoI while guaranteeing the energy requirement.

Graphical abstract

关键词

无人机 / 信息年龄 / 物联网 / Safe Actor-Critic

Key words

unmanned aerial vehicles / age of information / internet of things / Safe Actor-Critic

0 引 言

由于无人机的灵活性、机动性和低成本，其在物联网（Internet of Things，IoT）网络中实时应用发挥着关键作用，如智能交通^［1］、灾难救援^［2］、野火预防^［3］等。在这些应用程序中，要求将IoT设备生成的实时数据尽可能新鲜地传递给接收器。例如，智能交通中复杂的数据和过时数据可能会导致错误的操作，甚至造成灾难性的后果^［4］。因此，保证接受数据的及时性对无人机辅助物联网网络至关重要。信息年龄（Age of Information，AoI）是一种有效的性能指标，其定义为自生成接收器的最新更新以来经过的时间量^［5］，其中最新收到的数据包的年龄值较小，因此，可以通过最小化AoI来保证接收数据的时效性。

基于深度强化学习（Deep Reinforcement Learning，DRL）的无人机轨迹设计被认为是处理无人机路径规划问题的有效方法^［6‐9］，其中无人机被视为“智能体”，通过与环境直接交互获得最优轨迹。例如，Fu F等^［8］提出了一种基于好奇心驱动的DQN路径规划方法；Wang L等^［9］提出了一种基于深度确定性策略梯度算法的无人机路径设计方法，以降低分布式边缘计算系统中用户的能量开销。然而，这些优化问题大都受短期限制条件约束。众所周知，无人机的飞行能量预算对无人机的路径规划有很大影响，然而，他们忽略了飞行的能耗成本。考虑到无人机承载能量的局限性，Hu X等^［10］提出了一种最小化无人机能耗的无人机轨迹规划方案；Liao Y等^［11］提出了一种多目标优化方案，以最小化AoI和无人机的能耗成本；Sun M等^［12］通过优化无人机的飞行路径和频谱分配，在AoI和飞行能量成本之间找到平衡。上述工作可以有效降低能耗，但不能保证无人机累积飞行能耗不超过总能耗预算。此外，在这些方案中，无人机的可用能量通常没有得到充分利用，难以获得最优的无人机路径规划方案，从而导致高AoI。因此，如何充分利用无人机的能量做出更合理的决策是一个值得研究的问题。

本文研究无人机的路径规划和用户关联问题，以在满足长期飞行能量约束的同时最小化AoI加权和。

1 系统模型与假设

1.1 系统模型

无人机辅助物联网场景如图 1 所示。IoT设备随机部署在室外区域，在该区域中，无人机从起点到目的地巡航，旨在收集IoT设备的状态信息尽可能新鲜。本文考虑的模型中，无人机在采集IoT设备信息时会处于悬停状态，因此不会产生多普勒频移现象^［13］。令K=\left\{\mathrm{1,2},\dots ,K\right\}表示所有物联网设备的集合，设备k的位置由q_k=\left(x_k,y_k,\mathrm{0}\right),\forall k\in K表示。UAV的巡航时间分为T个时隙，每个时隙的长度为\taus。假设UAV在固定的高度H上运动，相应地，设q\left[t\right]=\left(x\left[t\right],y\left[t\right],H\right),\forall t\in T表示UAV在第t个时隙的位置，q\left[\mathrm{0}\right]=\left(x_{\mathrm{o}\mathrm{r}\mathrm{i}},y_{\mathrm{o}\mathrm{r}\mathrm{i}},H\right)表示UAV的初始位置，q\left[T\right]=\left(x_{\mathrm{d}\mathrm{e}\mathrm{s}\mathrm{t}},y_{\mathrm{d}\mathrm{e}\mathrm{s}\mathrm{t}},H\right)表示UAV的目的地。

每个IoT设备在每个时隙的开始处更新其状态数据，该状态数据在调度设备时直接传输到UAV。假设利用时分多址（Time Division Multiple Access， TDMA）方案^［13］，即在每个时隙中，UAV最多为一个设备提供服务。设z_k^t表示调度t时隙的设备k，即z_k^t\in \left\{\mathrm{0,1}\right\},\forall k\in K,t\in T，其中z_k^t=\mathrm{1}时，表示设备k被UAV调度，否则z_k^t=\mathrm{0}。因此，有

{\displaystyle \sum _{k=\mathrm{1}}^K}{z}_k^t\le \mathrm{1},\forall k\in K,t\in T\mathrm{。}（1）

1.2 飞行能量消耗模型

无人机的能源推进成本通过式（2）计算

\begin{array}{c}{P}_{\mathrm{f}\mathrm{l}\mathrm{y}}\left[t\right]=p_{\mathrm{0}}\left(\mathrm{1}+\frac{\mathrm{3}{v}^{\mathrm{2}}\left[t\right]}{U_{\mathrm{t}\mathrm{i}\mathrm{p}}^{\mathrm{2}}}\right)+\\ P_{\mathrm{1}}{\left(\sqrt[]{\mathrm{1}+\frac{v^{\mathrm{4}}\left[t\right]}{\mathrm{4}{v}_{\mathrm{0}}^{\mathrm{4}}}}-\frac{v^{\mathrm{2}}\left[t\right]}{\mathrm{2}{v}_{\mathrm{0}}^{\mathrm{2}}}\right)}^{\mathrm{1}/\mathrm{2}}+\frac{\mathrm{1}}{\mathrm{2}}{z}_{\mathrm{0}}\rho \mu \xi v^{\mathrm{3}}\left[t\right],\end{array}（2）

式中：P_{\mathrm{0}}为悬停状态恒功率；P_{\mathrm{1}}为诱导功率；U_{\mathrm{t}\mathrm{i}\mathrm{p}}^{}为叶片的叶尖速度；v_{\mathrm{0}}^{}为悬停状态的转子平均诱导速度；z_{\mathrm{0}}和\rho分别为机身阻力比和空气密度；\mu和\xi分别为转子坚固度和转子盘面积。为了UAV保留足够的能量以执行其他功能，UAV的机动性必须满足以下能量约束

E_{\mathrm{f}\mathrm{l}\mathrm{y}}\left[T\right]={\displaystyle \sum _{t=\mathrm{1}}^T}{P}_{\mathrm{f}\mathrm{l}\mathrm{y}}\left[t\right]\tau \le E_{\mathrm{m}\mathrm{a}\mathrm{x}},（3）

式中：E_{\mathrm{f}\mathrm{l}\mathrm{y}}\left[T\right]为整个巡航期间累计推进能耗；E_{\mathrm{m}\mathrm{a}\mathrm{x}}为UAV最大允许推进能耗^［14］。

1.3 无线传输与AoI模型

令G_{k\mathrm{2}U}表示从装置k到位置为q\left[t\right]的UAV的平均信道增益，其在LoS和非LoS（NLoS）链路^［15］下求平均，计算公式为

\begin{array}{c}{G}_{k\mathrm{2}U}\left(q\left[t\right]\right)=\mathrm{20}\mathrm{l}\mathrm{o}\mathrm{g}\left(\mathrm{4}\mathrm{\pi }{f}_c{d}_{k\mathrm{2}U}\left(q\left[t\right]\right){\rho }^{-\mathrm{1}}\right)+\\ {\eta }_{\mathrm{L}\mathrm{o}\mathrm{S}}{\Lambda }_{\mathrm{L}\mathrm{o}\mathrm{S}\left(q\left[t\right]\right)}+{\eta }_{\mathrm{N}\mathrm{L}\mathrm{o}\mathrm{S}}\left(\mathrm{1}-{\Lambda }_{\mathrm{L}\mathrm{o}\mathrm{S}\left(q\left[t\right]\right)}\right),\end{array}（4）

式中：f_c为载波频率；\rho为光速；\Lambda为选择概率；d_{k\mathrm{2}U}\left(q\left[t\right]\right)为从设备k到UAV的距离

d_{k\mathrm{2}U}\left(q\left[t\right]\right)=\sqrt[]{{\left(x\left[t\right]-x_k\right)}^{\mathrm{2}}+{\left(y\left[t\right]-y_k\right)}^{\mathrm{2}}+H^{\mathrm{2}}}\mathrm{。}

设备k与UAV之间可实现的数据速率

R_{k\mathrm{2}U}^t=B\mathrm{l}\mathrm{o}{\mathrm{g}}_{\mathrm{2}}\left(\mathrm{1}+SIN{R}_{k\mathrm{2}U}^t\right),（5）

式中：B为信道带宽；SIN{R}_{k\mathrm{2}U}^t为设备k与无人机之间的信噪比

SIN{R}_{k\mathrm{2}U}^t=P_A\left[t\right]G_{k\mathrm{2}U}\left(q\left[t\right]\right)/{\sigma }^{\mathrm{2}},

式中：P_A\left[t\right]为k\mathrm{2}U的发射功率；{\sigma }^{\mathrm{2}}为设备k处的高斯白噪声功率。

另外，本文采用AoI作为量化信息新鲜度的指标，用D_k^t表示UAV从设备k第t时隙采集信息的数据量。D_k^t=z_k^t{R}_{k\mathrm{2}U}^k\tau，若D_k^t\ge D_{\mathrm{m}\mathrm{i}\mathrm{n}}，更新信息年龄为A_k^t=\mathrm{1}，这意味着设备k的当前状态数据成功传输到无人机，其中D_{\mathrm{m}\mathrm{i}\mathrm{n}}为成功恢复或解码接收到的数据所需的最小数据量^［1］；如果D_k^t\le D_{\mathrm{m}\mathrm{i}\mathrm{n}}，则为传输失败，在t时刻物联网设备k处的AoI更新为A_k^t=A_k^{t-\mathrm{1}}+\mathrm{1}。

1.4 问题建模

通过联合优化UAV的轨迹q\left[t\right]以及调度策略z\left[t\right]=\left\{z_{\mathrm{1}}^t,z_{\mathrm{2}}^t,\dots ,z_k^t\right\}，在满足能量约束的前提下，使整个飞行周期内的长期AoI加权和最小。问题表述为

\underset{q[t],z(t)}{\mathrm{m}\mathrm{i}\mathrm{n}}{\displaystyle \sum _{t=\mathrm{1}}^T}{\displaystyle \sum _{k=\mathrm{1}}^K}{\omega }_k{A}_k^t(q[t],z[t]),（6）

q[\mathrm{0}]=(x_{\mathrm{o}\mathrm{r}\mathrm{i}},y_{\mathrm{o}\mathrm{r}\mathrm{i}},H),q[T](x_{\mathrm{d}\mathrm{e}\mathrm{s}\mathrm{t}},y_{\mathrm{d}\mathrm{e}\mathrm{s}\mathrm{t}},H),（7）

‖q[t]-q[t-\mathrm{1}]‖\le V_{\mathrm{m}\mathrm{a}\mathrm{x}}\tau ,（8）

z_k^t\in \{\mathrm{0,1}\},\forall k\in K,t\in T,（9）

{\displaystyle \sum _{k=\mathrm{1}}^K}{z}_k^t\le \mathrm{1},\forall k\in K,t\in T,（10）

E_{\mathrm{f}\mathrm{l}\mathrm{y}}[T]={\displaystyle \sum _{t=\mathrm{1}}^T}{P}_{\mathrm{f}\mathrm{l}\mathrm{y}}[t]\tau \le E_{\mathrm{m}\mathrm{a}\mathrm{x}},（11）

式中：{\omega }_k为A_k^t在式（6）中的权重，表示设备信息的相对重要性。UAV的初始和最终位置在式（7）中给出。式（8）为无人机的速度约束，其中V_{\mathrm{m}\mathrm{a}\mathrm{x}}为UAV的最大速度。式（9）和式（10）保证UAV在每个时间段内最多调度一个IoT设备。式（11）表示E_{\mathrm{f}\mathrm{l}\mathrm{y}}\left[T\right]整个巡航期间的累计推进能量消耗不能大于E_{\mathrm{m}\mathrm{a}\mathrm{x}}。接下来，我们将式（6）建模为一个CMDP，然后采用一种新的DRL算法，即Safe-Actor-Critic^［16］来解决此CMDP问题。

2 约束性马尔可夫决策过程

本节将上述优化问题（6）建模为CMDP。将CMDP一个元组表示为〈S,A,P,s_{\mathrm{0}},r,c,c_{\mathrm{0}}〉，每个元素具体描述如下：

S=S^{\text{'}}\bigcup S_{\mathrm{d}\mathrm{e}\mathrm{s}\mathrm{t}}为环境状态特征空间，其中S^{\text{'}}为瞬态空间，S_{\mathrm{d}\mathrm{e}\mathrm{s}\mathrm{t}}为最终状态空间。S^{\text{'}}包括3个部分：无人机在t时隙的坐标q\left[t\right]=\left(x\left[t\right],y\left[t\right],H\right)；物联网设备的位置q_k=\left(x_k,y_k,\mathrm{0}\right)；物联网设备的AoI值A_k^t,\forall k\in K,t\in T。S_{\mathrm{d}\mathrm{e}\mathrm{s}\mathrm{t}}最终状态空间为q\left[T\right]=\left(x_{\mathrm{d}\mathrm{e}\mathrm{s}\mathrm{t}},y_{\mathrm{d}\mathrm{e}\mathrm{s}\mathrm{t}},H\right)。

A为动作空间，包括无人机的速度v_t和方向，以及无人机的调度策略z\left[t\right]。

P为状态转移概率函数。无人机的坐标根据p\left[t\right]=v_t\mathrm{*}\tau +p\left[t-\mathrm{1}\right]进行转移，v_t\le V_{\mathrm{m}\mathrm{a}\mathrm{x}}，v_t为无人机在t时刻的飞行速度。

s_{\mathrm{0}}\in S为初始状态，其中包括q\left[\mathrm{0}\right]=\left(x_{\mathrm{0}},y_{\mathrm{0}},H\right)及A_k^{\mathrm{0}},\forall k\in K。

r为奖励函数， 定义为

\left\{\begin{array}{cc}-{\displaystyle \sum _{k=\mathrm{1}}^K}{\omega }_k{A}_k^t,& \mathrm{i}\mathrm{f}q[t]\ne (x_{\mathrm{d}\mathrm{e}\mathrm{s}\mathrm{t}},y_{\mathrm{d}\mathrm{e}\mathrm{s}\mathrm{t}},H),\\ -{\displaystyle \sum _{k=\mathrm{1}}^K}{\omega }_k{A}_k^t+\Omega ,& \mathrm{o}\mathrm{t}\mathrm{h}\mathrm{e}\mathrm{r}\mathrm{w}\mathrm{i}\mathrm{s}\mathrm{e},\end{array}\right.（12）

式中：\Omega为一个正常数，用于将无人机诱导到最终位置^{［17‐18］}。

c为立即约束代价，定义为c\left(s,a\right)=P_{\mathrm{f}\mathrm{l}\mathrm{y}}\left[t\right]\tau，c_{\mathrm{0}}为约束代价上限，根据式（11）有c_{\mathrm{0}}=E_{\mathrm{m}\mathrm{a}\mathrm{x}}。

设\mathrm{\Pi }\left(s\right)=\left\{\pi \left(·\left|s\right.\right)\left|\sum _{a\in A}\pi \left(a\left|s\right.\right)=\mathrm{1}\right.\right\}表示策略集，给定s_{\mathrm{0}}和\pi \left(\forall \pi \in \mathrm{\Pi }\left(s\right)\right)，agent的长期奖励为

R^{\pi }\left(s_{\mathrm{0}}\right)={\rm E}\left\{{\displaystyle \sum _{t=\mathrm{0}}^{T^{\mathrm{*}}-\mathrm{1}}}r(s_t,a_t)|s_{\mathrm{0}},\pi \right\},（13）

式中：T^{\mathrm{*}}为从起始状态s_{\mathrm{0}}到目的地首次成功的时间。安全约束为

C^{\pi }\left(s_{\mathrm{0}}\right)={\rm E}\left\{{\displaystyle \sum _{t=\mathrm{0}}^{T^{\mathrm{*}}-\mathrm{1}}}c\left(s_t,a_t\right)\left|s_{\mathrm{0}},\pi \right.\right\}\mathrm{。}（14）

解决CMDP问题的方法是找到最优策略{\pi }^{\mathrm{*}}，使长期收益最大化，且满足安全约束。CMDP的优化问题被公式化为

{\pi }^{\mathrm{*}}\left(·\left|s\right.\right)=\mathrm{a}\mathrm{r}\mathrm{g}\underset{\pi \in \mathrm{\Delta }}{\mathrm{m}\mathrm{a}\mathrm{x}}\left\{R^{\pi }\left(s_{\mathrm{0}}\right)\left|C^{\pi }\left(s_{\mathrm{0}}\right)\le c_{\mathrm{0}}\right.\right\}\mathrm{。}（15）

如何将长期约束C^{\mathrm{\pi }}\left(s_{\mathrm{0}}\right)转化为可行的单步策略集是求解CMDP的关键。

3 Safe Actor-Critic

3.1 安全策略集

本节利用Lyapunov函数理论来构建安全策略集。首先，假设可以获得式（15）的可行策略，用{\pi }_{\mathrm{b}}\left(·\left|\mathrm{s}\right.\right)\in \mathrm{\Pi }表示。给定初始状态s_{\mathrm{0}}和约束阈值c_{\mathrm{0}}，Lyapunov函数定义集为

\begin{array}{c}{\Gamma }_{\pi b}\left(s_{\mathrm{0}},c_{\mathrm{0}}\right)=\left\{\mathrm{𝓁}\left(s\right)\right.:B_{\mathrm{\pi }b,c}\left[\mathrm{𝓁}\right]\left(s\right)\le \mathrm{𝓁}\left(s\right),\forall s\in S^{\text{'}};\\ \left.\mathrm{𝓁}\left(s\right)=\mathrm{0},\forall s\in S\backslash S^{\text{'}};\mathrm{𝓁}\left(s_{\mathrm{0}}\right)\le s_{\mathrm{0}}\right\},\end{array}（16）

式中：B_{\pi b,c}\left[\mathrm{𝓁}\right]\left(s\right)为贝尔曼函数计算，即

\begin{array}{c}{B}_{\pi b,c}\left[\mathrm{𝓁}\right]\left(s\right)={\sum }_{a\in \mathrm{{\rm A}}}{\pi }_b\left(a\left|s\right.\right)\left[c\left(s,a\right)\right.+\\ \left.\gamma {\sum }_{s^{\text{'}}\in S^{\text{'}}}\mathrm{{\rm P}}\left(s^{\text{'}}\left|s,a\right.\right)\mathrm{𝓁}\left(s^{\text{'}}\right)\right],\forall s\in S,{\pi }_b\in \mathrm{\Pi }\mathrm{。}\end{array}

对于\forall \mathrm{𝓁}\left(s\right)\in {\Gamma }_{\pi b}\left(s_{\mathrm{0}},c_{\mathrm{0}}\right)，Lyapunov函数诱导的安全策略集为

F_{\mathrm{𝓁}}\left(s\right)=\left\{\pi \left(·\left|s\right.\right)\in \mathrm{\Pi }\left(s\right):B_{\pi ,c}\left[\mathrm{𝓁}\right]\left(s\right)\le \mathrm{𝓁}\left(s\right)\right\},（17）

式中：\mathrm{𝓁}\left(s_{\mathrm{0}}\right)\le c_{\mathrm{0}},\forall \mathrm{\pi }\left(·\left|s\right.\right)\in F_{\mathrm{𝓁}}\left(s\right)为式（15）的可行性策略。从式（17）中可以看出，较大的\mathrm{𝓁}意味着可以获得较大的F_{\mathrm{𝓁}}\left(s\right)，因此，下面的关键工作是构造一个合适的Lyapunov函数\mathrm{𝓁}。

根据文献［16］中的引理1，关于{\pi }^{\mathrm{*}}的长期约束C^{\pi \mathrm{*}}\left(s\right)可以转化为{\pi }_b诱导的Lyapunov函数，写为

\begin{array}{c}{\mathrm{𝓁}}_{\mathrm{\Delta }}\left(s\right)=C^{\pi \mathrm{*}}\left(s\right)={\rm E}\left\{{\displaystyle \sum _{n=\mathrm{0}}^{T^{\mathrm{*}}-\mathrm{1}}}\left[c\left(s_t\right)+\Delta \left(s_t\right)\right]\left|{\pi }_b\right.,s\right\},\\ \forall s\in S^{\text{'}},{\mathrm{𝓁}}_{\mathrm{\Delta }}\left(s\right)=\mathrm{0},\forall s\in S\backslash S^{\text{'}},\end{array}（18）

式中：\Delta \left(s_t\right)为每一步中可用的附加约束成本，用于扩展可行的操作空间并改进策略。然而，在没有{\pi }^{\mathrm{*}}的先验知识的情况下构建\Delta \left(s_t\right)是具有挑战性的。为了降低计算复杂度^［19］，\Delta \left(s_t\right)近似为

\Delta =\Delta \left(s_n\right)=\left(c_{\mathrm{0}}-C^{\pi b}\left(s_{\mathrm{0}}\right)\right)/{\rm E}\left[T^{\mathrm{*}}\left|s_{\mathrm{0}},{\pi }_b\right.\right],（19）

式中：c_{\mathrm{0}}-C^{\pi b}\left(s_{\mathrm{0}}\right)为从s_{\mathrm{0}}到最终状态可用的总辅助约束成本；{\rm E}\left[T^{\mathrm{*}}\left|s_{\mathrm{0}},{\pi }_b\right.\right]为UAV从开始位置到目的地的预期首次成功时间。通过这种方式，可以在规划轨迹的同时充分利用UAV的推进能量预算。根据式（18）可以得到{\mathrm{𝓁}}_{\mathrm{\Delta }}\left(s\right)是可以由{\mathrm{𝓁}}_{\mathrm{\Delta }}\left(s\right)=\sum _{a\in A}\left\{\pi (a|s)Q_{\mathrm{𝓁}\Delta }(s,a)\right\}计算，其中Q_{\mathrm{𝓁}\Delta }\left(s,a\right)=Q_C\left(s,a\right)+\Delta \left(s\right)Q_T\left(s,a\right)为{\mathrm{𝓁}}_{\Delta }的状态-动作值，Q_C\left(s,a\right)为约束值，Q_T\left(s,a\right)为从s到最终状态的残差步长，\Delta \left(s\right)Q_T\left(s,a\right)表示约束成本的其余部分。为保证策略\pi \left(a\left|s\right.\right)安全，必须满足{\left[\pi \left(a\left|s\right.\right)-{\pi }_b\left(a\left|s\right.\right)\right]}^{\mathrm{T}}{Q}_{\mathrm{𝓁}\mathrm{\Delta }}\left(a\left|s\right.\right)\le \Delta \left(s\right)，这意味着由\pi \left(a\left|s\right.\right)引起的额外成本{\left[\pi \left(a\left|s\right.\right)-{\pi }_b\left(a\left|s\right.\right)\right]}^{\mathrm{T}}{Q}_{\mathrm{𝓁}\Delta }\left(a\left|s\right.\right)不能超过\Delta \left(s\right)。然后，由{\mathrm{𝓁}}_{\Delta }\left(s\right)诱导的安全策略集（17）可以写为

\begin{array}{c}{F}_{\mathrm{𝓁}\Delta }\left(s\right)=\left\{\pi \left(·\left|s\right.\right)\right.\in \mathrm{\Pi }\left(s\right):\\ \left.{\left[\pi \left(a\left|s\right.\right)-{\pi }_b\left(a\left|s\right.\right)\right]}^{\mathrm{T}}{Q}_{\mathrm{𝓁}\mathrm{\Delta }}\left(a\left|s\right.\right)\le \mathrm{\Delta }\left(s\right)\right\}\mathrm{。}\end{array}（20）

3.2 critic部分

以下采用actor-critic框架来解决问题（15）。在critic部分，使用DNN分别评估Q\left(s,a\right)，Q_C\left(s,a\right)和Q_T\left(s,a\right)。

在每步中， 新生成的数据被保存在经验池中， 即D\leftarrow \left(s,a,r,c,s^{\text{'}}\right)\bigcup D， 通过从经验池中随机采样一批样本\left(s,a,r,c,s^{\text{'}}\right)来训练DNN， 并通过式（21）更新参数

Loss\left(\vartheta \right)={\rm E}{\left[\left(y-Q\left(s,a;\vartheta \right)\right)\right]}^{\mathrm{2}},（21）

式中：y=r\left(s,a\right)+\underset{a\in {\rm A}}{\mathrm{m}\mathrm{a}\mathrm{x}}\widehat{Q}\left(s^{\text{'}},a;\widehat{\vartheta }\right)为目标状态值，Q\left(s,a;\vartheta \right)为当前状态值，参数\vartheta更新为

\vartheta =\vartheta -{\alpha }_{c,t}\left(y-Q\left(s,a;\vartheta \right)\right)\cdot {\nabla }_{\vartheta }Q\left(s,a;\vartheta \right),（22）

式中：{\alpha }_{c,t}为critic的学习率。目标状态值\widehat{Q}\left(s^{\text{'}},a;\widehat{\vartheta }\right)的参数\widehat{\vartheta }经过几步后被更新为\widehat{\vartheta }=\vartheta。

同样Q_C\left(s,a\right)和Q_T\left(s,a\right)也分别通过DNN近似器Q\left(s,a;{\vartheta }_C\right)和Q\left(s,a;{\vartheta }_T\right)进行评估。参数{\vartheta }_C和{\vartheta }_T通过以下方式更新

{\vartheta }_C={\vartheta }_C-{\alpha }_{c,t}\left(y_C-Q_C\left(s,a;{\vartheta }_C\right)\right)\cdot {\nabla }_{\vartheta }{Q}_C\left(s,a;{\vartheta }_C\right),（23）

{\vartheta }_T={\vartheta }_T-{\alpha }_{c,t}\left(y_T-Q_T\left(s,a;{\vartheta }_T\right)\right)\cdot {\nabla }_{\vartheta }{Q}_T\left(s,a;{\vartheta }_T\right),（24）

式中：y_C=c\left(s\right)+\pi {\left(a\left|s^{\text{'}}\right.\right)}^T{\widehat{Q}}_C\left(s^{\text{'}},a;{\widehat{\vartheta }}_C\right)，y_T=\mathrm{1}+\pi {\left(a\left|s^{\text{'}}\right.\right)}^T{\widehat{Q}}_T\left(s^{\text{'}},a;{\widehat{\vartheta }}_T\right)，因此，式（18）转换为

\Delta \left(s\right)=\frac{\left(c_{\mathrm{0}}-{\mathrm{\pi }}_b{\left(·\left|s_{\mathrm{0}}\right.\right)}^{\mathrm{T}}{Q}_C\left(s_{\mathrm{0}},·;{\vartheta }_C\right)\right)}{{\mathrm{\pi }}_b{\left(·\left|s_{\mathrm{0}}\right.\right)}^{\mathrm{T}}{Q}_T\left(s_{\mathrm{0}},·;{\vartheta }_T\right)}\mathrm{。}（25）

3.3 actor部分

基于上节获得的Q_C\left(s,a\right)和Q_T\left(s,a\right)以及在式（20）中构建的安全策略集，可以计算出式（15）的最优行动概率为

\begin{array}{c}{\pi }^{\text{'}}\left(a\left|s\right.\right)=\mathrm{a}\mathrm{r}\mathrm{g}\underset{\pi \in \mathrm{\Delta }}{\mathrm{m}\mathrm{a}\mathrm{x}}\left\{R^{\pi }\right.\left(s\right):\\ \left.{\left[\pi \left(a\left|s\right.\right)-{\pi }_b\left(a\left|s\right.\right)\right]}^{\mathrm{T}}{Q}_{\mathrm{𝓁}\mathrm{\Delta }}\left(s,a\right)\le \mathrm{\Delta }\left(s\right)\right\},\end{array}（26）

式中：R^{\pi }\left(s\right)=\pi {\left(a\left|s\right.\right)}^{\mathrm{T}}Q\left(s,a\right)。

3.4 Safe Actor-Critic算法

Safe Actor-Critic算法的框架如图 2 所示。

算法收敛性可以在文献［16］中找到。该算法包括了三部分：actor部分，critic部分以及经验池，其学习率{\alpha }_{c,t}和{\alpha }_{a,t}满足

（27）

4 仿真结果与讨论

模拟基于Python的模拟器上实现，其中环境的参数设置如下：在\mathrm{600}\mathrm{m}\times \mathrm{600}\mathrm{m}的面积上随即部署K个物联网设备，无人机在该区域上空巡航，接收设备产生的数据，其悬停高度固定为H=100 m。传输速率的参数设置为f_c=5.9 GHz，B=1 MHz^［20］，p_{k\mathrm{2}U}=0.1 W（\forall k\in K）^［20］，{\sigma }^{\mathrm{2}}=‒110 dBm，信道参数的值为\delta=9.61，\beta=0.16，{\eta }_{\mathrm{L}\mathrm{o}\mathrm{S}}=1 dB，{\eta }_{\mathrm{N}\mathrm{L}\mathrm{o}\mathrm{S}}=20 dB^［15］。无人机的能源推进成本参数设置为：P_{\mathrm{0}}=3.4 W，P_{\mathrm{1}}=118 W，U_{\mathrm{t}\mathrm{i}\mathrm{p}}=60 m/s，V_{\mathrm{m}\mathrm{a}\mathrm{x}}=30 m/s，v_{\mathrm{0}}=5.4 m/s，\rho=1.225 km/m²，\mu=0.03，z_{\mathrm{0}}=0.3，\xi=0.28 m^{2 ［21］}。

图 3 为所提算法不同Actor学习率之间的收敛性能，其满足等式（26）且通过反复试验来设置。在这一部分中，Critic的学习率被设定为{\alpha }_{c,t}=\mathrm{5}\times {\mathrm{10}}^{-\mathrm{4}}。算法总共运行500回合，每个回合中包括100步。

由图 3 可知，当学习率为{\alpha }_{a,t}=\mathrm{5}\times {\mathrm{10}}^{-\mathrm{4}}，曲线大约150回合处达到收敛，这是因为学习率过高，总会导致高方差和低奖励。然而，当学习率下降为{\alpha }_{a,t}=\mathrm{1}\times {\mathrm{10}}^{-\mathrm{5}}时，学习速率变慢。相比{\alpha }_{a,t}=\mathrm{1}\times {\mathrm{10}}^{-\mathrm{5}}和{\alpha }_{a,t}=\mathrm{5}\times {\mathrm{10}}^{-\mathrm{4}}，学习率为{\alpha }_{a,t}=\mathrm{5}\times {\mathrm{10}}^{-\mathrm{5}}是最佳的学习率，该学习率在平均收益和方差方面具有良好的性能。

图 4 为不同Critic学习率之间的收敛性能，这里Actor的学习率被固定为{\alpha }_{a,t}=\mathrm{5}\times {\mathrm{10}}^{-\mathrm{5}}。同样发现算法的收敛性能对学习率非常敏感，学习率为{\alpha }_{c,t}=\mathrm{5}\times {\mathrm{10}}^{-\mathrm{3}}导致显著方差，而{\alpha }_{c,t}=\mathrm{3}\times {\mathrm{10}}^{-\mathrm{4}}导致较长的学习时间，Critic的最佳学习率为{\alpha }_{c,t}=\mathrm{5}\times {\mathrm{10}}^{-\mathrm{4}}。因此，在下面的部分中，{\alpha }_{a,t}和{\alpha }_{c,t}分别被设为{\alpha }_{a,t}=\mathrm{5}\times {\mathrm{10}}^{-\mathrm{5}}和{\alpha }_{c,t}=\mathrm{5}\times {\mathrm{10}}^{-\mathrm{4}}。

为了显示所提出的基于Safe Actor-Critic（SAC）算法的高效率，还模拟了基于Safe DQN的算法（SDA）^［7］和基于拉格朗日Actor-Critic的算法（LAC）^［21］。图 5 为无人机在不同的总能量预算下每次SAC、SDA和LAC的累积推进能量消耗。从图 5 可以看出，当E_{\mathrm{m}\mathrm{a}\mathrm{x}}=\mathrm{1.1}\times {\mathrm{10}}^{\mathrm{4}} J时，SAC的总推进能量成本在收敛后小于\mathrm{1.1}\times {\mathrm{10}}^{\mathrm{4}} J，SDA的能耗成本同样小于\mathrm{1.1}\times {\mathrm{10}}^{\mathrm{4}} J。当E_{\mathrm{m}\mathrm{a}\mathrm{x}}=\mathrm{2.6}\times {\mathrm{10}}^{\mathrm{4}} J时，SAC的能耗约\mathrm{2.5}\times {\mathrm{10}}^{\mathrm{4}} J。这是因为SAC基于能量预算E_{\mathrm{m}\mathrm{a}\mathrm{x}}为无人机构建了一个安全策略集，因此，总推进能量成本不会超过预算E_{\mathrm{m}\mathrm{a}\mathrm{x}}。当E_{\mathrm{m}\mathrm{a}\mathrm{x}}=\mathrm{1.1}\times {\mathrm{10}}^{\mathrm{4}} J时，LAC的能量消耗约为\mathrm{1.5}\times {\mathrm{10}}^{\mathrm{4}} J。这是因为LAC的策略不可能受到长期能源约束的严重限制，即UAV的每回合的总推进能量成本可能超过总能量预算。

图 6 为每回合SAC、LAC和SDA在不同总能量预算下的奖励表现。

从图 6 中可以看到，当E_{\mathrm{m}\mathrm{a}\mathrm{x}}从\mathrm{1.1}\times {\mathrm{10}}^{\mathrm{4}} J增加到E_{\mathrm{m}\mathrm{a}\mathrm{x}}=\mathrm{2.6}\times {\mathrm{10}}^{\mathrm{4}} J时，SAC的奖励明显增加，这是因为E_{\mathrm{m}\mathrm{a}\mathrm{x}}越大，则无人机的可行动空间越大，获得最优策略的机会越多^［22］，获得的奖励也越高。当E_{\mathrm{m}\mathrm{a}\mathrm{x}}=\mathrm{1.1}\times {\mathrm{10}}^{\mathrm{4}}J时，LAC的奖励比SAC高，这是因为LAC的策略并不严重受限于图 5 所示的能量预算。尽管在图 5 中，SDA同样受到能量约束，但是从图6中可以看出当E_{\mathrm{m}\mathrm{a}\mathrm{x}}=\mathrm{1.1}\times {\mathrm{10}}^{\mathrm{4}} J时，SDA的奖励低于SAC，因此，根据图 5和图 6可知，与SDA和LAC相比，提出的SAC可严格满足推进能量消耗预算要求，并且收敛性能最佳。

图 7 所示为每个回合中不同的总能量预算下不同物联网设备数目的AoI值，可见随着物联网设备数目的增加，AoI加权和显著增加。这是因为无人机在每个时隙最多连接一台设备，部署的设备越多，平均每台设备享受的服务越少，AoI之和也随之增加。此外，当能量预算增加时，固定数量物联网设备的AoI会减少，这是因为有了更多的推进能量预算，无人机可以进行更灵活的轨迹规划，以接收更高AoI值的设备。

图 8 显示了每一阶段的平均加权和AoI与UAV飞行高度的关系，可见当无人机的高度增加时，AoI值增加。由于物联网设备到无人机的信道增益主要取决于两者之间的距离，因此在带宽和发射功率一定的情况下，飞行高度越高，信道条件越弱，传输速率越低。

5 结论和展望

本研究的贡献总结如下：

1）联合优化无人机的轨迹和物联网设备调度策略以最小化网络的加权和AoI，其中无人机累积飞行能量成本受能量预算限制。

2）由于优化目标受一组短期约束和长期能量约束的限制，该问题被建模为约束马尔可夫决策过程（CMDP）。

3）采用Safe Actor-Critic来求解该CMDP，为保证策略安全，利用Lyapunov函数构建安全策略集，并基于此策略集训练策略网络。

在未来的工作中，我们将利用多智能体DRL方法讨论多无人机场景下的AoI最小化问题。

参考文献

[1] SAMIR M， ASSI C， SHARAFEDDINE S，et al.Age of information aware trajectory planning of UAVs in intelligent transportation systems：a deep learning approach［J］.IEEE Transactions on Vehicular Technology，2020，69（11）：12382-12395.

[2] LIN N， LIU Y， ZHAO L，et al.An adaptive UAV deployment scheme for emergency networking［J］.IEEE Transactions on Wireless Communications，2021，21（4）：2383-2398.

[3] SUN L， WAN L， WANG X. Learning-based resource allocation strategy for industrial IoT in UAV-enabled MEC systems［J］.IEEE Transactions on Industrial Informatics，2020，17（7）：5031-5040.

[4] SU C， YE F， WANG L C，et al.UAV-assisted wireless charging for energy-constrained IoT devices using dynamic matching［J］.IEEE Internet of Things Journal，2020，7（6）：4789-4800.

[5] ZHANG L， ANSARI N.Latency-aware IoT service provisioning in UAV-aided mobile-edge computing networks［J］.IEEE Internet of Things Journal，2020，7（10）：10573-10580.

[6] 钱志鸿，田春生，郭银景，等.智能网联交通系统的关键技术与发展［J］.电子与信息学报，2020，42（1）：2-19.

[7] QIAN Zhihong， TIAN Chunsheng， GUO Yinjing，et al.The key technology and development of intelligent and connected transportation system［J］.Journal of Electronics and Information，2020，42（1）：2-19. （in Chinese）

[8] WANG L， WANG K， PAN C，et al.Deep Q-network based dynamic trajectory design for UAV-aided emergency communications［J］.Journal of Communications and Information Networks，2020，5（4）：393-402.

[9] FU F， JIAO Q， YU F R，et al.Securing UAV-to-vehicle communications：a curiosity-driven deep Q-learning network （C-DQN） approach［C］//International Conference on Communications Workshops（ICC Workshops），2021：1-6.

[10] WANG L， WANG K， PAN C，et al.Deep reinforcement learning based dynamic trajectory control for UAV-assisted mobile edge computing［J］.IEEE Transactions on Mobile Computing，2022，21（10）：3536-3550.

[11] HU X， WONG K K， YANG K，et al.UAV-assisted relaying and edge computing：scheduling and trajectory optimization［J］.IEEE Transactions on Wireless Communications，2019，18（10）：4738-4752.

[12] LIAO Y， FRIDERIKOS V.Energy and age pareto optimal trajectories in UAV-assisted wireless data collection［J］.IEEE Transactions on Vehicular Technology，2022，71（8）：9101-9106.

[13] SUN M， XU X， QIN X，et al.AoI-energy-aware UAV-assisted data collection for IoT networks：a deep reinforcement learning method［J］.IEEE Internet of Things Journal，2021，8（24）：17275-17289.

[14] FANG Z， WANG J， REN Y，et al.Age of information in energy harvesting aided massive multiple access networks［J］.IEEE Journal on Selected Areas in Communications，2022，40（5）：1441-1456.

[15] JEONG S， SIMEONE O， KANG J.Mobile edge computing via a UAV-mounted cloudlet：optimization of bit allocation and path planning［J］.IEEE Transactions on Vehicular Technology，2017，67（3）：2049-2063.

[16] ZHANG L， ANSARI N.Latency-aware IoT service provisioning in UAV-aided mobile-edge computing networks［J］.IEEE Internet of Things Journal，2020，7（10）：10573-10580.

[17] CHOW Y， NACHUM O， DUENEZ-GUZMAN E，et al.A lyapunov-based approach to safe reinforcement learning ［C］//32nd Conference on Neural Information Processing Systems（NeurIPS 2018），2018：31-41.

[18] DONG D， CHEN C， CHU J，et al.Robust quantum-inspired reinforcement learning for robot navigation［J］.IEEE/ASME Transactions on Mechatronics，2010，17（1）：86-97.

[19] 陈兴国，高阳，范顺国，等.基于核方法的连续动作Actor-Critic学习［J］.模式识别与人工智能，2014（2）：103-110.

[20] CHEN Xingguo， GAO Yang， FAN Shunguo，et al.Kernel-based continuous-action Actor-Critic learning［J］.Journal of Pattern Recognition and Artificial Intelligenceon，2014（2）：103-110. （in Chinese）

[21] HU H， XIONG K， QU G，et al.AoI-minimal trajectory planning and data collection in UAV-assisted wireless powered IoT networks［J］.IEEE Internet of Things Journal，2020，8（2）：1211-1223.

[22] ZENG Y， XU J， ZHANG R.Energy minimization for wireless communication with rotary-wing UAV［J］.IEEE Transactions on Wireless Communications，2019，18（4）：2329-2345.

[23] ALTMAN E.Constrained Markov decision processes with total cost criteria：lagrangian approach and dual linear program［J］.Mathematical Methods of Operations Research，1998，48（3）：387-391.

[24] ZHAO Y， LI Z， CHENG N，et al.Joint UAV position and power optimization for accurate regional localization in space-air integrated localization network［J］.IEEE Internet of Things Journal，2020，8（6）：4841-4854.

基金资助

山西省基础研究计划自然科学研究面上资助项目(202103021224024)

山西省基础研究计划青年科学研究资助项目(20210302123021)

山西省重点研发计划资助项目(202202020101004)