基于过时信息年龄最小化无人机路径规划

Age of Outdated Information Optimal UAV Path Planning

摘要

在一些对信息新鲜度要求较高的物联网（IoT）场景中， 无人机凭借其高机动性和灵活性的特点可以用于辅助采集设备数据。现有的评估信息新鲜度的信息年龄存在一定局限性， 无法从内容角度准确定义。该文采用过时信息年龄来表征信息新鲜度， 并且提出基于好奇心驱动DQN算法的无人机辅助IoT数据采集方案， 通过优化无人机轨迹， 实现在满足无人机能耗约束条件下过时信息年龄的最小化。仿真结果表明， 相比传统DQN算法， 该文所提算法使智能体探索能力加强， 收敛速度变快约45%， 所得奖励值高约67%。

Abstract

In some Internet of Things （IoT） scenarios that require high information freshness， UAV can be used to assist in collecting device data due to their high mobility and flexibility. The existing evaluation of information freshness has certain limitations in terms of age and cannot be accurately defined from a content perspective. This article uses the age of outdated information to characterize the freshness of information， and proposes a UAV-assisted IoT data collection scheme based on the curiosity driven DQN algorithm. By optimizing the trajectory of the UAV， the age of outdated information is minimized while meeting the constraints of UAV energy consumption. The simulation results show that compared to the traditional DQN algorithm， the proposed algorithm enhances the exploration ability of the intelligent agent， accelerates the convergence speed by about 45%， and achieves a reward value of about 67% higher.

Graphical abstract

关键词

物联网 / 过时信息年龄 / 无人机路径规划 / 好奇心驱动DQN算法

Key words

Internet of Things / age of outdated information / UAV path planning / curiosity-driven DQN algorithm

0 引　言

物联网（IoT）技术被认为是继计算机和互联网之后， 信息技术领域的又一次巨大飞跃， 已在工业生产、 智慧交通等领域得到了广泛应用^［1-2］。其中， 高效采集终端数据成为提升物联网服务能力的关键， 信息需要被尽可能快地传递给目的端或数据中心， 以便进行数据分析并做出决策， 因此， 保证接收数据在目的地的新鲜度十分重要。由于无人机高机动性和高灵活性， 可以用来辅助采集信息， 保证信息的新鲜度^［3］。

目前相关研究中， 还存在以下3个不足：

1） 在评估信息新鲜度时， 通常使用的评价指标是信息年龄（AoI）^［4］， 但其在量化信息新鲜度方面存在局限性， 无法从内容角度准确定义信息的真正新鲜度。Wu等^［5］提出了一个端到端的人工智能框架，并通过神经轨迹求解器规划最小AoI的无人机飞行路径； Hu等^［6］联合能量传输、 数据收集时间分配和无人机的轨迹规划， 最小化数据的平均AoI。但是， 由于AoI只考虑了信息最初生成以来经过的时间， 而不是信息过时的时间。如果信息源没有新的信息内容更新， 则具有较大AoI的信息仍可能被视为“新鲜”信息； Liu等^［7］提出了过时信息年龄（AooI）来改进AoI。AooI的测量是从现在到信息在信息源位置第一次更改之间经过的时间。AooI非常适合用于处理非常大的信息内容状态空间。

2） 无人机的电量有限， 航行过程中需要考虑电量限制， 但现有的一些工作并没有考虑该限制。Zhu等^［8］提出了加权A*算法来最小化无人机从地面物联网网络收集到数据的AoI， 并进行无人机路径规划； Liu等^［9］提出了基于逐次凸近似（SCA）方法和基于遗传算法（GA）来解决无人机环境监测系统中的无人机轨迹规划问题； Liu等^［10］通过动态规划算法求解无人机轨迹和节点与信息收集点关联关系的联合优化问题， 最小化传感器的最大AoI。以上这些工作没有考虑到现实情况的电量限制， 不符合现实情况。

3） 有关研究采用传统的数学优化算法， 没有考虑无人机何时需要充电以及充电次数。

本文提出了基于过时信息年龄最小化的无人机辅助IoT设备数据采集路径规划的方案， 并且控制无人机在电量到达一定值时进行充电。采用一种好奇心驱动的DQN算法来处理该优化问题， 可以满足无人机及时充电的需求。与现有的传统深度强化学习方法仅通过环境产生的外部奖励来训练智能体不同， 为了更有效地探索状态， 好奇心驱动的DQN算法通过外部奖励和内部奖励来训练智能体， 内部奖励被定义为智能体， 预测自身行为后果的能力误差。

1 系统模型与问题建立

1.1 场景设置

如图 1 所示， 一个城市场景， 由一个无人机、 M个IoT设备， N个充电站组成， D=\{d_{\mathrm{1}},d_{\mathrm{2}},\dots ,d_m\}表示IoT设备的集合， C=\{c_{\mathrm{1}},c_{\mathrm{2}},\dots ,c_n\}表示充电站的集合。无人机从设定的起点出发巡航至终点， 并在飞行过程中收集尽可能新鲜的IoT设备信息， 达到最小过时信息年龄的目标， 并且， 无人机需要在电池电量快耗尽时， 寻找充电站进行充电， 确保完成路径。整个时间系统分成T个等长的时隙， 即\Gamma =[\mathrm{0,1},\dots ,T]， 每个时隙的长度为τ秒， 无人机在第一个时隙起飞。

假设无人机在固定高度H飞行， 防止出现碰撞， 并保持恒定的飞行速度。设p(t)=(x,y,H)为时隙t的无人机位置， 则起点坐标p(\mathrm{0})=(x_{\mathrm{0}},y_{\mathrm{0}},H)。在调度时， 一个无人机同一时刻只能访问一个IoT设备。假设a_d(t)为t时刻访问IoT设备a_c(t)， 为t时刻访问充电站^［11］。在t时刻访问IoT设备时a_{d_{\mathrm{m}}}(t)=\mathrm{1}， 否则等于0， 在t时刻访问充电站时a_{c_{\mathrm{n}}}(t)=\mathrm{1}， 否则等于0， 设定a_{d_{\mathrm{m}}}(t)•a_{c_{\mathrm{n}}}(t)=\mathrm{0}并且a_{d_{\mathrm{m}}}(t)+a_{c_{\mathrm{n}}}(t)\ne \mathrm{0}， 即同一时间无人机只能访问同个节点。

1.2 通信模型

由于在城市环境中， 无人机航行过程中可能会遇到IoT设备之间有树木、 房屋等阻挡， 因此假设无人机和IoT设备之间的信道由LoS和NLoS混合信道控制^［12］， 并存在一定的概率。因此， 可以得到无人机和IoT设备间的信道衰落， 如下式（1）所示

g_s=g_{\mathrm{f}\mathrm{r}\mathrm{e}\mathrm{e}}+\mu ,（1）

式中： g_{\mathrm{f}\mathrm{r}\mathrm{e}\mathrm{e}}=\mathrm{20}\mathrm{l}\mathrm{o}\mathrm{g}s+\mathrm{20}\mathrm{l}\mathrm{o}\mathrm{g}{f}_c+\mathrm{20}\mathrm{l}\mathrm{o}\mathrm{g}\mathrm{4}\mathrm{\pi }/c为自由空间路径损耗， s为无人机与IoT设备间的距离， f_c和c分别为载波频率和光速， \mu是平均额外路径损失， 分为LoS或 NLoS两种情况， 设LoS信道的概率为P_{\mathrm{L}\mathrm{o}\mathrm{S}}， NLoS信道概率为P_{\mathrm{N}\mathrm{L}\mathrm{o}\mathrm{S}}， 其中P_{\mathrm{N}\mathrm{L}\mathrm{o}\mathrm{S}}=\mathrm{1}-P_{\mathrm{L}\mathrm{o}\mathrm{S}}，则平均路径损耗

\overline{g}=g_{\mathrm{L}\mathrm{o}\mathrm{S}}{P}_{\mathrm{L}\mathrm{o}\mathrm{S}}+g_{\mathrm{N}\mathrm{L}\mathrm{o}\mathrm{S}}{P}_{\mathrm{N}\mathrm{L}\mathrm{o}\mathrm{S}}\mathrm{。}（2）

LoS信道的概率可以简单表示为^［13］

P_{\mathrm{L}\mathrm{o}\mathrm{S}}=(\mathrm{1}+a{e}^{-b(\theta -a)}{)}^{-\mathrm{1}}={\left(\mathrm{1}+a{\mathrm{e}}^{-b\left(\mathrm{s}\mathrm{i}{\mathrm{n}}^{-\mathrm{1}}\left(\frac{H}{s}\right)-a\right)}\right)}^{-\mathrm{1}},（3）

式中： a和b为环境参数； \theta为IoT设备与无人机的仰角； H为垂直高度； s为通信双方距离。

无人机和IoT设备之间的上行链路吞吐量为

R_m=B\mathrm{l}\mathrm{o}{\mathrm{g}}_{\mathrm{2}}(\mathrm{1}+SN{R}_m),（4）

式中： B为信道带宽； SN{R}_m=w_m\overline{g}/{\sigma }^{\mathrm{2}} 为无人机和IoT设备间的信噪比； w_m为第m个IoT设备的发射功率； {\sigma }^{\mathrm{2}}为高斯白噪声功率。

1.3 能量模型

无人机在航行期间需要考虑电量限制。无人机能耗用于无人机的悬停与飞行， 与速度有关， 根据文献［14］， 四旋翼无人机的推进能耗为

\begin{array}{c}{E}_{\mathrm{u}\mathrm{a}\mathrm{v}}=P_{\mathrm{1}}\sqrt[]{\sqrt[]{\mathrm{1}+\frac{v_t^{\mathrm{4}}}{\mathrm{4}{v}_{\mathrm{0}}^{\mathrm{4}}}}-\frac{v_t^{\mathrm{2}}}{\mathrm{2}{v}_{\mathrm{0}}^{\mathrm{2}}}}+\frac{\mathrm{1}}{\mathrm{2}}d\rho s{A}_r{v}_t^{\mathrm{3}}+\\ P_{\mathrm{0}}\left(\mathrm{1}+\frac{\mathrm{3}{v_t}^{\mathrm{2}}}{U_{\mathrm{t}\mathrm{i}\mathrm{p}}^{\mathrm{2}}}\right),\end{array}（5）

式中： P_{\mathrm{0}}和P_{\mathrm{1}}分别为叶型功率和推导功率； v_t为无人机在t时隙的飞行速度； U_{\mathrm{t}\mathrm{i}\mathrm{p}}为无人机的旋翼叶尖速度； v_{\mathrm{0}}为悬停状态下的平均旋翼诱导速度； d为机身阻力比； \rho为空气密度； s为旋翼固体度， A_r为旋翼盘面积。

为了保证无人机保留足够的能量飞到充电站， 需要设置一个电量约束

E_{\mathrm{r}\mathrm{e}\mathrm{m}\mathrm{a}\mathrm{i}\mathrm{n}}\ge \frac{\mathrm{m}\mathrm{i}\mathrm{n}‖p_{c_n}-p_{\mathrm{u}\mathrm{a}\mathrm{v}}‖}{{\nu }_t}{E}_{\mathrm{u}\mathrm{a}\mathrm{v}}\mathrm{。}（6）

式中： p_{{\mathrm{c}}_n}与p_{\mathrm{u}\mathrm{a}\mathrm{v}}为充电站与无人机的坐标。

1.4 过时信息年龄

采用文献［7］中提出的过时信息年龄（AooI）来表征采集信息的新鲜度。AooI定义为从现在到信息在信息源位置第一次更改之间经过的时间。假设y_m(t)表示IoT设备信息内容在时间间隔[t_{\mathrm{1}},t_{\mathrm{2}}]中是否发生变化， x_m(t)为m设备t时刻的信息内容， 则有

y_m(t)=\left\{\begin{array}{ll}\mathrm{1},& \mathrm{i}\mathrm{f}\mathrm{t}\mathrm{h}\mathrm{e}\mathrm{r}\mathrm{e}\mathrm{e}\mathrm{x}\mathrm{i}\mathrm{s}\mathrm{t}\mathrm{s}\widehat{t}\in [t_{\mathrm{1}},t_{\mathrm{2}}],\widehat{t}\in Z^{+},\\ \mathrm{s}\mathrm{u}\mathrm{c}\mathrm{h}\mathrm{t}\mathrm{h}\mathrm{a}\mathrm{t},& x_m(t)\ne x_m(t_{\mathrm{1}}),\\ \mathrm{0},& \mathrm{o}\mathrm{t}\mathrm{h}\mathrm{e}\mathrm{r}\mathrm{w}\mathrm{i}\mathrm{z}\mathrm{e}\mathrm{。}\end{array}\right.（7）

假设U_m(t)为IoT设备处自生成信息以来未发生变化的最大时间， 则有

（8）

因此， U_m(t)+\mathrm{1}为变化后的第一个时隙。定义O_m(t)为t时刻的过时信息年龄

O_m(t)=t-(U_m(t)+\mathrm{1})\mathrm{。}（9）

每当IoT设备收集的数据与无人机收集到的内容一致时， AooI保持0。而当IoT设备收集的数据第一次改变后， AooI会随着时间线性增加。AooI考虑了收集的数据的实际信息内容， 只要当前数据内容没有过时， AooI就不会随时间增加。当无人机采集了IoT设备处的信息后， IoT设备处的AooI变为1， 并在下次改变前保持不变。

假设每个IoT设备处的信息内容变化或者不变化的状态遵循一个二元离散时间马尔科夫链， 如图 2 所示。设l_m(t)\in \{\mathrm{0,1}\}为二元状态变量， 表示IoT设备处的信息内容x_m在t-\mathrm{1}时刻与t时刻相比是否发生变化

l_m(t)=\left\{\begin{array}{l}\mathrm{1}，\mathrm{i}\mathrm{f}{x}_m(t)\ne x_m(t-\mathrm{1});\\ \mathrm{0},\mathrm{o}\mathrm{t}\mathrm{h}\mathrm{e}\mathrm{r}\mathrm{w}\mathrm{i}\mathrm{s}\mathrm{e}\mathrm{。}\end{array}\right.（10）

设p_m和q_m为状态转移概率， 定义为

P(l_m(t+\mathrm{1})=\mathrm{0}|l_m(t)=\mathrm{0})=p_m,（11a）

P(l_m(t+\mathrm{1})=\mathrm{1}|l_m(t)=\mathrm{0})=\mathrm{1}-p_m,（11b）

P(l_m(t+\mathrm{1})=\mathrm{1}|l_m(t)=\mathrm{1})=q_m,（11c）

P(l_m(t+\mathrm{1})=\mathrm{0}|l_m(t)=\mathrm{1})=\mathrm{1}-q_m\mathrm{。}（11d）

即如果IoT设备处信息内容从t-1时刻到t时刻没有变化， 那么从t时刻到t+ 1时刻， 信息内容保持不变的概率为p_m， 信息内容变化的概率为\mathrm{1}-p_m。同样， 如果IoT设备处信息内容从t-1时刻到t时刻发生变化， 从t时刻到t+1时刻信息内容变化的概率为q_m， 信息内容保持不变的概率为\mathrm{1}-q_m。

1.5 优化问题

本文的优化目标是在满足能量约束的情况下， 通过优化无人机的轨迹p(t)， 使整个巡航周期内的AooI长期加权和最小。

\underset{p(t)}{\mathrm{m}\mathrm{i}\mathrm{n}}{\sum }_{t=\mathrm{1}}^T{\sum }_{m=\mathrm{1}}^M{\theta }_m{O}_m^t, s.t.p(\mathrm{0})=(x_{\mathrm{0}},y_{\mathrm{0}},H),（12a）

||v_{\mathrm{t}}||=\mathrm{1}\forall t\in [\mathrm{0},T],（12b）

a_{d_{\mathrm{m}}}(t)\in \left[\mathrm{0,1}\right]，\forall d_m\in D,t\in T,（12c）

a_{c_{\mathrm{n}}}(t)\in \left[\mathrm{0,1}\right]，\forall c_{\mathrm{n}}\in C,t\in T,（12d）

a_{d_{\mathrm{m}}}(t)\cdot a_{c_{\mathrm{n}}}(t)=\mathrm{0},（12e）

a_{d_{\mathrm{m}}}(t)+a_{c_{\mathrm{n}}}(t)\ne \mathrm{0},（12f）

E_{\mathrm{r}\mathrm{e}\mathrm{m}\mathrm{a}\mathrm{i}\mathrm{n}}\ge \frac{\mathrm{m}\mathrm{i}\mathrm{n}||p_{c_n}-p_{uav}||}{v_t}{E}_{uav},（12g）

式中： {\theta }_m为设备的权重系数， 表示设备间的相对重要性； 式（12a）为无人机的初始位置，式（12b）为设置恒定的飞行速度； 式（12c）、 （12d）、 （12e）、 （12f）为无人机的调度策略， 即在同一时间只能访问一个设备或进行充电； 式（12g）为设置的能量约束， 使无人机剩余的能量满足足够的电量在接下来的航程中飞到最近的充电站。

2 问题求解

2.1 马尔可夫决策过程

在本文中， 把无人机采集数据这一过程用一个由元组（S，A，R）组成的马尔科夫决策过程建模， 将无人机看做智能体。描述如下：

1） 状态空间S： 时刻t的状态定义为

S(t)=\{O_m(t),p(t),E_{\mathrm{r}\mathrm{e}\mathrm{m}\mathrm{a}\mathrm{i}\mathrm{n}}(t)\},（13）

式中： O_m(t)=（O_{\mathrm{1}}(t),O_{\mathrm{2}}(t),\cdots ,O_m(t))， 为m个不同的IoT设备处的过时信息年龄AooI； p(t)=(x,y,H)为无人机当前的位置； E_{\mathrm{r}\mathrm{e}\mathrm{m}\mathrm{a}\mathrm{i}\mathrm{n}}(t)\triangleq [\mathrm{0},E_{\mathrm{m}\mathrm{a}\mathrm{x}}]为无人机当前的剩余电量。将所有可能状态的空间用S表示， 为了使状态空间有限， 假设AooI最大可以达到{\Delta }_{\mathrm{m}\mathrm{a}\mathrm{x}}， 其是有限的， 但可以任意大。

2） 动作空间A

设置动作空间是恒定速度并且满足式（12c）， （12d）， （12e）， （12f）的调度策略的无人机轨迹。

3） 奖励函数R

设置的MDP中， 无人机奖励函数为即时奖励函数。将时刻t时的AooI加权和的负值以及当前电量与最大电量的比值作为瞬时奖励， 表示为

R=-{\displaystyle \sum _{m=\mathrm{1}}^M}{\theta }_m{O}_m^t+k\frac{E_{\mathrm{r}\mathrm{e}\mathrm{m}\mathrm{a}\mathrm{i}\mathrm{n}}}{E_{\mathrm{m}\mathrm{a}\mathrm{x}}},（14）

式中： k为电量消耗权重系数。

马尔可夫决策过程的目标是， 通过折扣因子\gamma \in [\mathrm{0,1}]最大化长期累积折现奖励， 得到最优策略{\pi }^{\mathrm{*}}。折扣因子反映的是即时和未来回报的重要性。\gamma =\mathrm{0}表示只考虑下一个奖励， 而\gamma =\mathrm{1}表示所有奖励都同样重要， 无论这些事件发生的距离有多远。因此得到最优策略

{\pi }^{\mathrm{*}}=\underset{\pi }{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}\mathrm{x}}\underset{T\to \mathrm{\infty }}{\mathrm{l}\mathrm{i}\mathrm{m}}E[{\sum }_{t=\mathrm{1}}^T{\gamma }^{t-\mathrm{1}}R(S,A)|S]\mathrm{。}（15）

2.2 算法设计

传统的强化学习算法旨在通过最大化环境提供的奖励来学习策略， 以实现目标任务。然而， 这些现有的强化学习方法大多缺乏探索能力， 并且强化学习是基于奖励机制的， 这就面临两个问题， 其一是稀疏奖励， 在复杂的环境下， 很难做到每一个行动得到即时奖励。其二是在强化学习的环境中， 设置的外部奖励是固定的， 无法扩展。Pathak等^［15］提出好奇心驱动学习这一解决方法， 即建立一个拥有内在奖励函数的智能体。好奇心其实是一种内部奖励， 是智能体在其当前状态下预测其自身行为的后果的误差（也就是在给定当前状态和采取的行动的情况下预测下一个状态）。为了计算这一误差， 文中介绍了内在好奇心模块（ICM）， 分为前向模型模块、 反向模型模块、 编码器模块来训练智能体。

为了使智能体更有效地探索， 采用基于好奇心的DQN算法来最优化过时信息年龄的长期加权和。将好奇心这一思想结合DQN来解决最优化问题， 具体流程如图 3 所示。

算法伪代码如表 1 所示， 算法主体为DQN算法， 在此基础上加入一个好奇心网络， 网络由一个前向模型组成。算法开始时， 清空经验缓冲区， 初始化Q网络参数， 初始化环境状态。算法进入循环， 每个回合开始， 随机选择一个状态s_t输入Q网络， 根据ε-贪心算法选择a_t， 得到下一状态s_{t+\mathrm{1}}和奖励r_e。将这一元组(s_t,a_t,r_e,s_{t+\mathrm{1}})储存到经验缓冲区。

在训练阶段， 从经验缓冲区取出小批次的（s，a）对和s^{\text{'}}分别输入到Q网络、 目标值网络以及好奇心网络中。在Q网络中得到Q(s,a)值， 在目标值网络中得到\mathrm{m}\mathrm{a}{\mathrm{x}}_{a^{\text{'}}}Q(s^{\text{'}},a^{\text{'}})值， 在好奇心网络中， （s， a）输入前向模型， 得到s_{\mathrm{p}\mathrm{r}\mathrm{e}}^{\text{'}}， 即根据前向模型函数和状态动作对得到的下一状态预测值

s_{\mathrm{p}\mathrm{r}\mathrm{e}}^{\text{'}}=f(s,a,\varphi )\mathrm{。}（16）

与经验池中输入的s^{\text{'}}实际下一状态做比， 得到了二者的误差， 即是内部奖励

r_i=\frac{\delta }{\mathrm{2}}||s^{\text{'}}-s_{pre}^{\text{'}}|{|}_{\mathrm{2}}^{\mathrm{2}}\mathrm{。}（17）

\delta >\mathrm{0}为比例系数。根据最小化前向模型损失函数梯度更新参数\varphi，

L\mathrm{o}\mathrm{s}\mathrm{s}(\varphi )=\frac{\mathrm{1}}{\mathrm{2}}||s^{\text{'}}-f(s,a,\varphi )|{|}_{\mathrm{2}}^{\mathrm{2}},（18）

\varphi \leftarrow \varphi -l_{\mathrm{c}\mathrm{u}\mathrm{r}}(Q_{\mathrm{t}\mathrm{a}\mathrm{r}}-f(s,a;\varphi )){\nabla }_{\varphi }f(s,a;\varphi ),（19）

式中： l_{\mathrm{c}\mathrm{u}\mathrm{r}}为好奇心网络的学习率， 参数经过数个步长后更新。内部奖励r_i与外部奖励r_e 相加， 得到总的奖励值， 即r=r_e+r_i。使用Q(s,a)， \mathrm{m}\mathrm{a}{\mathrm{x}}_{a^{\text{'}}}Q(s^{\text{'}},a^{\text{'}})以及总奖励值计算Loss值，

L\mathrm{o}\mathrm{s}\mathrm{s}(\phi )={\rm E}[Q_{\mathrm{t}\mathrm{a}\mathrm{r}}-Q{(s,a;\phi )]}^{\mathrm{2}},（20）

式中： Q_{\mathrm{t}\mathrm{a}\mathrm{r}}为目标Q值。

Q_{tar}=\left\{\begin{array}{l}r,\\ r+\gamma \mathrm{m}\mathrm{a}{\mathrm{x}}_{a^{\text{'}}}\widehat{Q}(s^{\text{'}},a^{\text{'}};\widehat{\phi }),\end{array}\right.（21）

式中： \gamma为折现因子； \widehat{Q}是参数为\widehat{\phi }的目标网络的近似值， 数个步长后更新\widehat{\phi }=\phi。参数\phi根据上述损失函数随机梯度下降进行更新， 由下式得到，

\phi \leftarrow \phi -l_q(Q_{\mathrm{t}\mathrm{a}\mathrm{r}}-Q(s,a;\phi )){\nabla }_{\phi }Q(s,a;\phi ),（22）

式中： l_q为Q网络的学习率。

3 实验结果与分析

提出了基于好奇心驱动DQN算法的无人机最小化过时信息年龄路径规划的结果， 并与DQN算法进行比较。模拟过程基于Python实现算法代码。

考虑一个城市场景， 一架无人机在一片固定区域巡航， 无人机从设定的起点出发， 在飞行过程中收集尽可能新鲜的IoT设备信息， 达到最小过时信息年龄的目标。无人机的飞行区域为［-200 m， 200 m］×［-50 m， 300 m］。无人机的出发点在原点位置， 飞行高度设置为20 m或50 m， 飞行速度固定为10 m/s。为了方便无人机收集IoT设备的信息， 在无人机所在高度规定以各设备为圆心的通信范围， 当无人机在该范围内时即可收集设备数据。无人机的初始电量为\mathrm{2}\times {\mathrm{10}}^{\mathrm{4}} J， 系统带宽为100 kHz， 载波频率为5 GHz。本文中考虑所有物联网设备具有相同的权重因子， 即{\theta }_m=\mathrm{1}/m。参数如表 2 所示。

图 4（a）、 图4（b）和图4（c）分别展示的是无人机高度设置为20 m和50 m以及通信范围半径为10 m和20 m时， 好奇心驱动DQN算法和DQN基准算法的收敛性比较， 其中l_{\mathrm{c}\mathrm{u}\mathrm{r}}=\mathrm{0.001}， l_q=\mathrm{0.001}， \gamma =\mathrm{0.95}。从图中可以看出， 本文使用的好奇心DQN算法在3种不同的场景下都可以实现稳定的收敛效果， 而DQN算法只有在无人机高度较低， 通信范围较大时才能实现效果比较好的收敛， 例如高度在20 m处， 通信范围半径为20 m时， 其性能和好奇心DQN的性能基本相同。图 4（b）显示当高度不变， 通信范围缩小时， DQN算法性能下降。

在训练大约200个回合时， DQN算法收敛慢于好奇心驱动DQN算法， 在收敛后的外部奖励值约是好奇心驱动DQN算法的50%。

从图4（c）可以看出， 在高度上升而通信范围不变时， 好奇心驱动DQN算法和DQN算法都在训练大约300个回合后趋于收敛， 而与DQN算法相比， 本文所提出的好奇心驱动DQN算法更稳定， 没有明显的波动。此外， 在达到收敛后， 好奇心驱动DQN算法奖励值比传统DQN算法高约67%。

图 5 是在高度50 m， 通信范围半径为20 m的环境下， 采用好奇心驱动DQN算法与DQN算法的无人机轨迹图。

从图 5 中可以看出好奇心驱动DQN算法明显优于DQN算法。首先， 在坐标为［50，-30］的IoT设备处， 采用DQN算法的无人机在此处进行了反复兜圈， 而好奇心驱动DQN算法的无人机不多做停留， 迅速前往下一个节点； 其次， 采用DQN算法的无人机忽略了两个IoT设备没有采集， 而好奇心驱动DQN算法全部采集到了信息； 最后， 在充电设备右边， 采用DQN算法的无人机航行了一些无意义的路径， 而好奇心驱动DQN算法全程没有过多的无用路径。

图 6 是无人机采用不同电量消耗权重k时的剩余电量图。图中横轴表示时间步长， 纵轴表示当前剩余电量占初始电量的百分比。可以看出， 当k=0.5时， 最低剩余电量百分比为22%。随着k的增加， 无人机的充电频率也在增加， 剩余电量可以维持在一个更高的水平。当k=1时， 最低无人机剩余电量最低百分比为27%。当k=1.5时， 最低无人机剩余电量最低百分比为30%。但频繁充电可能会造成收集到的IoT设备信息不够新鲜。

图 7 展示的是在一个周期内过时信息年龄加权和随时间步长的变化图， 在时间步长40以前， 无人机处于探索阶段， 过时信息年龄持续增长。

在时间步长40以后， 无人机开始训练， 并在时间步长60以后开始收敛。当k=0.5时， 无人机收集到的信息相对最新鲜， 在周期结束时过时信息年龄加权和值为-1， 当k=1时， 加权和值为-1.8， 而当k=1.5时， 加权和值为-2.3。随着k值的上升， 信息新鲜度逐渐降低。因此， 可以根据需求设置k值， 达到无人机充电频率与信息新鲜度的平衡。

4 结　语

本文使用过时信息年龄表征信息新鲜度， 通过对过时信息年龄加权和与无人机电量消耗联合优化， 实现最小化过时信息年龄目标的无人机路径规划。针对传统DQN算法探索性不足的缺点， 采用好奇心驱动的DQN算法来处理该优化问题， 通过设置内部奖励鼓励无人机进行探索。相比传统DQN算法， 在改变通信范围半径时， 好奇心驱动的DQN算法收敛速度加快约1.5倍， 所得奖励值即过时信息年龄高约20%； 在改变无人机高度时， 好奇心驱动的DQN算法收敛速度加快约45%， 所得奖励值即过时信息年龄高约67%。这些优点表明了该算法相比DQN算法的优势， 并且可以使收集到的信息更新鲜。下一步研究将考虑在该系统中部署多架无人机来完成过时信息年龄最小化的目标。

参考文献

[1] COMPARE M， BARALDI P， ZIO E. Challenges to IoT-enabled predictive maintenance for industry 4.0［J］. IEEE Internet of Things Journal， 2020， 7（5）： 4585-4597.

[2] QI X Y， MEI G， PICCIALLI F. Resilience evaluation of urban bus-subway traffic networks for potential applications in IoT-based smart transportation［J］. IEEE Sensors Journal， 2021， 21（22）： 25061-25074.

[3] AHANI G， YUAN D， ZHAO Y X. Age-optimal uav scheduling for data collection with battery recharging［J］. IEEE Communications Letters， 2021， 25（4）： 1254-1258.

[4] HU L M， CHEN Z C， JIA Y J， et al. Asymptotically Optimal arrival rate for IoT networks with AoI and peak AoI constraints［J］. IEEE Communications Letters， 2021， 25（12）： 3853-3857.

[5] WU T H， LIU J F， LIU J， et al. A novel AI-based framework for AoI-Optimal trajectory planning in UAV-assisted wireless sensor networks［J］. IEEE Transactions on Wireless Communications， 2022， 21（4）： 2462-2475.

[6] HU H M， XIONG K， QU G， et al. AoI-minimal trajectory planning and data collection in UAV-assisted wireless powered IoT networks［J］. IEEE Internet of Things Journal， 2021， 8（2）： 1211-1223.

[7] LIU Q Y， LI C Z， HOU Y， et al. AooI： Minimizing age of outdated information to improve freshness in data collection［C］//IEEE INFOCOM 2022-IEEE Conference on Computer Communications， IEEE， 2022： 1359-1368.

[8] ZHU B T， BEDEER E， NGUYEN H， et al. UAV trajectory planning for AoI-minimal data collection in UAV-Aided IoT networks by transformer［J］. IEEE Transactions on Wireless Communications， 2023， 22（2）： 1343-1358.

[9] LIU K， ZHENG J. UAV trajectory optimization for time-constrained data collection in UAV-enabled environmental monitoring systems［J］. IEEE Internet of Things Journal， 2022， 9（23）： 24300-24314.

[10] LIU J， TONG P， WANG X J， et al. UAV-aided data collection for information freshness in wireless sensor networks［J］. IEEE Transactions on Wireless Communications， 2021， 20（4）： 2368-2382.

[11] WU M J， CHI H J， GAN S Y， et al. AoI optimal UAV Trajectory Planning： A Deep Recurrent Reinforcement Learning Approach［C］//2021 IEEE 32nd Annual International Symposium on Personal， Indoor and Mobile Radio Communications （PIMRC）， IEEE， 2021：1-6.

[12] LI Z M， TONG P， LIU J， et al. Learning-Based data gathering for information freshness in UAV-assisted IoT networks［J］. IEEE Internet of Things Journal， 2023， 10（3）： 2557-2573.

[13] 牟治宇， 张煜， 范典， 等. 基于深度强化学习的无人机数据采集和路径规划研究［J］. 物联网学报， 2020， 4（3）： 42-51.

[14] MOU Zhiyu， ZHANG Yu， FAN Dian， et al. Research on the UAV-aided data collection and trajectory design based on the deep reinforcement learning［J］. Chinese Journal on Internet of Things， 2020， 4（3）： 42-51. （in Chinese）

[15] SUN M Y， XU X D， QIN X Q， et al. AoI-energy-aware UAV-assisted data collection for IoT networks： A deep reinforcement learning method［J］. IEEE Internet of Things Journal， 2021， 8（24）： 17275-17289.

[16] PATHAK D， AGRAWAL P， EFROS A A， et al. Curiosity-driven exploration by self-supervised prediction［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）， IEEE， 2017： 488-489.