基于注意力增强DDPG的短波协同测向与定位方法

A Cooperative Direction-Finding and Localization Method for Shortwave Based on Attention-Enhanced DDPG

摘要

复杂场景下的短波定位在战场通信中发挥着至关重要的作用，而现有基于深度学习的短波智能测向方法主要依赖人工标注且优质短波信号样本较少。针对上述问题，在短波信号空时高分辨时频图基础上，提出了一种基于注意力增强深度确定性策略梯度（DDPG）算法的短波协同测向与定位方法。该方法首先设计了基于空时高分辨时频图的强化学习环境和具有混合动作空间的智能体，再依据估计定位结果设计奖励函数，以此建立可观测马尔可夫决策过程。其次，利用注意力机制增强深度强化学习的多层次非精细化评估，实现自动测向定位，可以减少人工标注，实现边工作边学习的自主进化，逐步提升短波信号的智能测向定位能力。实验结果表明，所提算法在保证定位精度与参数估计算法性能相当的情况下，使得测向定位时间缩短了77.7%。

Abstract

Shortwave localization in complex scenarios plays a crucial role in battlefield communications. Existing deep-learning-based intelligent shortwave direction-finding methods mainly rely on manual annotation, and there is a scarcity of high-quality shortwave signal samples. To address the aforementioned challenges, a shortwave autonomous direction-finding and localization method is proposed, based on a space-time high-resolution time-frequency representation of shortwave signals and an attention-enhanced deep deterministic policy gradient (DDPG) algorithm. A reinforcement learning environment is first designed based on space‑time high‑resolution time‑frequency representation, along with an agent possessing a hybrid action space. Then, a reward function is designed based on the estimated localization results, thereby establishing an observable Markov decision process. Subsequently, by enhancing deep reinforcement learning with an attention mechanism for multi‑level non‑fine evaluation, automatic direction finding and positioning are achieved. This design reduces the need for manual labeling and enables autonomous evolution through simultaneous work and learning, gradually improving the intelligent direction‑finding and localization capabilities for shortwave signals. Experimental results show that, comparable localization accuracy and parameter estimation performance are maintained, while the direction‑finding and localization time is improved by approximately 77.7%.

Graphical abstract

关键词

测向定位 / 马尔可夫决策过程 / 空时高分辨 / 混合动作空间 / 深度确定性策略梯度算法

Key words

direction finding / Markov decision process / space-time high-resolution / hybrid action space / deep deterministic policy gradient algorithm

短波通信是远距离通信的主要方式，具有安装简单、通信距离远等优点，是军事上重要的通信方式^[1-2]。对短波信号进行测向定位，在态势分析方面具有重大意义。常用的短波信号测向方法通过多重信号分类（Multiple Signal Classification, MUSIC）算法获得仰角和方位角二维角度信息^[3]。目前，短波定位中最常用的方法是多站测角交会定位。该方法首先需要在每个观测站部署阵列天线，利用波达方向（Direction of Arrival, DOA）估算入射信号的方位角与仰角；进而，基于DOA参数确定目标位置^[4-5]。但传统的测向定位工作往往分为两步进行，即先对短波信号测向后定位，而且基于参数估计的定位方法计算量较大，因此难以实时测向与定位^[6-7]。

随着人工智能技术的快速发展，很多研究者对使用深度学习解决短波测向定位问题进行了深入研究，实现了复杂背景下短波信号的自动测向与定位^[8-9]。基于深度学习的信号目标检测与识别算法通过判断一些候选区域来达到检测和识别目标的目的^[10]。现有基于深度学习的自动测向方法基于实时空间谱测向结果聚类后形成若干个方向的数字波束合成数据，再利用深度学习对若干个方向的波束合成数据择优选取最优方向^[11]，但深度学习需要大量信号样本和人工标注，且深度网络不能离线训练，自主智能程度不够。

强化学习作为人工智能领域另一个研究热点，已经应用于无人机、物联网等领域^[12-13]。其核心思想是智能体与环境交互获得的长期奖励最大化，持续学习达成目标的最优策略^[14]。因此，强化学习方法更侧重于问题解决策略的学习^[15]，在智能博弈、资源调度和路径规划中有很大应用潜力^[16]。

深度强化学习（Deep Reinforcement Learning, DRL）是深度学习与强化学习相结合的方法，以端到端方式训练智能体与环境交互^[17]。Mnih等^[18]提出的深度Q网络（Deep Q Network, DQN）有效解决了状态空间爆炸问题，但存在估值过高的缺陷。为此，文献[19]开发了双重DQN（Double DQN, DDQN）予以改进。基于行动者—评论家（Actor-Critic, AC）算法框架，Lillicrap等^[20]针对连续动作空间问题提出深度确定性策略梯度（Deep Deterministic Policy Gradient, DDPG）算法，该算法通过引入目标网络和软更新方法，在价值网络与策略网络的深度模型构建中发挥了关键作用。Bellver等^[21]提出了基于强化学习的目标检测方法，证实了强化学习算法在目标检测与定位中的巨大潜力。Wang等^[22]利用DRL解决移动站点的调度和能量平衡的问题，适用于大规模站点对目标定位的场景。可见，深度强化学习在目标检测与定位等领域具有广阔的应用前景。

由上述研究可以看出，当前短波信号的协同测向定位研究较少，深度学习方法存在样本依赖强、在线自主学习能力不足的短板，经典强化学习算法的网络结构则缺乏动态筛选和聚焦的能力。注意力机制在处理任务时，可以根据重要性为其他元素分配不同的权重。因此，本文考虑将注意力机制融入强化学习，进一步提升协同定位的智能化水平。基于此，本文提出了基于注意力增强DDPG的短波协同测向定位（Direction-Finding and Localization Based on DDPG, DL-DDPG）方法。首先，引入对阵列数据进行空时高分辨处理的方法^[11]，得到空时高分辨时频图，以此为基础设计了具有混合动作空间的强化学习测向环境；其次，设计可变矩形滤波窗为智能体，对所选信号利用MUSIC算法测得方位角和仰角进行DOA估计，根据定位结果的准确度设计奖励函数评价定位精度；最后，利用DL-DDPG训练智能测向定位环境，实现自动测向定位，可以减少人工标注，实现边工作边学习的自主进化，逐步提升短波信号的智能测向定位能力。

1 系统模型与问题描述

1.1 短波信号空时高分辨处理

短波信号测向模型如图1所示。

假设任意几何位置排列的M个阵元的阵列天线同步接收信号，且同时有D个具有相同中心频率{\omega }_{\mathrm{0}}、波长为\lambda的空间窄带平面波（M>D）分别以来向角{\Theta }_{\mathrm{1}}\mathrm{、}{\Theta }_{\mathrm{2}}\mathrm{、}\cdots \mathrm{、}{\Theta }_D入射该天线阵列。其中：{\Theta }_i=({\theta }_i,{\phi }_i),i=\mathrm{1},\mathrm{2},\cdots ,D；{\theta }_i和{\phi }_i分别是第i个入射信号的方位角和仰角，并且满足\mathrm{0}°\le {\theta }_i\le \mathrm{360}°,\mathrm{0}°\le {\phi }_i\le \mathrm{90}°。根据MUSIC算法计算得到的空间谱采用预设的谱峰搜索信号来向{\Theta }_{\mathrm{1}}\mathrm{、}{\Theta }_{\mathrm{2}}\mathrm{、}\cdots \mathrm{、}{\Theta }_D。

为得到空时高分辨时频图，将入射信号时域阵列数据分为L段，对每段时域数据作傅里叶变换，得到入射信号的以时间为横坐标、以频率为纵坐标、以颜色为功率大小的时频谱图和以时间为横坐标、以方位角为纵坐标、以颜色为功率大小的时频向图。

首先，对每个时间片的数据依据频域模型进行高分辨测向处理，记录下每个时频点对应的多个测向结果，从而得到每个时间片的空间谱测向结果。随后，测向设备基于多个时间片的空间谱测向结果，对入射信号进行聚类分析，得到若干个角度聚类点。将这些聚类点作为基准角度，将每个时频点的测向结果与各基准角度进行比较，最终将判定存在有效测向结果的时频点，其对应的时频图输出为测向时频图。

1.2 短波信号DOA定位模型

在空间直角坐标系下,可利用N个观测站对单个静止目标进行定位。假设目标位置为{\mathit{u}}^o=[u_x^o,u_y^o,u_z^o{]}^{\mathrm{{\rm T}}}，第n个测向站的位置为{\mathit{u}}_n=[u_{x,n},u_{y,n},

u_{z,n}{]}^{\mathrm{{\rm T}}},\mathrm{1}\le n\le N，则观测站与目标之间的方位角和仰角分别为：

{\theta }_n^{}=\mathrm{a}\mathrm{r}\mathrm{c}\mathrm{t}\mathrm{a}\mathrm{n}\left(\frac{u_y^o-u_{y,n}^o}{u_x^{\mathrm{o}}-u_{x,n}^o}\right)（1）

{\phi }_n^{}=\mathrm{a}\mathrm{r}\mathrm{c}\mathrm{t}\mathrm{a}\mathrm{n}\left(\frac{u_z^o-u_{z,n}^o}{\sqrt[]{{\left(u_x^o-u_{x,n}^o\right)}^{\mathrm{2}}+{\left(u_y^o-u_{y,n}^o\right)}^{\mathrm{2}}}}\right)（2）

式中：{\theta }_n^o表示方位角；{\phi }_n^o表示仰角。

在多站交会定位中，各观测站可获取目标的方位角与仰角信息。据此，可推导出如下矩阵形式的等式：

\mathit{G}=\mathit{H}{\mathit{u}}^o（3）

\mathit{H}=\left[\begin{array}{ccc}\mathrm{c}\mathrm{o}\mathrm{s}({\theta }_{\mathrm{1}})& -\mathrm{s}\mathrm{i}\mathrm{n}({\theta }_{\mathrm{1}})& \mathrm{0}\\ \mathrm{s}\mathrm{i}\mathrm{n}({\theta }_{\mathrm{1}})\mathrm{s}\mathrm{i}\mathrm{n}({\phi }_{\mathrm{1}})& \mathrm{c}\mathrm{o}\mathrm{s}({\theta }_{\mathrm{1}})\mathrm{s}\mathrm{i}\mathrm{n}({\phi }_{\mathrm{1}})& -\mathrm{c}\mathrm{o}\mathrm{s}({\phi }_{\mathrm{1}})\\ ⋮& ⋮& ⋮\\ \mathrm{c}\mathrm{o}\mathrm{s}({\theta }_N)& -\mathrm{s}\mathrm{i}\mathrm{n}({\theta }_N)& \mathrm{0}\\ \mathrm{s}\mathrm{i}\mathrm{n}({\theta }_N)\mathrm{s}\mathrm{i}\mathrm{n}({\phi }_N)& \mathrm{c}\mathrm{o}\mathrm{s}({\theta }_N)\mathrm{s}\mathrm{i}\mathrm{n}({\phi }_N)& -\mathrm{c}\mathrm{o}\mathrm{s}({\phi }_N)\end{array}\right]（4）

\mathit{G}={\left[\begin{array}{c}{u}_{x,\mathrm{1}}^{}\mathrm{c}\mathrm{o}\mathrm{s}({\theta }_{\mathrm{1}})-u_{y,\mathrm{1}}^{}\mathrm{s}\mathrm{i}\mathrm{n}({\theta }_{\mathrm{1}}),\\ \begin{array}{l}{u}_{x,\mathrm{1}}\mathrm{s}\mathrm{i}\mathrm{n}({\theta }_{\mathrm{1}})\mathrm{s}\mathrm{i}\mathrm{n}({\phi }_{\mathrm{1}})+\\ u_{y,\mathrm{1}}^{}\mathrm{c}\mathrm{o}\mathrm{s}({\theta }_{\mathrm{1}})\mathrm{s}\mathrm{i}\mathrm{n}({\phi }_{\mathrm{1}})-u_{z,\mathrm{1}}^{}\mathrm{c}\mathrm{o}\mathrm{s}({\phi }_{\mathrm{1}}),\end{array}\\ \dots ,\\ u_{x,N}^{}\mathrm{c}\mathrm{o}\mathrm{s}({\theta }_N)-u_{y,N}^{}\mathrm{s}\mathrm{i}\mathrm{n}({\theta }_N),\\ \begin{array}{l}{u}_{x,N}^{}\mathrm{s}\mathrm{i}\mathrm{n}({\theta }_N)\mathrm{s}\mathrm{i}\mathrm{n}({\phi }_N)+\\ u_{y,N}^{}\mathrm{c}\mathrm{o}\mathrm{s}({\theta }_N)\mathrm{s}\mathrm{i}\mathrm{n}({\phi }_N)-u_{z,N}^{}\mathrm{c}\mathrm{o}\mathrm{s}({\phi }_N)\end{array}\end{array}\right]}^{\mathrm{T}}（5）

当存在误差时，式（3）转换为

\mathit{\sigma }=\mathit{G}-\mathit{H}{\mathit{u}}^o（6）

针对上述模型，基于最小二乘准则（Least Squares）得到目标估计结果：

{\mathit{u}}_{\mathrm{l}\mathrm{s}}^o=({\mathit{H}}_{}^{\mathrm{T}}{\mathit{\Omega }}_{}^{-\mathrm{1}}{\mathit{H}}_{}{)}^{-\mathrm{1}}{\mathit{H}}_{}^{\mathrm{T}}{\mathit{\Omega }}_{}^{-\mathrm{1}}\mathit{G}（7）

式中，观测误差\mathit{\sigma }协方差矩阵\mathit{\Omega }=\mathrm{E}[\mathit{\sigma }{\mathit{\sigma }}^{\mathrm{T}}]。

2 短波协同测向定位方案设计

2.1 强化学习环境建模

为实现短波无线电协同测向定位，利用深度强化学习机制将其建模为可观测马尔可夫决策过程，以减少人工标注，实现边工作边学习的自主进化。表1为基于强化学习的智能测向定位基本要素。

图2展示了短波智能测向定位的总体研究方案。蓝色部分表示对阵列数据进行空时高分辨处理得到空时高分辨时频图，以此设计深度强化学习测向环境；黄色部分表示深度强化学习自主测向定位环节，智能体框选时频图得到测向结果，深度强化学习算法根据当前状态预测智能体动作。然后根据测向结果进行多站定位计算奖励，指导DRL算法预测动作。在基于空时高分辨时频图的测向定位环境中，多个测向站点同步接收信号。

图3展示了协同测向定位的马尔可夫决策过程。强化学习的数学基础是马尔可夫决策过程，它本质上是一个序贯决策过程。其核心目标是寻找一个最优策略，以使智能体在与环境交互中获得最大的累积奖励，即实现价值最大化。

2.2 状态空间

在所提协同测向定位环境中，观测空间S为短波信号时频图。对输入信号采样作快速傅立叶变换（FFT），得到信号时频图。为便于深度强化学习神经网络处理图像，将信号时频图转换为（400, 300, 3）的时频图RGB图像，以便训练感知矩形框智能体和目标信号的相对状态。

2.3 动作空间

动作a是指智能体根据当前状态为达到目标做出的决策。为设计可变矩形框，使得智能体能够快速准确选择信号并测向定位，本文考虑设计离散动作和连续动作相结合的混合动作。对于矩形框智能体，设计离散动作为{“上”，“下”，“左”，“右”}，连续动作空间为矩形框的长w和宽h，取值范围分别为(\mathrm{0},w_{\mathrm{m}\mathrm{a}\mathrm{x}}]和(\mathrm{0},h_{\mathrm{m}\mathrm{a}\mathrm{x}}]，如表2所示。

2.4 奖励函数设计

在模拟空间谱测向过程中，测向的准确度与所选区域的信噪比成反比。即信噪比越小，测向的精度越高；信噪比越大，测向的精度越低。当智能体选中信号时，智能体与信号的重叠面积Y_{\mathrm{o}\mathrm{v}\mathrm{e}\mathrm{r}}与智能体矩形框的面积Y_{\mathrm{a}\mathrm{g}\mathrm{e}\mathrm{n}\mathrm{t}}的比值记为测向误差标准差\sigma，即：

\sigma =\frac{Y_{\mathrm{o}\mathrm{v}\mathrm{e}\mathrm{r}}}{Y_{\mathrm{a}\mathrm{g}\mathrm{e}\mathrm{n}\mathrm{t}}}\in \left[\mathrm{0,1}\right]（8）

因此，在已知测向站经纬度坐标的情况下，需要单个或多个目标的真实位置经纬度，以便计算目标相对于各个测向站的真实方位角{\theta }_{\mathrm{r}}和真实仰角{\phi }_{\mathrm{r}}，得到真实角度矩阵{\mathit{\alpha }}_{\mathrm{r}}=\left[{\theta }_{\mathrm{r}},{\phi }_{\mathrm{r}}\right]，可以模拟实际的测向工作。各个测向站相对目标的测向角度\mathit{\alpha }=\left[\theta ,\phi \right]为各个测向站相对目标的真实角度加上测向误差。方位角观测误差{\mathit{\sigma }}_{\theta }和仰角观测误差{\mathit{\sigma }}_{\phi }均为（N\times \mathrm{1}）维的列向量，服从均值为0、标准差为\mathit{\sigma }的高斯分布，即：

\mathit{\alpha }={\mathit{\alpha }}_{\mathrm{r}}+\mathit{\sigma }（9）

式中，\mathit{\sigma }表示观测误差，为（\mathrm{2}N\times \mathrm{1}）维的列向量，并且协方差矩阵为\mathit{\Omega }=\mathrm{E}[\mathit{\sigma }{\mathit{\sigma }}^{\mathrm{T}}]。

在目标解算阶段，为进一步提高定位精度。利用加权最小二乘准则（Weighted Least Squares），求解目标得：

{\mathit{u}}^o=({\mathit{H}}_{}^{\mathrm{T}}{\mathit{W}}_{}^{-\mathrm{1}}{\mathit{H})}^{-\mathrm{1}}{\mathit{H}}_{}^{\mathrm{T}}{\mathit{W}}_{}^{-\mathrm{1}}\mathit{G}（10）

式中，\mathit{W}={\mathit{A}}_{\mathrm{w}}^{\mathrm{{\rm T}}}\mathit{\Omega }{\mathit{A}}_{\mathrm{w}}表示加权（Weighted）矩阵，计算方式为

{\mathit{A}}_{\mathrm{w}}={\mathit{C}}_{\mathrm{w}}-[B_{\mathrm{w},\mathrm{11}}{\mathit{u}}_{\mathrm{w}\mathrm{l}\mathrm{s}}^o,B_{\mathrm{w},\mathrm{12}}{\mathit{u}}_{\mathrm{w}\mathrm{l}\mathrm{s}}^o,\dots ,B_{\mathrm{w},M\mathrm{1}}{\mathit{u}}_{\mathrm{w}\mathrm{l}\mathrm{s}}^o,B_{\mathrm{w},N\mathrm{2}}{\mathit{u}}_{\mathrm{w}\mathrm{l}\mathrm{s}}^o]（11）

式中：B_{\mathrm{w},i\mathrm{1}}=\partial {\mathit{G}}_{\mathrm{w}}/\partial {\theta }_i;B_{\mathrm{w},i\mathrm{2}}=\partial {\mathit{G}}_{\mathrm{w}}/\partial {\phi }_i;{\mathit{C}}_{\mathrm{w}}=\partial {\mathit{h}}_{\mathrm{w}}/\partial {\mathit{\alpha }}^{\mathrm{T}}。

为评估定位精度，考虑将第i次目标估计值作为第（i+1）次估计的初始值，即设计基于误差相对值的归一化的奖励函数，有：

R=\mathrm{100}\times \left(\mathrm{1}-\frac{E}{E_{\mathrm{m}\mathrm{a}\mathrm{x}}}\right)（12）

E=\sqrt[]{{‖u_i^o-u_{i+\mathrm{1}}^o‖}_{\mathrm{2}}^{\mathrm{2}}}（13）

式中：设置奖励函数取值范围为[0, 100]；E为第i次目标估计值作为第（i+1）次估计的初始值的误差；E_{\mathrm{m}\mathrm{a}\mathrm{x}}为最大允许估计误差，根据定位精度要求，在定位误差大于100 km时定位失效，因此设置E_{\mathrm{m}\mathrm{a}\mathrm{x}}={\mathrm{10}}^{\mathrm{4}}。随着定位误差的增大，奖励函数值不断减小，为保证定位精度，将终止状态设置为

F_{\mathrm{d}\mathrm{o}\mathrm{n}\mathrm{e}}=\left\{\begin{array}{c}\mathrm{1},R\ge \lambda ;\\ \mathrm{0},\mathrm{其他}.\end{array}\right.（14）

因此，当智能体在空时高分辨时频图环境中一直向目标信号的位置移动时，定位精度越来越高，奖励回报不断增加。

3 深度强化学习算法设计

3.1 状态空间处理

由于观测状态为400\times300的图像，若直接输入网络进行训练，参数规模过大，会导致神经网络训练速度慢且效果不佳。因此，首先将维度为（400, 300, 3）的RGB图像的观测状态进行灰度化处理；然后调整图像形状为（10, 10）；再将二维向量展平为一维向量，与智能体的坐标（x,y）、长w和宽h拼接为一维观测向量，如表3所示。

3.2 DL-DDPG算法原理

所提DL-DDPG算法是基于注意力增强DDPG的深度强化学习改进算法。在深度强化学习中，智能体通过与环境的持续交互，记录其观察到的状态 s 、所执行的动作 a 以及获得的即时奖励，并利用这些积累的经验数据来学习策略函数\pi (\left.\mathit{a}\right|\mathit{s})。在DL-DDPG算法中，既要考虑价值函数，也要考虑策略近似，学习近似策略的网络被称为策略网络（Actor），学习近似价值函数的网络被称为价值网络（Critic）。

DL-DDPG的策略网络不同于Actor-Critic的方法的策略网络，Actor-Critic的方法的策略网络{\pi }_{\phi }\left.(\mathit{a}\right|\mathit{s})是一个概率密度函数，输出的是概率值，而DL-DDPG的确定性策略网络{\mu }_{\phi }(\mathit{s})的输出是d维的动作。因此确定性策略梯度定理推导为

{\nabla }_{\mathit{\phi }}J(\phi )={\mathbb{E}}_{\mathit{s}\sim d^{\mu }}\left[{\nabla }_{\mathit{\phi }}{\mu }_{\mathit{\phi }}(\mathit{s}){\nabla }_{\mathit{a}}{Q}_{\mathit{\theta }}^{{\mu }_{\mathit{\phi }}}(\mathit{s},\mathit{a}){|}_{\mathit{a}={\mu }_{\mathit{\phi }}(\mathit{s})}\right]（15）

然而，直接使用式（15）会导致策略梯度的方差过高，原因在于它直接依赖于奖励。为解决这一问题，考虑在DL-DDPG算法的梯度中添加长期回报：

{\nabla }_{\mathit{\phi }}J(\phi )={\mathbb{E}}_{\mathit{s}\sim d^{\mu }}\left[{\nabla }_{\mathit{\phi }}{\mu }_{\mathit{\phi }}(\mathit{s}){\nabla }_{\mathit{a}}{Q}_{\mathit{\theta }}^{{\mu }_{\mathit{\phi }}}(\mathit{s},\mathit{a}){|}_{\mathit{a}={\mu }_{\mathit{\phi }}(\mathit{s})}-\eta l_{\mathit{\phi }}(\mathit{s})\right]（16）

l_{\mathit{\phi }}(\mathit{s})={\mathbb{E}}_{\mathit{s}\sim d^{\mu }}\left[Q_{\pi }({\mathit{s}}_t,{\mathit{a}}_t)\right]= \sum _{\mathit{a}\in A}{\pi }_{\mathit{\phi }}(\left.\mathit{a}\right|{\mathit{s}}_t) \cdot Q_{\pi }({\mathit{s}}_t,\mathit{a})（17）

式中，\eta为缩放因子。公式（17）中的l_{\phi }(s)可以使智能体能够通过策略网络更积极地探索动作空间。

对于价值网络而言,其所代表的状态—动作值函数用以评估策略网络在状态\mathit{s}下所做出动作\mathit{a}的价值,通过环境反馈的立即回报建立时序差分误差更新神经网络参数\theta：

J_Q(\mathit{\theta })={\mathbb{E}}_{(\mathit{s},\mathit{a},r,{\mathit{s}}^{\text{'}})\sim D}\left[{}_{{\left(r(\mathit{s},\mathit{a})+\gamma E_{{\mathit{s}}^{\text{'}}\sim {\rho }_{\pi }(\mathit{s})}\left.\left[Q_{{\mathit{\theta }}^{-}}({\mathit{s}}^{\text{'}},{\mathit{a}}^{\text{'}})\right]\right)\right)}^{\mathrm{2}}}^{\frac{\mathrm{1}}{\mathrm{2}}\left(Q_{\mathit{\theta }}(\mathit{s},\mathit{a})-\right.}\right]（18）

式中，Q_{{\mathit{\theta }}^{-}}({\mathit{s}}^{\text{'}},{\mathit{a}}^{\text{'}})为目标网络。全连接（Fully Connected，FC）网络用于计算查询（Query，Q）、键（Key，K）和值（Value，V），并将它们分别组织成矩阵\mathit{Q}、\mathit{K}和\mathit{V}。假设编码维度为d，输入源数量为n。在多头注意力机制中，不同的注意力头可以捕捉不同的特征。为了计算最终的 Q 值，各个头投影后的特征结果会被拼接起来，并输入到一个线性层中，该线性层的表达式为

{\mathit{V}}_{\pi }\left({\mathit{s}}_t\right)=\mathrm{S}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}\left(\frac{\mathit{Q}{\mathit{K}}^{\mathrm{T}}}{\sqrt[]{d_k}}\right)\mathit{V}{\mathit{W}}^{\mathrm{O}}（19）

式中，{\mathit{W}}^{\mathrm{O}}表示输出层的权重矩阵。针对目标网络DL-DDPG算法采用软更新的方式更新网络参数，即每一个时间步都更新{\theta }^{-}\leftarrow \tau \theta +(\mathrm{1}-\tau ){\theta }^{-}和{\phi }^{-}\leftarrow \tau \phi +(\mathrm{1}-\tau ){\phi }^{-}，并且，因此也能够稳定地利用时序差分误差对策略参数进行更新。

3.3 DL-DDPG算法结构

如图4所示，DL-DDPG算法策略网络输入层为104维的观测向量，价值网络的输入为104维观测状态以及策略网络输出的2维矩形框的长和宽向量，因此总输入为106维的观测向量。策略网络输出连续动作空间2维向量 a。Critic网络输出离散动作每个维度的 Q 值，算法网络的参数如表4所示。

3.4 DL-DDPG算法步骤

DL-DDPG算法训练时，首先将观测状态传入策略网络，用于确定连续动作空间的参数，输出是连续参数的值。然后将观测状态和连续参数拼接后输入价值网络得到 Q 值，通过最大化 Q 值来选择离散行动类型。最后将离散动作与连续动作拼接为3维动作向量 a。DL-DDPG算法执行算法1的步骤更新价值网络和策略网络。

算法1 基于DDPG算法的短波信号协同测向与定位算法

输入：接收信号的空时高分辨时频图

输出：目标信号的位置{\mathit{u}}^o

初始化经验回放池D,价值网络记为q(\mathit{s},\mathit{a};\mathit{\omega })，DDPG算法的确定性策略为\mathit{\mu }(\mathit{s};\mathit{\theta })，神经网络的当前参数记作{\mathit{\omega }}_{\mathrm{n}\mathrm{o}\mathrm{w}}和{\mathit{\theta }}_{\mathrm{n}\mathrm{o}\mathrm{w}}

for episode =1:K do

矩形框和信号随机初始位置，获得当前状态{\mathit{s}}_t，

for step =1:K do

矩形框根据当前状态{\mathit{s}}_t，依据策略网络执行动作{\mathit{a}}_t

依据选中时频图测向获得测向误差，计算奖励r_t，并获得新状态{\mathit{s}}_{t+\mathrm{1}}。

策略网络做预测{\widehat{\mathit{a}}}_{t+\mathrm{1}}=\mu ({\mathit{s}}_{t+\mathrm{1}};{\mathit{\theta }}_{\mathrm{n}\mathrm{o}\mathrm{w}})

价值网络做预测{\widehat{q}}_{t+\mathrm{1}}=q({\mathit{s}}_{t+\mathrm{1}},{\widehat{\mathit{a}}}_{t+\mathrm{1}};{\mathit{\omega }}_{\mathrm{n}\mathrm{o}\mathrm{w}})

根据预测结果计算误差{\widehat{y}}_t=r_t+\gamma \cdot {\widehat{q}}_{t+\mathrm{1}}，{\delta }_t={\widehat{q}}_t-{\widehat{y}}_t

更新价值网络

{\mathit{\omega }}_{\mathrm{n}\mathrm{e}\mathrm{w}}\leftarrow {\mathit{\omega }}_{\mathrm{n}\mathrm{o}\mathrm{w}}-\alpha \cdot {\delta }_t\cdot {\nabla }_{\mathit{\omega }}q({\mathit{s}}_t,{\mathit{a}}_t;{\mathit{\omega }}_{\mathrm{n}\mathrm{o}\mathrm{w}})

更新策略网络

{\mathit{\theta }}_{\mathrm{n}\mathrm{e}\mathrm{w}}\leftarrow {\mathit{\theta }}_{\mathrm{n}\mathrm{e}\mathrm{w}}+\beta \cdot {\widehat{q}}_t\cdot {\nabla }_{\mathit{\theta }}\mu ({\mathit{s}}_t;{\mathit{\theta }}_{\mathrm{n}\mathrm{o}\mathrm{w}})\cdot {\nabla }_{\alpha }q({\mathit{s}}_t,{\widehat{\mathit{a}}}_t;{\mathit{w}}_{\mathrm{n}\mathrm{o}\mathrm{w}})

end for

end for

4 仿真实验与性能分析

4.1 实验仿真条件

本文考虑设计6个测向站和一个目标，测向站经纬度如表5所示。分别将算法训练2 000回合，每一回合随机初始智能体和信号位置，不同信号位置代表不同的目标源，设置每一回合最大步长为50。

在短波协同测向定位环境中，分别采用AC、DQN、Double-DQN、DL-DDPG算法训练强化学习环境，其中AC、DQN、Double-DQN算法为对比算法。DL-DDPG算法的参数设置如表6所示。

4.2 算法训练结果分析

图5和图6分别展示了AC、DQN、DDQN、DL-DDPG算法训练的平均奖励和平均步长的变化曲线，其中：横坐标表示训练回合数；纵坐标分别表示每20回合的平均奖励或平均步长；阴影部分表示平均奖励和平均步长的标准差。

由图5和图6可以看出，采用混合动作的DL-DDPG算法相比于AC、DQN、DDQN算法，收敛速度快，并且平均回报高于AC、DQN、DDQN算法，但训练过程存在波动。所提的DL-DDPG算法的平均步长可收敛至10步以内，相比于AC、DQN、DDQN算法收敛速度快，即以较短的路径达到较优的目标。

4.3 关于定位时间的结果分析

将DL-DDPG算法训练模型保存后测试，随机测试500次，记录每次测试的步长，并计算每个目标的测向定位时间。

图7表示本文算法与传统两步测向定位算法^[2]的平均运行时间对比，可以看出，传统两步测向定位算法的平均运行时间均大于本文算法。实验结果表明，本文算法的平均测向定位时间为0.08 s，传统两步测向定位算法的平均测向定位时间为0.36 s。本文算法的处理速度达到了传统算法的4.5倍，定位时间缩短了77.8%，显著提升了测向定位实时性。

4.4 关于定位误差的实验分析

为进一步分析所提测向定位算法的定位性能，本节进行定位误差分析，选取目标经纬度为（126°E, 24°N），测向误差服从高斯分布。测试时分别使用DL-DDPG保存后模型进行500次蒙特卡洛实验。

图8（a）、图8（b）和图8（c）分别展示了目标在x-y平面、x-z平面及y-z平面上的定位结果散点图及其对应的定位误差椭圆。实验定位结果的散点分布形态与误差椭圆的形状高度吻合，验证了定位结果的误差分布与理论预期置信区间具有良好的一致性。

为进一步对比本文算法的定位性能，采用均方根误差（RMSE）来评判算法的定位性能：

E_{\mathrm{R}\mathrm{M}\mathrm{S}}=\sqrt[]{\frac{\mathrm{1}}{K}{\displaystyle \sum _{k=\mathrm{1}}^K}‖{\widehat{\mathit{u}}}_k-{{\mathit{u}}_k‖}_{\mathrm{2}}^{\mathrm{2}}}（20）

式中：K为蒙特卡洛次数；{\widehat{\mathit{u}}}_k为第k次测试中目标位置的估计值；{\mathit{u}}_k为目标位置的真实值。

图9展示了不同信噪比（Signal-to-Noise Ratio, SNR）情况下，本文算法与两步测向定位算法^[2]和克拉美罗界（Cramer-Rao Bound, CRLB）的对比。可以看出，在该定位场景下，本文算法更接近于CRLB。由于两步测向定位算法在构建伪线性方程时引入了与目标位置相关的辅助变量，因此该算法分为两个阶段。第1阶段假设辅助变量与目标无关，先对方程进行求解；第2阶段则根据目标与辅助变量之间的关系重新建立方程，并利用第1阶段的估计结果进行求解，从而提升第1阶段的定位精度。该算法属于闭式解，具有计算复杂度低、无需先验初值等优点。然而，该算法存在解模糊的问题，最终结果需要根据目标的大致范围进行判定。本文所提出的短波信号自主测向定位方法是在短波信号空时高分辨时频图的基础上进行处理，即将短波信号频率搬移后再做处理，因此本方法可以不受短波信号频率的影响。

4.5 算法复杂度分析

DL-DDPG算法能够实现信号的同时测向与定位，从而显著减少处理时间并提升效率。算法架构包含一个Critic网络和一个Actor网络，算法网络由N个全连接层组成。全连接层的复杂度为O\left({\displaystyle \sum _l^L}{W}_{l-\mathrm{1}}{W}_l\right)，其中L为全连接层数，W_{l-\mathrm{1}}和W_l分别表示第l层的输入和输出规模。因此，DL-DDPG算法复杂度为O\left(N{\displaystyle \sum _l^L}{W}_{l-\mathrm{1}}{W}_l\right)。

5 结束语

本文提出了一种基于注意力增强DDPG算法的协同测向定位技术，自主设计强化学习环境，并通过实验验证了该方法的有效性。设计了基于任务的奖励函数，能够较好地引导智能体快速完成测向定位任务。本文验证了基于深度强化学习的智能测向定位工作的可行性，不依赖大量人工标注，可以在线多回合自主学习，为智能测向定位工作提供了良好的技术参考。尽管本文所提算法也适用于多信号环境，但需要逐一寻找不同信号进行测向定位，效率较低。多智能体深度强化学习算法可以利用多个智能体同时处理多个信号，因此在未来将开展多智能体智能测向定位的研究。

参考文献

[1] FENG Q Y， TANG T， ZHANG Y P， et al. Multistation target localization via direction-of-arrival： an efficient multiagent deep reinforcement learning approach［J］. IEEE Internet of Things Journal， 2025，12（19）：40130-40145.

[2] 王鼎，尹洁昕，朱中梁.针对超视距短波辐射源的测角与测时差协同定位方法［J］.中国科学：信息科学，2022，52（11）：1942-1973.

[3] XU X X， HUANG Q H. MD-DOA： a model-based deep learning DOA estimation architecture［J］. IEEE Sensors Journal， 2024，24（12）：20240-20253.

[4] ZHENG S L， YANG Z， SHEN W G， et al. Deep learning-based DOA estimation［J］. IEEE Transactions on Cognitive Communications and Networking， 2024，10（3）：819-835.

[5] ZHOU C W， GU Y J， SHI Z G， et al. Structured nyquist correlation reconstruction for DOA estimation with sparse arrays［J］. IEEE Transactions on Signal Processing， 2023，71：1849-1862.

[6] 翟晨旭，余思雨，崔毓函，等.基于能量累积和双极性相关的ADS-B信号联合检测方法［J］.信息工程大学学报，2026，27（1）：27-34.

[7] ZHENG H， ZHOU C W， VOROBOYV S A， et al. Decomposed CNN for sub-nyquist tensor-based 2-D DOA estimation［J］. IEEE Signal Processing Letters， 2023，30：708-712.

[8] CONG J Y， WANG X P， YAN C G， et al. CRB weighted source localization method based on deep neural networks in multi-UAV network［J］. IEEE Internet of Things Journal， 2023，10（7）：5747-5759.

[9] TOMIC S. Secure AoA-based localization in the presence of malicious nodes［J］. IEEE Internet of Things Journal， 2026，13（7）：12800-12810.

[10] ZHOU M， WANG R J， XIE C J， et al. ReinforceNet： a reinforcement learning embedded object detection framework with region selection network［J］. Neurocomputing， 2021，443：369-379.

[11] 唐涛，王鼎，杨宾，等.一种基于高分辨测向语图智能识别的短波自动测向方法：CN110045322B［P］.2021-01-22.

[12] JIANG B Q， DU J， JIANG C X， et al. Underwater searching and multiround data collection via AUV swarms： an energy-efficient AoI-aware MAPPO approach［J］. IEEE Internet of Things Journal， 2024，11（7）：12768-12782.

[13] YU Y， LIU M. Deep reinforcement learning-based multisensor control for labeled multi-bernoulli filtering［J］. IEEE Transactions on Aerospace and Electronic Systems， 2025，61（5）：13548-13564.

[14] XU W R， YU J， MIAO Z J， et al. Spatio-temporal deep Q-networks for human activity localization［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2020，30（9）：2984-2999.

[15] WEI W， FU S， TANG Y J， et al. Joint optimization of UAV aided covert edge computing via a deep reinforcement learning framework［J］. Chinese Journal of Aeronautics， 2025，38（10）：No.1103218.

[16] 方维维，王云鹏，张昊，等.基于多智能体深度强化学习的车联网通信资源分配优化［J］.北京交通大学学报，2022，46（2）：64-72.

[17] SHAKYA A K， PILLAI G， CHAKRABARTY S. Reinforcement learning algorithms： a brief survey［J］. Expert Systems with Applications， 2023，231：No.120495.

[18] MNIH V， KAVUKCUOGLU K， SILVER D， et al. Human-level control through deep reinforcement learning［J］. Nature， 2015，518（7540）：529-533.

[19] VAN HASSELT H， GUEZ A， SILVER D. Deep reinforcement learning with double Q-learning［J］. AAAI Press，2016，30（1）. DOI：10.1609/aaai.v30i1.10295 .

[20] LILLICRAP T P， HUNT J J， PRITZEL A， et al. Continuous control with deep reinforcement learning. ［J］. Computerence， 2015. D01：10.1016/S1098-3015（10）67722-4.

[21] BELLVER M， GIRO-I-NIETO X， MARQUES F， et al. Hierarchical object detection with deep reinforcement learning［DB/OL］. （2016-11-11）［2026-04-09］.

[22] WANG Y， WU J D， HE H W， et al. Data-driven energy management for electric vehicles using offline reinforcement learning［J］. Nature Communications， 2025，16：No.2835.