基于Improved RetinaNet的航空图像定向目标检测

Oriented object detection in aerial images based on improved retinaNet

摘要

航空图像中的目标（如车辆、船只、建筑物等）可能以任意方向出现，目标的尺度差异显著，传统的不定向边界框难以准确描述目标的方向和形状，目标在图像中的位置、方向和形状与实际情况难以避免会出现偏差，导致小目标检测回归损失不确定性较高，检测精度和效率较低。针对上述问题，首先应用Improved RetinaNet来实现航空图像中定向目标的精确检测，设计了一个特征交互融合网络来获取定向目标丰富的上下文信息。然后，引入了一种训练样本动态分配方法，根据目标的空间位置关系动态地分配训练样本，以协调训练样本之间的不平衡，并通过分类子网络预测目标类别。最后，利用回归子网络，回归每个定向边界框和邻近的地面真实框之间的偏移量，并采用长边定义法表示定向边界框，计算定向边界框和地面真实边界框之间的KL散度作为回归损失，以解决大高宽比定向目标的角度敏感问题。在公开的航空图像数据集上的大量实验证明了Improved RetinaNet在检测定向目标方面的有效性和优越性。

Abstract

Objects in aerial images， such as vehicles， ships， buildings， etc.， may appear in any direction with significant differences in their scale. Traditional non oriented bounding boxes are difficult to accurately describe the direction and shape of objects， and the position， direction， and shape of objects in the image may deviate from the actual situation， resulting in high regression loss uncertainty and low detection accuracy and efficiency in small object detection. Therefore， Improved RetinaNet is applied to achieve precise detection of oriented objects in aerial images. Designed a feature interaction fusion network to obtain rich contextual information of oriented objects. A dynamic allocation method for training samples has been introduced， which dynamically allocates training samples based on the spatial position relationship of the object to coordinate the imbalance between training samples and predict object categories through classification sub-network. Based on this， a regression sub-network is used to regress the offset between each oriented bounding box and the adjacent ground truth bounding box， and the long edge definition method is used to represent the oriented bounding box. The KL divergence between the oriented bounding box and the ground truth bounding box is calculated as the regression loss to solve the angle sensitivity problem of large aspect-ratio oriented objects. Extensive experiments on publicly available aerial image datasets have demonstrated the effectiveness and superiority of Improved RetinaNet in detecting oriented objects.

Graphical abstract

关键词

航空图像 / 定向目标检测 / 特征交互融合网络 / 训练样本动态分配 / KL散度

Key words

aerial image / oriented object detection / feature interaction fusion network / training sample dynamic allocation / KL divergence

0 引 言

无人机侦察是战争中获取情报的重要手段，其中目标检测是最重要的任务之一。定向目标检测是一个相对新兴但富有挑战性的领域，近年来的一些研究取得了相当大的研究进展^［1⁃4］。然而，对于航空图像中方向任意、高宽比大的目标，仍然存在着许多挑战，例如它们往往以多种角度分布并且被复杂的背景所包围，只保留了很少的有效特征信息。

目前，主流的定向目标检测器通常利用角度定义法（中心点坐标、宽度、高度、旋转角度）来表示任意方向的目标。虽然这些检测器已经取得了良好的性能，但是当它们在航空图像中检测定向目标时，仍然存在着以下不足：①特征旋转增强的方法^［5⁃9］精心设计了各种特征增强模块，并在每个位置上设置了不同角度、比例和高宽比的锚框，使得网络变得沉重且复杂，导致了大量的计算开销和内存占用；②样本动态分配的方法^{［10⁃12］}设置了一些超参数，如基于锚框的方法的IoU（Intersection over Union，交并比）阈值、无锚框的方法的区域范围等，超参数的不同设置将会产生非常不同的检测结果；③回归损失优化的方法^{［13⁃16］}不能根据定向目标的高度和宽度动态调整梯度，难以应对具有挑战性的情况，例如具有大高宽比的定向目标对角度的偏移很敏感，轻微的角度误差就会导致检测精度严重下降。

针对现有方法的不足之处，本文提出了一种称为Improved RetinaNet的检测器，用于航空图像中定向目标的精确检测。本文主要贡献如下：

（1）在主干网络ResNeXt-101的基础上设计特征交互融合网络，在不增加网络复杂度的情况下获取定向目标丰富的上下文信息，同时减少模型参数的数量。

（2）在分类子网络中引入训练样本动态分配方法，根据目标的空间位置关系动态地分配训练样本，在不设置任何超参数的情况下协调训练样本之间的不平衡。

（3）在回归子网络中采用长边定义法表示定向边界框，将预测定向边界框和地面真实边界框转换为二维高斯分布，计算二维高斯分布之间的KL（Kullback⁃Leibler）散度作为回归损失，以解决大高宽比定向目标的角度敏感问题。

1 Improved RetinaNet

1.1　总体框架

Improved RetinaNet是由一个主干网络、一个特征交互融合网络和两个子网络组成的单阶段统一网络。首先，在主干网络ResNeXt⁃101^［17］的基础上设计特征交互融合网络（FIFN），在不增加网络复杂度的情况下获取定向目标丰富的上下文信息。然后，在分类子网络中引入训练样本动态分配（TSDA）方法，根据目标的空间位置关系动态地分配训练样本。最后，在回归子网络中采用长边定义法（\theta \in \left.\left[-\mathrm{45,135}\right.\right)）表示定向边界框，并将KL散度作为回归损失。

Improved RetinaNet的总体框架如图1所示。Improved RetinaNet在每个特征图上设置A个锚框。每个锚框分配一个长度为K的独热（0⁃1）向量用于目标分类，其中K表示目标类别数量，以及一个长度为5的向量用于目标回归，其中5表示定向边界框的5个参数\left(x,y,w,h,\theta \right)。

1.2　特征交互融合网络下获取定向目标信息

传统的定向目标检测方法通过设计特征增强模块或构建深层特征提取网络来提高目标检测精度，然而，繁多的参数数量（如特征层数、通道数、卷积核大小等）导致了大量的计算开销和内存占用。因此，特征交互融合网络建立在主干网络ResNeXt-101的基础之上，采用聚合变换和分组卷积的方式，可以在不增加网络复杂度的情况下获取定向目标丰富的上下文信息，同时减少模型参数的数量。

与之前的方法不同（直接在通道连接后对相邻特征图进行卷积以输出预测特征图），特征交互融合网络逐步融合了更深层次的特征图。首先，将主干网络的特征图f_i（i\in \left\{\mathrm{1,2},\mathrm{3}\right\}）与交互特征图f_i^{\mathrm{i}\mathrm{n}\mathrm{t}\mathrm{e}\mathrm{r}}（i\in \left\{\mathrm{1,2},\mathrm{3}\right\}）相乘，以抑制背景干扰，然后通过残差加法来保留原始特征信息。

具体情况如图2所示。

由于f_{\mathrm{4}}是主干网络的最后一个特征图，直接对f_{\mathrm{4}}进行\mathrm{3}\times \mathrm{3}卷积来生成{\widehat{f}}_{\mathrm{4}}。对于f_{\mathrm{3}}，在f_{\mathrm{4}}上执行特征交互来形成f_{\mathrm{3}}^{\mathrm{i}\mathrm{n}\mathrm{t}\mathrm{e}\mathrm{r}}。相似地，f_{\mathrm{2}}^{\mathrm{i}\mathrm{n}\mathrm{t}\mathrm{e}\mathrm{r}}和f_{\mathrm{1}}^{\mathrm{i}\mathrm{n}\mathrm{t}\mathrm{e}\mathrm{r}}如以下所示：

{\widehat{f}}_{\mathrm{4}}=\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}\mathrm{3}\left(f_{\mathrm{4}}\right)（1）

f_{\mathrm{3}}^{\mathrm{i}\mathrm{n}\mathrm{t}\mathrm{e}\mathrm{r}}=\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}\mathrm{3}\left(\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}\mathrm{1}\left(f_{\mathrm{4}}\uparrow \right)\right)（2）

{\widehat{f}}_{\mathrm{3}}=\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}\mathrm{3}\left(\left[(f_{\mathrm{3}}^{\mathrm{i}\mathrm{n}\mathrm{t}\mathrm{e}\mathrm{r}}\otimes f_{\mathrm{3}})\oplus f_{\mathrm{3}};{\widehat{f}}_{\mathrm{4}}\right]\right)（3）

f_{\mathrm{2}}^{\mathrm{i}\mathrm{n}\mathrm{t}\mathrm{e}\mathrm{r}}=\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}\mathrm{3}\left(\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}\mathrm{1}\left(\left[f_{\mathrm{4}}\uparrow ;f_{\mathrm{3}}\uparrow \right]\right)\right)（4）

{\widehat{f}}_{\mathrm{2}}=\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}\mathrm{3}\left(\left[(f_{\mathrm{2}}^{\mathrm{i}\mathrm{n}\mathrm{t}\mathrm{e}\mathrm{r}}\otimes f_{\mathrm{2}})\oplus f_{\mathrm{2}};{\widehat{f}}_{\mathrm{3}}\right]\right)（5）

f_{\mathrm{1}}^{\mathrm{i}\mathrm{n}\mathrm{t}\mathrm{e}\mathrm{r}}=\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}\mathrm{3}\left(\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}\mathrm{1}\left(\left[f_{\mathrm{4}}\uparrow ;f_{\mathrm{3}}\uparrow ;f_{\mathrm{2}}\uparrow \right]\right)\right)（6）

{\widehat{f}}_{\mathrm{1}}=\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}\mathrm{3}\left(\left[(f_{\mathrm{1}}^{\mathrm{i}\mathrm{n}\mathrm{t}\mathrm{e}\mathrm{r}}\otimes f_{\mathrm{1}})\oplus f_{\mathrm{1}};{\widehat{f}}_{\mathrm{2}}\right]\right)（7）

f^{\mathrm{\text{'}}}=\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}\mathrm{3}\left({\widehat{f}}_{\mathrm{1}}\right)（8）

式中：{\widehat{f}}_i（i\in \left\{\mathrm{1,2},\mathrm{3,4}\right\}）表示聚合特征图；\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}\mathrm{3}表示\mathrm{3}\times \mathrm{3}卷积；\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}\mathrm{1}表示\mathrm{1}\times \mathrm{1}卷积；\uparrow表示上采样；\left[;\right]表示通道级连接；\otimes表示元素级相乘；\oplus表示元素级相加。

最后，将顶部的特征图f^{\mathrm{\text{'}}}作为特征交互融合网络的最终结果，从而使Improved RetinaNet在不增加网络复杂度的情况下从输入图像中获取定向目标丰富的上下文信息，同时减少模型参数的数量。

1.3　分类子网络下目标类别预测

在模型训练时，首先需要定义模型的正样本和负样本，然后使用正样本来确定目标的位置。因此，前者是至关重要的。以往的训练样本分配方法设置了一些超参数，如基于锚框的方法的IoU阈值和无锚框的方法的尺度范围。对于基于锚框的方法，与锚框形状不同的目标将会产生较低的IoU，导致缺乏正样本。对于无锚框的方法，固定的尺度范围将会限制高质量正样本的上限。因此，这些超参数的不同设置将会产生非常不同的检测结果。

为解决上述问题，ATSS^［18］提出了自适应训练样本选择方法，通过锚框与地面真实边界框之间的L2距离来选择候选正样本，最后依据目标的统计特征自适应地分配训练样本，在整个过程中只设置了一个超参数。然而，L2距离对目标的大小、方向以及高宽比变化不敏感，这使得ATSS在面对航空图像中方向任意、高宽比大的目标时效果不佳。因此，引入训练样本动态分配方法，根据目标的空间位置关系动态地分配训练样本，并且不设置任何超参数。该方法的步骤如下：

步骤1　对于图像上的每个地面真实边界框\mathrm{g}，计算所有中心在地面真实边界框\mathrm{g}中的锚框与地面真实边界框\mathrm{g}之间的IoU值。

步骤2　将步骤1中的所有IoU值进行求和，并四舍五入为整数K。

步骤3　将步骤1中的所有IoU值从大到小依次排序。

步骤4　选择前K个IoU值对应的锚框作为最终的正样本，其余的样本则为负样本。

分类子网络的整体训练过程总结如下：首先将特征交互融合网络的融合特征图f^{\mathrm{\text{'}}}作为输入，然后应用训练样本动态分配方法定义模型的正负样本，最后采用Sigmoid激活函数输出二进制目标类别的预测。此外，使用Focal损失作为分类子网络中的分类损失，该损失通过调整焦点因子来控制正负样本对总体损失的影响。

L_{\mathrm{c}\mathrm{l}\mathrm{s}}=-\alpha {\left(\mathrm{1}-{\Upsilon }_p\right)}^{\gamma }\mathrm{l}\mathrm{o}\mathrm{g}\left({\Upsilon }_p\right)（9）

{\Upsilon }_p=\left\{\begin{array}{l}p,\begin{array}{cc}if& y=\mathrm{1}\end{array}\\ \mathrm{1}-p,\mathrm{o}\mathrm{t}\mathrm{h}\mathrm{e}\mathrm{r}\mathrm{w}\mathrm{i}\mathrm{s}\mathrm{e}\end{array}\right.（10）

式中：\alpha为焦点因子，选择\alpha为0.25来解决类不平衡的问题；\gamma为调制因子，选择\gamma为2来减少大量高置信度负样本的影响；{\Upsilon }_p表示某一类别的分类概率，如果某一类别的分类结果正确，则{\Upsilon }_p=p，否则{\Upsilon }_p=\mathrm{1}-p，p表示某一类别的分类置信度。

1.4　回归子网络下定向边界框偏移回归

回归子网络回归每个定向边界框和邻近的地面真实框之间的偏移量。在回归子网络中，每个定向边界框由5个参数\left(x,y,w,h,\theta \right)表示，其中x为定向边界框中心点的横坐标，y为定向边界框中心点的纵坐标，w为定向边界框的宽度，h为定向边界框的高度，\theta为定向边界框的旋转角度。考虑到在\theta \in \left.\left[-\mathrm{90}°,\mathrm{90}°\right.\right)位置上的目标很多，且它们不适合作为边界，因此采用长边定义法（\theta \in \left.\left[-\mathrm{45}°,\mathrm{135}°\right.\right)）来表示定向边界框，如图3所示。其中，定向边界框的宽度w定义为长边，定向边界框的旋转角度\theta定义为x轴与长边的夹角，顺时针方向为正值。

为了更准确地表示定向边界框，将KL（Kullback⁃Leibler）散度^［19］作为回归损失。首先，将定向边界框转换为二维高斯分布G\left(\mu ,\Sigma \right)。

\Sigma =\mathit{R}\mathit{\Lambda }{\mathit{R}}^{\mathrm{T}},\mu ={\left(x,y\right)}^{\mathrm{T}}（11）

式中：\mathit{R}为旋转矩阵；\mathit{\Lambda }为特征值的对角线矩阵；\mu、\Sigma分别为二维高斯分布的均值和方差。

对于定向边界框B\left(x,y,w,h,\theta \right)：

\mathit{R}=\left(\begin{array}{cc}\mathrm{c}\mathrm{o}\mathrm{s}\theta & -\mathrm{s}\mathrm{i}\mathrm{n}\theta \\ \mathrm{s}\mathrm{i}\mathrm{n}\theta & \mathrm{c}\mathrm{o}\mathrm{s}\theta \end{array}\right),\mathit{\Lambda }=\left(\begin{array}{cc}\frac{w^{\mathrm{2}}}{\mathrm{4}}& \mathrm{0}\\ \mathrm{0}& \frac{h^{\mathrm{2}}}{\mathrm{4}}\end{array}\right)（12）

两个二维高斯分布之间的KL散度为：

D_{\mathrm{k}\mathrm{l}}\left(N_{\mathrm{p}}‖N_{\mathrm{t}}\right)=\frac{\mathrm{1}}{\mathrm{2}}{\left({\mu }_{\mathrm{p}}-{\mu }_{\mathrm{t}}\right)}^{\mathrm{T}}{{\Sigma }_{\mathrm{t}}}^{-\mathrm{1}}\left({\mu }_{\mathrm{p}}-{\mu }_{\mathrm{t}}\right)+\frac{\mathrm{1}}{\mathrm{2}}Tr\left({{\Sigma }_{\mathrm{t}}}^{-\mathrm{1}}{\Sigma }_{\mathrm{p}}\right)+\frac{\mathrm{1}}{\mathrm{2}}\mathrm{l}\mathrm{n}\frac{\left|{\Sigma }_{\mathrm{t}}\right|}{\left|{\Sigma }_{\mathrm{p}}\right|}-\mathrm{1}（13）

D_{\mathrm{k}\mathrm{l}}\left(N_{\mathrm{t}}‖N_{\mathrm{p}}\right)=\frac{\mathrm{1}}{\mathrm{2}}{\left({\mu }_{\mathrm{p}}-{\mu }_{\mathrm{t}}\right)}^{\mathrm{T}}{{\Sigma }_{\mathrm{p}}}^{-\mathrm{1}}\left({\mu }_{\mathrm{p}}-{\mu }_{\mathrm{t}}\right)+

\frac{\mathrm{1}}{\mathrm{2}}Tr\left({{\Sigma }_{\mathrm{p}}}^{-\mathrm{1}}\left|{\Sigma }_{\mathrm{t}}\right|\right)+\frac{\mathrm{1}}{\mathrm{2}}\mathrm{l}\mathrm{n}\frac{\left|{\Sigma }_{\mathrm{p}}\right|}{\left|{\Sigma }_{\mathrm{t}}\right|}-\mathrm{1}（14）

式中：N_{\mathrm{p}}\left({\mu }_{\mathrm{p}},{\Sigma }_{\mathrm{p}}\right)\mathrm{、}{N}_{\mathrm{t}}\left({\mu }_{\mathrm{t}},{\Sigma }_{\mathrm{t}}\right)表示服从二维高斯分布。

可以看出，D_{\mathrm{k}\mathrm{l}}\left(N_{\mathrm{t}}‖N_{\mathrm{p}}\right)中的每一项都由部分参数耦合组成，这使得所有参数形成一个链耦合关系。在优化过程中，参数相互影响并共同优化，使模型的优化机制是自调制的。

虽然KL散度是不对称的，但通过分析不同参数的梯度可以发现，这2种形式的优化原理是相似的。以D_{\mathrm{k}\mathrm{l}}\left(N_{\mathrm{p}}‖N_{\mathrm{t}}\right)为例，根据式（11）（12），式（13）中的每一项都可以表示为：

{\left({\mu }_{\mathrm{p}}-{\mu }_{\mathrm{t}}\right)}^{\mathrm{T}}{{\Sigma }_{\mathrm{t}}}^{-\mathrm{1}}\left({\mu }_{\mathrm{p}}-{\mu }_{\mathrm{t}}\right)=

\frac{\mathrm{4}{\left(\mathrm{\Delta }x\mathrm{c}\mathrm{o}\mathrm{s}{\theta }_{\mathrm{t}}+\mathrm{\Delta }y\mathrm{s}\mathrm{i}\mathrm{n}{\theta }_{\mathrm{t}}\right)}^{\mathrm{2}}}{{w_{\mathrm{t}}}^{\mathrm{2}}}+\frac{\mathrm{4}{\left(\mathrm{\Delta }y\mathrm{c}\mathrm{o}\mathrm{s}{\theta }_{\mathrm{t}}-\mathrm{\Delta }x\mathrm{s}\mathrm{i}\mathrm{n}{\theta }_{\mathrm{t}}\right)}^{\mathrm{2}}}{{h_{\mathrm{t}}}^{\mathrm{2}}}（15）

Tr\left({{\Sigma }_{\mathrm{t}}}^{-\mathrm{1}}{\Sigma }_{\mathrm{p}}\right)=\frac{{h_{\mathrm{p}}}^{\mathrm{2}}}{{w_{\mathrm{t}}}^{\mathrm{2}}}\mathrm{s}\mathrm{i}{\mathrm{n}}^{\mathrm{2}}\mathrm{\Delta }\theta +\frac{{w_{\mathrm{p}}}^{\mathrm{2}}}{{h_{\mathrm{t}}}^{\mathrm{2}}}\mathrm{s}\mathrm{i}{\mathrm{n}}^{\mathrm{2}}\mathrm{\Delta }\theta +

\frac{{h_{\mathrm{p}}}^{\mathrm{2}}}{{h_{\mathrm{t}}}^{\mathrm{2}}}\mathrm{c}\mathrm{o}{\mathrm{s}}^{\mathrm{2}}\mathrm{\Delta }\theta +\frac{{w_{\mathrm{p}}}^{\mathrm{2}}}{{w_{\mathrm{t}}}^{\mathrm{2}}}\mathrm{c}\mathrm{o}{\mathrm{s}}^{\mathrm{2}}\mathrm{\Delta }\theta（16）

\mathrm{l}\mathrm{n}\frac{\left|{\Sigma }_{\mathrm{t}}\right|}{\left|{\Sigma }_{\mathrm{p}}\right|}=\mathrm{l}\mathrm{n}\frac{{h_{\mathrm{t}}}^{\mathrm{2}}}{{h_{\mathrm{p}}}^{\mathrm{2}}}+\mathrm{l}\mathrm{n}\frac{{w_{\mathrm{t}}}^{\mathrm{2}}}{{w_{\mathrm{p}}}^{\mathrm{2}}}（17）

式中：\mathrm{\Delta }x=x_{\mathrm{p}}-x_{\mathrm{t}},\mathrm{\Delta }y=y_{\mathrm{p}}-y_{\mathrm{t}},\mathrm{\Delta }\theta ={\theta }_{\mathrm{p}}-{\theta }_{\mathrm{t}}。

当设置{\theta }_{\mathrm{t}}=\mathrm{0}°时：

\frac{\partial D_{\mathrm{k}\mathrm{l}}\left({\mu }_{\mathrm{p}}\right)}{\partial {\mu }_{\mathrm{p}}}={\left(\frac{\mathrm{4}}{{w_{\mathrm{t}}}^{\mathrm{2}}}\mathrm{\Delta }x,\frac{\mathrm{4}}{{h_{\mathrm{t}}}^{\mathrm{2}}}\mathrm{\Delta }y\right)}^{\mathrm{T}}（18）

权重\mathrm{1}/{w_{\mathrm{t}}}^{\mathrm{2}}和\mathrm{1}/{h_{\mathrm{t}}}^{\mathrm{2}}将使模型根据尺度动态调整位置。例如，当尺度较小时，模型会更加关注相应方向偏移的优化。当{\theta }_{\mathrm{t}}\ne \mathrm{0}°时，偏移（\mathrm{\Delta }x和\mathrm{\Delta }y）的梯度将根据{\theta }_{\mathrm{t}}进行动态调整，以获得更好的优化。

对于h_{\mathrm{p}}和w_{\mathrm{p}}：

\frac{\partial D_{\mathrm{k}\mathrm{l}}\left({\Sigma }_{\mathrm{p}}\right)}{\partial \mathrm{l}\mathrm{n}{h}_{\mathrm{p}}}=\frac{{h_{\mathrm{p}}}^{\mathrm{2}}}{{h_{\mathrm{t}}}^{\mathrm{2}}}\mathrm{c}\mathrm{o}{\mathrm{s}}^{\mathrm{2}}\mathrm{\Delta }\theta +\frac{{h_{\mathrm{p}}}^{\mathrm{2}}}{{w_{\mathrm{t}}}^{\mathrm{2}}}\mathrm{s}\mathrm{i}{\mathrm{n}}^{\mathrm{2}}\mathrm{\Delta }\theta -\mathrm{1}（19）

\frac{\partial D_{\mathrm{k}\mathrm{l}}\left({\Sigma }_{\mathrm{p}}\right)}{\partial \mathrm{l}\mathrm{n}{w}_{\mathrm{p}}}=\frac{{w_{\mathrm{p}}}^{\mathrm{2}}}{{w_{\mathrm{t}}}^{\mathrm{2}}}\mathrm{c}\mathrm{o}{\mathrm{s}}^{\mathrm{2}}\mathrm{\Delta }\theta +\frac{{w_{\mathrm{p}}}^{\mathrm{2}}}{{h_{\mathrm{t}}}^{\mathrm{2}}}\mathrm{s}\mathrm{i}{\mathrm{n}}^{\mathrm{2}}\mathrm{\Delta }\theta -\mathrm{1}（20）

一方面，h_{\mathrm{p}}和w_{\mathrm{p}}的优化受到\mathrm{\Delta }\theta的影响。当\mathrm{\Delta }\theta=0°，\frac{\partial D_{\mathrm{k}\mathrm{l}}\left({\Sigma }_{\mathrm{p}}\right)}{\partial \mathrm{l}\mathrm{n}{h}_{\mathrm{p}}}=\frac{{h_{\mathrm{p}}}^{\mathrm{2}}}{{h_{\mathrm{t}}}^{\mathrm{2}}}-\mathrm{1}，\frac{\partial D_{\mathrm{k}\mathrm{l}}\left({\Sigma }_{\mathrm{p}}\right)}{\partial \mathrm{l}\mathrm{n}{w}_{\mathrm{p}}}=\frac{{w_{\mathrm{p}}}^{\mathrm{2}}}{{w_{\mathrm{t}}}^{\mathrm{2}}}-\mathrm{1}时，高度或宽度越小，匹配损失的惩罚越大。这是显而易见的，因为较小的高度或宽度需要较高的匹配精度。另一方面，\mathrm{\Delta }\theta的优化也受到h_{\mathrm{p}}和w_{\mathrm{p}}的影响：

\frac{\partial D_{\mathrm{k}\mathrm{l}}\left({\Sigma }_{\mathrm{p}}\right)}{\partial {\theta }_{\mathrm{p}}}=\left(\frac{{h_{\mathrm{p}}}^{\mathrm{2}}-{w_{\mathrm{p}}}^{\mathrm{2}}}{{w_{\mathrm{t}}}^{\mathrm{2}}}+\frac{{w_{\mathrm{p}}}^{\mathrm{2}}-{h_{\mathrm{p}}}^{\mathrm{2}}}{{h_{\mathrm{t}}}^{\mathrm{2}}}\right)\mathrm{s}\mathrm{i}\mathrm{n}\mathrm{2}\mathrm{\Delta }\theta（21）

式中：w_{\mathrm{p}}=w_{\mathrm{t}}，h_{\mathrm{p}}=h_{\mathrm{t}}，然后\frac{\partial D_{\mathrm{k}\mathrm{l}}\left({\Sigma }_{\mathrm{p}}\right)}{\partial {\theta }_{\mathrm{p}}}=\left(\frac{{h_{\mathrm{t}}}^{\mathrm{2}}}{{w_{\mathrm{t}}}^{\mathrm{2}}}+\frac{{w_{\mathrm{t}}}^{\mathrm{2}}}{{h_{\mathrm{t}}}^{\mathrm{2}}}-\mathrm{2}\right)\mathrm{s}\mathrm{i}\mathrm{n}\mathrm{2}\mathrm{\Delta }\theta \ge \mathrm{s}\mathrm{i}\mathrm{n}\mathrm{2}\mathrm{\Delta }\theta，公式相等的条件是h_{\mathrm{t}}=w_{\mathrm{t}}。这表明目标的高宽比越大，就会越关注角度的优化，因为轻微的角度误差会导致大高宽比定向目标的检测精度严重下降。通过以上分析发现，当其中一个参数被优化时，将使用其他参数作为其权重来动态调整优化。换句话说，参数的优化不再是独立的，即优化一个参数也会促进其他参数的优化。这种良性循环的优化是KL散度作为一种良好的回归损失的关键。

整体训练过程总结如下：①预测偏移量\left(t_x^{\mathrm{p}},t_y^{\mathrm{p}},t_w^{\mathrm{p}},t_h^{\mathrm{p}},t_{\theta }^{\mathrm{p}}\right)；②解码预测定向边界框；③将预测定向边界框和地面真实边界框转换为二维高斯分布；④计算两个二维高斯分布的KL散度。最终的回归损失L_{\mathrm{r}\mathrm{e}\mathrm{g}}为：

L_{\mathrm{r}\mathrm{e}\mathrm{g}}=\mathrm{1}-\frac{\mathrm{1}}{\tau +f\left(D\right)},\tau \ge \mathrm{1}（22）

式中：f\left(·\right)表示一个用来变换距离D的非线性函数，使用\mathrm{l}\mathrm{n}\left(D+\mathrm{1}\right)作为f\left(·\right)来使损失更平滑和富有表现力。超参数\tau用来调节整个损失。

定向目标检测的总体损失为：

L=\frac{{\lambda }_{\mathrm{1}}}{N_{\mathrm{p}\mathrm{o}\mathrm{s}}}{\displaystyle \sum _{n=\mathrm{1}}^{N_{pos}}}{L}_{reg}\left(b_n,g{t}_n\right)+\frac{{\lambda }_{\mathrm{2}}}{N}{\displaystyle \sum _{n=\mathrm{1}}^N}{L}_{\mathrm{c}\mathrm{l}\mathrm{s}}\left(p_n,t_n\right)（23）

式中：N和N_{\mathrm{p}\mathrm{o}\mathrm{s}}分别为所有锚框的数量和正锚框的数量；b_n为第n个预测定向边界框；g{t}_n为第n个地面真实边界框；p_n为用Sigmoid激活函数计算出的各种类别的第n个概率分布；t_n为第n个目标的类别标签；{\lambda }_{\mathrm{1}}\mathrm{、}{\lambda }_{\mathrm{2}}为控制整体函数的权衡；分类损失L_{\mathrm{c}\mathrm{l}\mathrm{s}}为Focal损失。

2 实验验证

2.1　数据集和实施细节

数据集：DOTA-v1.0^［20］是用于航空图像定向目标检测的大规模数据集之一，包含15个常见类别，2 806张图像和188 282个实例。15个常见类别分别为：港口（HA）、储罐（ST）、大型车辆（LV）、游泳池（SP）、足球场（SBF）、桥梁（BR）、船舶（SH）、飞机（PL）、棒球场（BD）、网球场（TC）、地面跑道（GTF）、篮球场（BC）、小型车辆（SV）、环岛（RA）和直升机（HC）。DOTA-v1.0数据集中的目标在方向、大小和高宽比上变化很大，这增加了目标检测的难度。DroneVehicle^［21］是一个针对航空图像中车辆目标检测的数据集，包含5个目标类别，31 064张图像和441 642个实例，其中一半是可见光图像。5个目标类别分别为：公共汽车（Bus）、货车（Fright）、卡车（Truck）、汽车（Car）和面包车（Van）。DroneVehicle数据集的图像涵盖了从白天到晚上的各种场景，车辆目标具有不同的尺度和角度变化。此外，为准确地检测不同角度的车辆目标，以适应定向目标检测要求，将DroneVehicle数据集的数据标注格式从水平标注的VOC格式修改为定向标注的DOTA格式。

实施细节：所有的实验都在一个具有8 GB内存的NVIDIA RTX 3070Ti GPU（Graphics Processing Unit，图形处理器）和MMRotate^［22］平台上进行训练和测试。采用SGD（Stochastic gradient descent，随机梯度下降）优化器运行12个epoch，权重衰减和动量参数分别设置为0.000 1和0.9。使用500次迭代的学习率预热，初始学习率设置为0.002 5，并在第8个epoch和第11个epoch结束后学习率降低10倍。在训练过程中，使用翻转比为0.25的水平、垂直和对角线图像翻转作为数据增强的形式。所有的实验都进行了两次以上，并以稳定值作为最终结果。

2.2　消融实验

为验证Improved RetinaNet的优越性，进行了一系列消融实验。选择Rotated⁃RetinaNet作为消融实验的基线，采用平均精度均值（Mean average precision，mAP）来评估目标的检测精度，所有的实验条件和参数设置均严格一致。在DOTA⁃v1.0数据集上研究了特征交互融合网络（FIFN）、训练样本动态分配（TSDA）方法和KL散度损失对实验结果的影响，如表1所示。FIFN表示是否使用特征交互融合网络，TSDA表示是否使用训练样本动态分配方法，KL表示是否使用KL散度损失。实验结果表明，每种结构对检测性能都有不同程度的提高。

表2比较了FIFN和其他的特征融合网络。与现有的特征融合网络不同，FIFN能够在不增加网络复杂度的情况下获取定向目标丰富的上下文信息，同时减少模型参数的数量，在模型参数上分别降低了0.52 M、4.97 M、30.54 M和8.03 M，在mAP上分别提升了5.55%、0.65%、0.44%和0.19%，取得了最好的定向目标检测结果。

表3比较了TSDA和其他的训练样本分配方法。与现有的训练样本分配方法不同，TSDA根据目标的空间位置关系动态地分配训练样本，在mAP上分别提升了15.33%、15.30%、2.48%和1.07%，具有更明显的性能提高。

表4比较了KL散度损失和其他的回归损失。与现有的回归损失不同，KL散度损失由于其先进的自调制优化机制，在mAP上分别提升了2.99%、1.46%、1.30%和0.69%，取得了最好的定向目标检测结果。

2.3　与最先进技术的比较

2.3.1　定量分析

将Improved RetinaNet与当前流行的定向目标检测方法在DOTA-v1.0数据集上进行了定量分析，如表5所示。

由于不同的方法使用不同的图像分辨率、网络结构、训练策略和各种技巧，不能做出绝对公平的比较。

就定向目标的检测性能而言，Improved RetinaNet在15个目标类别中取得了10个目标类别的最高检测精度。就整体性能而言，Improved RetinaNet的mAP达到了82.37%，取得了最优的定向目标检测结果，比次优的KRRD方法的mAP增加了0.69%（从81.68%增加到82.37%）。

将Improved RetinaNet与当前流行的定向目标检测方法在DroneVehicle数据集上进行了定量分析，如表6所示。就定向目标的检测性能而言，Improved RetinaNet取得了所有目标类别的最高检测精度。就整体性能而言，Improved RetinaNet的mAP达到了61.92%，取得了最优的定向目标检测结果，比次优的KRRD方法的mAP增加了1.26%（从60.66%增加到61.92%）。

2.3.2　定性分析

将Improved RetinaNet和当前流行的定向目标检测方法在DOTA-v1.0数据集上进行了定性分析，如图4所示。可以观察到，在图4的第一列中，Improved RetinaNet设计了特征交互融合网络来获取目标丰富的上下文信息，不仅可以解决Rotated-RetinaNet、Oriented-RCNN和KRRD方法将小型车辆（SV）错误检测成大型车辆（LV）的问题，而且对小型车辆（SV）具有最高的检测精度。在图4的第二列中，Improved RetinaNet引入了训练样本动态分配方法来协调训练样本之间的不平衡，不仅可以检测到Oriented⁃RCNN、DWLA和KRRD方法遗漏的港口（HA），避免Rotated-ATSS方法对港口（HA）的错误检测问题，而且使港口（HA）的目标边界框更接近其真实形状。在图4的第三列中，Improved RetinaNet采用了KL散度损失的自调制优化机制，不仅可以检测到Oriented-RCNN和DWLA方法遗漏的桥梁（BR），而且对桥梁（BR）具有最高的检测精度。

将Improved RetinaNet和当前流行的定向目标检测方法在DroneVehicle数据集上进行了定性分析，如图5所示。可以观察到，在图5的第一列中，Improved RetinaNet设计了特征交互融合网络来获取目标丰富的上下文信息，不仅可以解决Oriented-RCNN和DWLA方法将汽车（Car）错误检测成货车（Fright）的问题，而且对汽车（Car）具有最高的检测精度。在图5的第二列中，Improved RetinaNet采用了KL散度损失的自调制优化机制，不仅可以检测到Rotated⁃ATSS方法遗漏的公交车（Bus），而且使公交车（Bus）的目标边界框更匹配其真实形状。在图5的第三列中，Improved RetinaNet对所有的汽车（Car）达到了最高的检测精度，并且生成的目标边界框最匹配汽车（Car）的真实形状。

2.3.3　效率分析

将Improved RetinaNet与当前流行的定向目标检测方法分别在DOTA-v1.0数据集和DroneVehicle数据集上进行了检测速度和模型参数的效率分析，采用每秒帧率（Frame per second，FPS）来评估目标的检测速度。需要指出的是，所有的定向目标检测方法都在一个NVIDIA RTX 3070Ti GPU上进行测试。表7、表8的实验结果表明，Improved RetinaNet比大多数定向目标检测方法检测速度更快、模型参数更少，表现出了很高的检测效率。

3 结束语

提出了一种称为Improved RetinaNet的检测器，用于航空图像中定向目标的精确检测。首先，在主干网络ResNeXt-101的基础上设计了特征交互融合网络，在不增加网络复杂度的情况下获取定向目标丰富的上下文信息，同时减少模型参数的数量。其次，在分类子网络中引入了训练样本动态分配方法，根据目标的空间位置关系动态地分配训练样本，在不设置任何超参数的情况下协调训练样本之间的不平衡。最后，在回归子网络中采用了长边定义法（\theta \in \left.\left[-\mathrm{45}°,\mathrm{135}°\right.\right)）表示定向边界框，将预测定向边界框和地面真实边界框转换为二维高斯分布，计算二维高斯分布之间的KL散度作为回归损失，以解决大高宽比定向目标的角度敏感问题。在具有定向目标的航空图像数据集上进行了大量实验验证，结果表明，Improved RetinaNet能够有效提升航空图像中定向目标的检测性能。在未来的工作中，将更加关注定向目标检测网络的高效性和轻量性，使其在检测精度、检测速度和模型参数之间取得良好的平衡。

参考文献

[1] Han Jia-ming, Ding Jian, Xue Nan, et al. ReDet: a rotation-equivariant detector for aerial object detection[C]∥IEEE Conference on Computer Vision and Pattern Recognition, Virtual, 2021: 2786-2795.

[2] Li Wen-tong, Chen Yi-jie, Hu Kai-xuan, et al. Oriented reppoints for aerial object detection[C]∥IEEE Conference on Computer Vision and Pattern Recognition, New Orleans, America, 2022: 1829-1838.

[3] Lu Dong-chen. OSKDet: towards orientation-sensitive keypoint localization for rotated object detection[C]∥IEEE Conference on Computer Vision and Pattern Recognition, New Orleans, America, 2022: 1182-1192.

[4] Doloriel C, Cajote R. Improving the detection of small oriented objects in aerial images[C]∥IEEE Workshop on Applications of Computer Vision, Hawaii, America, 2023: 176-185.

[5] Yang Xue, Yan Jun-chi, Feng Zi-ming, et al. R3Det: refined single-stage detector with feature refinement for rotating object[C]∥AAAI Conference on Artificial Intelligence, Virtual, 2021: 3163-3171.

[6] Han Jia-ming, Ding Jian, Li Jie, et al. Align deep features for oriented object detection[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: No. 5602511.

[7] Ding Jian, Xue Nan, Long Yang, et al. Learning roi transformer for oriented object detection in aerial images[C]∥IEEE Conference on Computer Vision and Pattern Recognition, Long Beach, America, 2019: 2849-2858.

[8] Xie Xing-xing, Cheng Gong, Wang Jia-bao, et al. Oriented R-CNN for object detection[C]∥IEEE International Conference on Computer Vision, Virtual, 2021: 3520-3529.

[9] Wang Wen-yong, Cai Yuan-zheng, Luo Zhi-ming, et al. SA3Det: detecting rotated objects via pixel-level attention and adaptive labels assignment[J]. Remote Sensing, 2024, 16: No.2496.

[10] Lin, Goyal P, Girshick R, et al. Focal loss for dense object detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 42(2): 318-327.

[11] Hou Li-ping, Lu Ke, Xue Jian, et al. Shape-adaptive selection and measurement for oriented object detection[C]∥AAAI Conference on Artificial Intelligence, Vancouver, Canada, 2022: 923-932.

[12] Zhu Yun-hui, Huang Bu-liao. Dynamic weighting label assignment for oriented object detection[J]. Memetic Computing, 2024, 16: 285-297.

[13] Yang Xue, Yan Jun-chi. Arbitrary-oriented object detection with circular smooth label[C]∥European Conference on Computer Vision, Virtual, 2020: 677-694.

[14] Xu Yong-chao, Fu Ming-tao, Wang Qi-meng, et al. Gliding vertex on the horizontal bounding box for multi-oriented object detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021, 43(4): 1452-1459.

[15] Yang Xue, Yan Jun-chi, Ming Qi, et al. Rethinking rotated object detection with gaussian wasserstein distance loss[C]∥International Conference on Machine Learning, Chejudo, Korea, 2021: 11830-11841.

[16] Zhu Hu-fei, Huang Yong-hui, Xu Ying, et al. Unmanned aerial vehicle(UAV) object detection algorithm based on keypoints representation and rotated distance-IoU loss[J]. Journal of Real-Time Image Processing, 2024, 21: No.58.

[17] Xie S, Girshick R, Dollar P, et al. Aggregated residual transformations for deep neural networks[C]∥IEEE Conference on Computer Vision and Pattern Recognition, Hawaii, America, 2017: 5431-5440.

[18] Zhang Shi-feng, Chi Cheng, Yao Yong-qiang, et al. Bridging the gap between anchor-based and anchor-free detection via adaptive training sample selection[C]∥IEEE Conference on Computer Vision and Pattern Recognition, Seattle, America, 2020: 9756-9765.

[19] Kullback S, Leibler R. On information and sufficiency[J]. The Annals of Mathematical Statistics, 1951, 22(1): 79-86.

[20] Xia Gui-song, Bai Xiang, Ding Jian, et al. Dota: a large-scale dataset for object detection in aerial images[C]∥IEEE Conference on Computer Vision and Pattern Recognition, Salt Lake City, America, 2018: 3974-3983.

[21] Sun Yi-ming, Cao Bing, Zhu Peng-fei, et al. Drone-based RGB-infrared cross-modality vehicle detection via uncertainty-aware learning[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2022, 32(10): 6700-6713.

[22] Zhou Yue, Yang Xue, Zhang Ge-fan, et al. Mmrotate: a rotated object detection benchmark using pytorch[C]∥ACM International Conference on Multimedia, Lisbon, Portugal, 2022: 7331-7334.

[23] Lin Tsung-yi, Dollar P, Girshick R, et al. Feature pyramid networks for object detection[C]∥IEEE Conference on Computer Vision and Pattern Recognition, Hawaii, America, 2017: 2117-2125.

[24] Liu Shu, Qi Lu, Qin Hai-fang, et al. Path aggregation network for instance segmentation[C]∥IEEE Conference on Computer Vision and Pattern Recognition, Salt Lake City, America, 2018: 1534-1544.

[25] Ghiasi G, Lin Tsung-yi, Pang Ruo-ming, et al. NAS-FPN: learning scalable feature pyramid architecture for object detection[C]∥IEEE Conference on Computer Vision and Pattern Recognition, Long Beach, America, 2019: 7392-7401.

[26] Zhang Jiang-fan, Zhang Yan, Shi Zhi-guang, et al. Unmanned aerial vehicle object detection based on information-preserving and fine-grained feature aggregation[J]. Remote Sensing, 2024, 16(14): No. 2590.

基金资助

国防科技基础加强计划技术领域基金项目(2019-JCJQ-JJ-015)