WGAN-GP数据增强及预训练模型的SAR目标识别方法

SAR Target Recognition Method Based on WGAN-GP Data Enhancement and Pre-Trained Model

摘要

合成孔径雷达自动目标识别（SAR ATR）技术广泛应用于目标监测等军事领域，但标记SAR样本难以获得限制了现有识别技术的使用。提出一种基于带梯度惩罚的生成对抗网络（WGAN-GP）和预训练模型相结合的SAR目标识别方法，利用WGAN-GP对小样本训练数据集进行扩充后，输入到大规模遥感图像场景（RESISC）分类数据集预训练后的卷积神经网络（CNN）模型中进行训练，最终得到SAR目标识别结果。利用运动和静止目标获取识别（MSTAR）数据集检测算法能力，实验结果表明，所提方法所使用的WGAN-GP对比其他生成对抗网络在SAR样本增强上具备性能优势，而RESISC45数据集的选取能有效提升分类器预训练的能力。与现有研究成果相比，所提方法在提高SAR目标识别精度和CNN模型收敛速度上具备优势。

Abstract

Synthetic aperture radar automatic target recognition (SAR ATR) technology is widely utilized in military target detection. However, the difficulty in obtaining labeled SAR samples restricts the utilization of existing recognition techniques. A SAR target recognition method, which combines a wasserstein GAN with gradient penalty (WGAN-GP) with a pre-trained model, is proposed. After augmentation of small training datasets using WGAN-GP, the data is then fed into a convolutional neural network (CNN) model pretrained on the large-scale remote sensing image scene classification (RESISC) dataset for training, ultimately yielding SAR target recognition results. The algorithm’s capabilities are evaluated using the moving and stationary target acquisition and recognition (MSTAR) dataset. Experimental results indicate WGAN-GP, when utilized, outperforms other generative adversarial networks in SAR sample enhancement. Furthermore, the selection of the RESISC45 dataset is found to effectively enhance the classifier’s pretraining ability. Compared to existing research findings, the approach exhibits advantages in improving SAR target recognition accuracy and CNN model convergence speed.

Graphical abstract

关键词

合成孔径雷达自动目标识别 / 带梯度惩罚的生成对抗网络 / 预训练模型

Key words

SAR ATR / WGAN-GP / pre-trained model

合成孔径雷达（Synthetic Aperture Rader, SAR）是一种成像雷达，相较于红外成像和光学设备而言，它不被天气限制，具有全天候观测的优势^[1]。由于特殊的成像机制和复杂的电磁散射环境，SAR图像比光学图像获取难度更大，目标识别上也更具复杂性。SAR-ATR问题主要分为3个阶段：检测、识别和分类^[2]。其中：检测阶段指的是用恒定虚警率检测器从图像中提取需要识别的目标^[2]；识别阶段是在检测的基础上，消除虚假目标和干扰信号^[3]；分类阶段则是将筛选后的图像经过分类器分类，按不同类型集合输出的过程。

对于SAR-ATR的分类阶段而言，常用的方法主要有基于模型、基于特征和基于深度学习等。基于模型的方法通过预先设计SAR输出目标的CAD模型，再将识别阶段提取的SAR目标特征与模型特征进行比较^[4]，利用一种自下而上的方式来解决识别问题^[5]，但此类方法的缺点是对高精度3D仿真CAD模型的搭建阶段有着较高要求，需预先知晓目标的全部模型特征，存在不小的难度。

随着机器学习的出现，人们开始利用支持向量机（Support Vector Machines, SVM）^[6]、AdaBoost^[7]等方式来处理SAR ATR问题，这一类基于特征的方式，是先利用提取目标的特性来分类目标，然后使用特征矢量法来训练目标分类器，最后最小化代价函数完成目标分类任务。基于深度学习的方法近年来在SAR ATR领域逐渐超越了以往方法所能达到的指标，人们发现卷积网络（Convolutional Neural Networks, CNN）^[8]在目标识别方面非常有效。而针对SAR样本量小的应用场景，由Goodfellow等^[9]提出的生成式对抗网络（Genertive Adversarial Networks, GAN）则发挥了关键作用，它通过学习原始数据中的隐藏特征分布，生成与真实样本相似度较高的伪样本。学者们提出了多种基于GAN结合CNN的SAR目标识别方法。Guo等^[10]利用原始 GAN 对SAR目标各个方位角下的样本进行扩充，但由于SAR图像中含有的相干斑噪声干扰，发生了模式崩溃现象。Gao 等^[11]基于深度卷积生成对抗网络研究了不同标记率对SAR目标识别网络的影响，并利用两个判别器进行联合训练，为多判别器提供了思路，利用多判别器生成对抗网络，在半监督学习的条件下，结合标签平滑正则化和条件生成对抗网络（Conditional Genertive Adversarial Nets, CGAN）提出了各自的识别模型^[12-13]。

由于难以提取SAR图像的底层特征和GAN本身存在的缺陷，以上方法所使用的GAN在训练过程中都存在不稳定的风险。考虑到带梯度惩罚的生成对抗网络（Wasserstein GAN with Gradient Penalty, WGAN-GP）^[14]从原理上给出了应对方案，能很好地解决此类问题，提出一种基于WGAN-GP和大规模数据集预训练的SAR-ATR方法。首先利用WGAN-GP对不同种类的小样本训练数据集进行分别扩充，得到新的带标签扩充数据集；然后将合并的数据集导入具有大规模数据集预训练权重的CNN模型中进行训练；最终得到SAR目标识别结果。利用MSTAR数据集^[15]上进行检测，在训练样本有限的情况下，基于WGAN-GP和大规模数据集预训练方法的识别精度和模型收敛速度得到了显著提高，并有着良好的泛化效果。

1 研究思路

基于WGAN-GP数据增强及预训练模型的SAR目标识别方法研究思路如图1所示，主要包含3个步骤：1）小样本数据增强扩充部分，提出一种基于WGAN-GP的小样本数据增强方法，将MSTAR数据集中的每一类样本分别进行扩充，得到新的样本数据集；2）大规模数据集预训练部分，提出一种基于大规模数据集的预训练方法，选取ImageNet和NMPU-RESISC45等^[16]大规模数据集进行预训练，得到了包含预训练权重的分类网络模型；3）SAR目标分类识别部分，运用预训练之后的模型对新数据集进行识别，输出SAR目标识别结果。

1.1 小样本数据增强扩充

1.1.1 WGAN-GP

利用生成对抗网络增强SAR目标图片的原理是将随机噪声输入到生成器网络生成假样本，再与真样本混合输入判别网络以判别真假，如图2所示。此过程中，生成网络的目标是使判别网络的准确率变低，而判别网络的目标则与之相反，从而形成对抗。当生成样本越来越真时，判别网络被迫越来越强，进而促使生成网络生成更接近真样本的SAR目标图片，最终目标是达到理想的纳什均衡状态。

其中，目标函数^[9]如式（1）

\begin{array}{l}\underset{G}{\mathrm{m}\mathrm{i}\mathrm{n}}\underset{D}{\mathrm{m}\mathrm{a}\mathrm{x}}V\left(G,D\right)=E_{x\sim p_r\left(x\right)}\left[\mathrm{l}\mathrm{o}{\mathrm{g}}_{\mathrm{2}}D\left(x\right)\right]+\\ E_{z\sim p_g\left(z\right)}\left[\mathrm{l}\mathrm{o}{\mathrm{g}}_{\mathrm{2}}(\mathrm{1}-D(G(z)))\right]\end{array}（1）

式中：E为期望；x\sim p_r\left(x\right)表示x服从真实样本的概率分布；D(x)表示将样本判别为真样本的概率分布；z表示随机噪声；D(G(z))表示将生成样本判别为真的概率分布。

然而，由于SAR特殊的回波成像机制，成像结果往往带有大量相干噪声，这会误导生成网络和判别网络将这些噪声误识别为图片原本的目标特征。另外，由于原始GAN中的JS散点在物理上已被证明并不符合于衡量p_r和p_g分布间的距离，这都使得在使用原来的GAN进行SAR目标图片生成时常常伴随着模型崩溃和训练不平衡的问题。由此推出了WGAN方法^[17]，把JS散度为Wasserstein距离，定义如式（2），含义为将分布r移动到分布g所需距离。

W\left(P_r,P_g\right)=\underset{\gamma \sim \mathrm{\Pi }\left(P_r,P_g\right)}{\mathrm{i}\mathrm{n}\mathrm{f}}{E}_{(x,y)\sim \gamma }\left[‖x-y‖\right]（2）

相比JS散度，Wasserstein距离的优势是在分布不重叠时也能根据距离提供梯度，WGAN将训练过程更改为先最优化判别网络，再将损失提供给生成网络，因此不需要平衡生成网络和判别网络。其中，判别网络被训练时的目标函数^[17]如式（3）,用于近似真实分布与生成分布之间的Wasserstein距离。

\mathrm{m}\mathrm{a}\mathrm{x}L=E_{x\sim p_g(x)}[D(x)]-E_{x\sim p_r(x)}[D(x)]（3）

WGAN-GP在WGAN的基础上改进了L约束条件，原因是WGAN使用的权重裁剪会使判别网络的参数趋于限制的边界值，从而影响判别网络的性能。WGAN-GP直接将判别网络的梯度加入到判别网络来施加L约束，加入梯度惩罚（Gradient Penalty）后，将判别网络的目标函数^[14]更改为式（4），在式（3）的基础上将输入梯度二范数约束在1附近，用以保证Lipschitz连续：

L=E_{x\sim p_g\left(x\right)}\left[D\left(x\right)\right]-E_{x\sim p_r\left(x\right)}\left[D\left(x\right)\right]+\lambda E_{\widehat{x}\sim p_r(\widehat{x})}\left[{\left({‖{\nabla }_{\widehat{x}}D(\widehat{x})‖}_{\mathrm{2}}-\mathrm{1}\right)}^{\mathrm{2}}\right]（4）

利用经过改进的WGAN-GP数据增强方法对MSTAR数据集进行样本扩充，实现了将原始小样本SAR目标数据增强扩充的目的。

1.1.2 生成结果

选取MSTAR数据集中的10类SAR目标数据作为训练集，然后利用DCGAN、WGAN-GP等生成对抗网络进行仿真对比，所得生成结果如图3和图4所示，分别是DCGAN和WGAN-GP网络第10、100、300、500个epoch生成的图像，这证实将GAN应用于SAR目标小样本数据扩充的可行性。

从生成图像的训练过程来看， DCGAN的优势是收敛速度更快，第10个epoch 时已具备初步目标轮廓，但随着epoch的增加，可以看到DCGAN所生成的SAR目标图像含有较多的相干斑噪声，而WGAN-GP生成效果相比DCGAN更加稳定。

此外，本文采用单轮训练时间、平均绝对差（Mean Absolute Deviation, MAD）和弗雷歇起始距离（Fréchet Inception Distance, FID）等指标来比较生成结果，其中：MAD通过计算判别器曲线相邻点间绝对差值的均值来表示网络平滑性，值越小表明曲线越平滑；FID使用均值和协方差矩阵来计算生成样本与真实样本概率分布之间的距离，值越小代表生成结果越好，由此来判断生成网络的好坏。FID计算方法如式（5）：

\mathrm{F}\mathrm{I}\mathrm{D}\left(r,g\right)={‖u_r-u_g‖}_{\mathrm{2}}^{\mathrm{2}}+T_r(\sum _r+\sum _g-\sqrt[]{\sum _r\sum _g})（5）

式中：r和g分别表示真实样本和生成样本；(u_r,\sum _r)和(u_g,\sum _g)分别表示真实样本分布和生成样本分布的均值和协方差矩阵；T_r表示矩阵的迹。

不同网络的生成效果如表1所示。从结果上看，DCGAN由于网络较浅，收敛速度更快，但收敛平滑性较差，FID值最大；WGAN网络的各项指标均处于中位，网络复杂性的提升带来了FID值的降低和单轮训练时长的增大；WGAN-GP网络引入梯度惩罚优化了目标函数后进一步降低了FID值，网络收敛的平滑性指标MAD在3个网络中处于最优值，从而证实了WGAN-GP网络在SAR目标数据增强上的有效性和可靠性。图5~图7是不同生成对抗网络生成器与判别器的Loss曲线。

1.2 基于大规模预训练模型的目标识别方法

小样本数据增强扩充后，为提高深度神经网络模型的识别准确率和识别效率，提出结合基于大规模预训练模型的目标识别方法，如图8所示。

首先利用大规模数据集输入到CNN网络中进行预训练，使用网络学习基础图像中的共性特征，从而解决模型识别拟合速度慢的问题。SAR目标数据经过小样本数据增强扩充后直接进行深度神经网络训练，虽然能全面学习特征信息，但时间成本较高。本方法通过保存预训练权重，使识别网络提前学习目标的共有特征，减少训练拟合轮次。大规模数据集选取RESISC45数据集，该数据集包含丰富的图像数据共性特征。

其次是输入小样本数据增强扩充后SAR目标数据，对模型进行分步训练，主要目的是使模型学习数据所包含的个性特征，通过获得对SAR目标特征的识别能力，输出目标类型。分步训练的区别在于整个模型的权重更新部分不同，第1次训练对预训练权重进行冻结，仅训练模型的分类器部分；第2次训练前解冻CNN网络中和分类器相接的卷积层权重，在首次训练基础上对分类器和卷积层进行训练，通过不断更新权重，直至结束训练，步骤如图9所示。

1.3 SAR目标分类与识别

利用预训练之后的模型对增强数据集进行分类与识别，输出SAR目标识别结果。模型训练的目的是使其学习目标所包含的特征信息，从而具备准确识别SAR目标数据特征的能力。SAR目标分类与识别的具体流程如图10所示，将经过增强的SAR目标数据输入训练模型，经过神经网络前向传播，输出目标标签值与真实值的误差来确定是否结束训练，并依据反向传播逐层计算各神经元输出向量误差，调整各层间连接权重，重复上述步骤多次将目标的特性转化为模型的连接权重参数，从而赋予了模型对SAR目标数据的分类和识别能力。

2 实验与分析

通过设置3个方法组进行对照实验分析，以检测本文方法的有效性和可靠性。首先，依照本文方法得到的识别模型完成SAR目标分类与识别的结果；其次，引入参照组，分别使用无数据集、ImageNet数据集替换RESSC45数据集进行预训练，获得对应权重，分析对比3个方法组识别结果的准确性及拟合曲线的收敛速度；最后，与已有研究成果的结果进行比较，综合分析本文方法所具备的优缺点，验证本文提出的模型具备的准确度和性能情况。

2.1 实验条件

实验所用软硬件条件如表2所示。

2.2 实验数据集

实验数据集采用MSTAR数据集的标准工作条件（SOC）下的10类地面目标作为研究对象，该数据集以雷达俯仰角作为主要分类依据，包含不同场景下的各类SAR目标图片。其中，SOC条件下的训练集数据采用17°成像角的目标图片，测试集则是15°。本次实验采用交叉验证的方式，将全部数据集分组划分为训练集1个、测试集4个。

2.3 神经网络参数

本文选取ResNet-18作为CNN识别网络，网络训练优化器选用Adam，批尺寸为32，激活函数RELU，损失函数为交叉熵损失。预训练数据集采用RESISC45大规模数据集。该数据集内涵丰富的遥感图像数据，拥有45个不同类别的场景共计31 500幅图像。其他两个对照组采用不进行预训练和利用ImageNet数据集的方法进行预训练作为对比。进行模型训练时，将训练集随机打乱，测试集分组进行验证。训练50轮后选取在测试集上准确率最高的模型权重，取平均值作为测试模型的权重。

2.4 实验过程

2.4.1 方法验证

分别将实验数据送入3个不同网络模型进行训练和验证，输入网络得到的混淆矩阵显示了目标真实标签和输出标签的对比结果，如图11所示。

通过方法1的混淆矩阵可以发现，没有经过预训练的网络模型目标识别结果存在部分错误，尤其是两类特征相近的目标，例如有13个‍T72_132类目标被识别为BMP2_C21，这是由于识别网络对目标特征把握能力较浅，面对相似数据时混淆了识别结果；方法2引入了ImageNet数据集进行预训练，但从混淆矩阵结果来看，反而降低了识别效果，例如BRT_70目标被错误地识别为BMP2_C21目标个数由3个上升到30个，这可能是由于不契合的预训练数据集无法适应当下的任务，导致了反效果；所提方法使用共性特征更为近似的遥感图像场景分类数据集进行预训练，较其他对照组的识别方法而言，混淆矩阵错误数量最少，网络识别准确度最高，模型效果最好。

2.4.2 识别准确率和识别速度

表3~表5记录了3种方法下各类目标的正确识别个数占比、查准率、查全率及F1度量情况。从表3可以看出，有3类目标（‍BTR_60、T72_132和ZSU_23_4）达到了100%的识别精度，但其他各类识别结果都有存在着混淆错误；从表4的结果来看，通过ImageNet预训练后的模型表现最差，识别率及各类精度在3种方法中最低，没有一类目标识别精度达到100%，证实选取不合适的数据集进行预训练的网络模型在识别结果上效果更差；表5展示的利用RESISC45数据集预训练后的网络，有100%识别的目标类别增加到了6种，且对于其他目标的识别精度都有不同程度提高，整体识别率达到了最高值99.46%。综合以上分析，可以得知所提方法选取了合适的大规模数据集对网络进行预训练，有助于网络更好地学习深层特征，从而能够更有效地捕捉和学习SAR图像的特征，进而训练出更出色的网络模型。

从识别速度来看，图12是3种方法下的准确率随训练轮次的折线图。可以看出，使用预训练方法的两组模型收敛速度更快，分别在第4、第3个轮次达到80%以上的识别率，而不进行预训练的方法1在第8个轮次才达到80%以上，其中，本文方法的识别模型在第4个轮次识别率已达90%以上，显示出本文方法的性能优势。

综上，经过3种方法的识别准确率和识别速度的对比，本文方法具有更高的识别准确率和收敛速度，具备更好的性能。

2.4.3 消融实验分析

消融实验^[18]（Ablation Experiment）是验证算法不同模块作用有效程度的常用做法。首先，设立实验基准方法，再分别屏蔽不同算法模块进行模型训练，最后对比各方法测试结果，分析各模块对算法的贡献。其中，基准方法采用本文方法，方法1至方法3在此基础上遍历缺失WGAN-GP生成对抗模块或RESISC45预处理模块的情况。为保证结果的可靠准确，各方法采用相同的MSTAR数据集，初始参数严格保持一致，识别网络均为ResNet-18，网络训练优化器选用Adam，批尺寸为32，激活函数为RELU，损失函数为交叉熵损失。表6展示了不同模块对识别准确率的影响，可以看出两个模块都对准确率有促进作用，但生成对抗模块的作用更有效，对比方法1与基准方法，可以看出加入生成对抗模块使得识别准确率提升了2.11个百分点。实验证明了本文所使用的生成对抗模块与预处理模块对提高模型识别性能均有着积极作用。

2.5 与现有研究成果比较

表7将本文方法和现有研究成果在识别准确率上进行了比较，本文方法识别准确率达到了99.46%，对比传统识别方法如PCA+SVM提升了5.14个百分点，对于同样是卷积结合数据增强的MGAN-CNN方法提升了1.65个百分点，可见本文提出的方法在解决SAR目标识别问题上有一定的优势。

3 结束语

在改进SAR目标小样本增强扩充的基础上和大规模遥感数据集预训练方法相结合，提出了一种基于WGAN-GP数据增强及预训练模型的SAR目标识别方法。该方法探索了一条基于WGAN-GP数据增强途径，并将增强后的目标数据输入大规模遥感数据集预训练后的CNN网络进行训练，得到SAR目标分类识别模型，模型通过预训练了解遥感数据共性特征，再根据目标图像个性特征输出具体目标类型，提升了准确性和时效性。在MSTAR数据集上实验得到了验证，证明本方法可在一定程度上解决小样本量条件下的深度神经网络模型识别准确率不高和增强后数据量大导致时效性不高的问题。此外，在将本方法预训练数据集替换为ImageNet数据集或不进行预训练进行对比实验，证实了加入预训练部分对模型时效性带来的提升，但选择不合适的预训练数据集会导致模型识别准确率的下降。最后，与现有相关研究成果相比，在同样的SOC标准工作条件下的10类地面目标SAR分类实验中，本方法平均识别准确率达到99.46%，对比传统识别方法如PCA+SVM提升了5.14个百分点，对于同样是卷积结合数据增强的MGAN-CNN方法提升了1.65个百分点，体现了所提方法在SAR目标类型识别问题上的优势。

参考文献

[1] 彭胜潮，赵晶总，姜景山，合成孔径雷达图像智能解译［M］. 北京：科学出版社，2020.

[2] DUDGEON D， LACOSS R. An overview of automatic target recognition［J］. The Lincoln Laboratory Journal，1993，6（1）：3-10.

[3] PARK J I， KIM K T. Modified polar mapping classifier for SAR automatic target recognition［J］.IEEE Transactions on Aerospace and Electronic Systems， 2014，50（2）：1092-1107.

[4] HUMMEL R. Model-based ATR using synthetic aperture radar［C］∥Record of the IEEE 2000 International Radar Conference. Alexandria，Egypt： IEEE， 2000：856-861.

[5] KNAPSKOG A O.Classification of ships in TerraSAR-X images based on 3D models and silhouette matching［C］∥8th European Conference on Synthetic Aperture Radar.Aachen，Germany： VDE， 2010：1-4.

[6] ZHAO Q， PRINCIPE J C. Support vector machines for SAR automatic target recognition［J］. IEEE Transactions on Aerospace and Electronic Systems，2001，37（2）：643-654.

[7] SUN Y J， LIU Z P， TODOROVIC S，et al. Adaptive boosting for SAR automatic target recognition［J］. IEEE Transactions on Aerospace and Electronic Systems，2007，43（1）：112-125.

[8] KRIZHEVSKY A， SUTSKEVER I， HINTON G E. ImageNet classification with deep convolutional neural networks［J］. Communications of the ACM，2017，60（6）：84-90.

[9] GOODFELLOW I J， POUGET A J， MIRZA M，et al. Generative adversarial networks［DB/OL］. ［2023-11-02］.

[10] GUO J Y， LEI B， DING C B，et al. Synthetic aperture radar image synthesis by using generative adversarial Nets［J］. IEEE Geoscience and Remote Sensing Letters，2017，14（7）：1111-1115.

[11] GAO F， YANG Y， WANG J，et al. A deep convolutional generative adversarial networks（DCGANs）-based semi-supervised method for object recognition in synthetic aperture radar（SAR）images［J］. Remote Sensing，2018，10（6）：846.

[12] ZHENG C， JIANG X， LIU X Z. Multi-discriminator generative adversarial network for semi-supervised SAR target recognition［C］∥2019 IEEE Radar Conference.Boston，USA： IEEE，2019. DOI：10.1109/RADAR.2019.8835801 .

[13] LIU X Y， HUANG Y L， WANG C W，et al. Semi-supervised SAR ATR via conditional generative adversarial network with Multi-Discriminator［C］∥2021 IEEE International Geoscience and Remote Sensing Symposium. Brussels国家：IEEE，2021：2361-2364.

[14] GULRAJANI I， AHMED F， ARJOVSKY M，et al. Improved training of wasserstein GANs［C］∥Proceedings of the 31st International Conference on Neural Information Processing Systems. Long Beach， California， USA：Curran Associates Inc.，2017：5769-5779.

[15] KEYDEL E R， LEE S W， MOORE J T. MSTAR extended operating conditions：a tutorial［C］∥Algorithms for Synthetic Aperture Radar Imagery III.Orlando，USA：SPIE，2019. DOI：10.1117/12.242059 .

[16] CHENG G， HAN J W， LU X Q.Remote sensing image scene classification： benchmark and state of the art［J］. Proceedings of the IEEE， 2017， 105（10）：1865-1883.

[17] ARJOVSKY M， CHINTALA S， BOTTOU L. Wasserstein GAN［DB/OL］. ［2023-09-22］.

[18] REN S Q， HE K M， GIRSHICK R，et al. Faster R-CNN： towards real-time object detection with region proposal networks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017，39（6）：1137-1149.

[19] AHARON M， ELAD M， BRUCKSTEIN A. K-SVD： an algorithm for designing overcomplete dictionaries for sparse representation［J］. IEEE Transactions on Signal Processing， 2006，54（11）：4311-4322.

基金资助

国家自然科学基金(61601516)