基于Dropout-PGGAN的铁路货检图像数据增强方法研究

Data Enhancement Method for Railway Freight Inspection Images Based on Dropout-PGGAN

摘要

铁路货检图像智能识别需要大量的负类样本用于模型训练，但符合要求的负类样本稀少且收集困难。为解决铁路货检图像负类样本不足的问题，提出一种基于Dropout改进的渐进增长式生成对抗网络(PGGAN)数据增强方法，使用Dropout-PGGAN生成所需的图像，选择可学习感知图像块相似度(LPIPS)和FID进行生成图像质量评价，运用基于YOLOv5的图像识别模型验证本方法的有效性。以铁路棚车车门开启图像为例对方法进行检验，结果表明该方法能提升铁路货检图像生成质量，LPIPS值较未改进的PGGAN最多可降低10.8%，FID值较未改进的PGGAN最多可降低23.6%，且使用基于元素维度的Dropout改进PGGAN后，生成图像的质量比使用基于通道维度的Dropout改进PGGAN时更高。同时，本方法能使车门开启问题识别率最多提升6.1%，表明生成的图像可用于扩充原有稀疏样本。

Abstract

The intelligent recognition of railway freight inspection images requires a large number of negative samples for model training, but the negative samples that meet the requirements are rare and difficult to collect. In order to solve the problem of insufficient negative samples in railway freight inspection images, a data enhancement method based on Dropout-improved Progressive Growing of Generative Adversarial Networks (PGGAN) was proposed. The required images were generated by Dropout-PGGAN, and the Learned Perceptual Image Patch Similarity (LPIPS) and Fréchet Inception Distance (FID) were selected to evaluate the quality of the generated images. The effectiveness of this method was verified by the image recognition model based on YOLOv5. The door opening images of the railway box car were taken as an example to test the method. The results show that the method can improve the quality of railway freight inspection image generation. The LPIPS value can be reduced by up to 10.8% compared with the unmodified PGGAN, and the FID value can be reduced by 23.6% at most compared with the unmodified PGGAN. After using Dropout based on element dimension to improve PGGAN, the quality of the generated images is higher than that using Dropout based on channel dimension to improve PGGAN. At the same time, this method can improve the recognition rate of the door opening problem by up to 6.1%, indicating that the generated images can be used to expand the original sparse samples.

Graphical abstract

关键词

铁路货检 / 数据增强 / 生成对抗网络 / 图像生成 / 质量评价

Key words

Railway Freight Inspection / Data Enhancement / Generative Adversarial Networks / Image Generation / Quality Evaluation

0　引言

铁路货车装载状态检查是保障铁路货运安全的重要基础工作，主要包括货车状态检查、货物装载状态检查及货物整理。中国国家铁路集团有限公司大力推动铁路货检智能化，创新和推广铁路货检图像智能识别技术，部分铁路货检站已经开始使用货检图像智能识别设备辅助货检人员视频检查，在降低问题车漏报、提升货检作业质量等方面取得了一定成效^[1]，但在项点覆盖面、结果准确率上，与人工判断还存在一定差距。因此，按照铁路货运检查项点，采用深度学习方法开发铁路货检图像智能识别模型，是货检智能技术创新的主要研究方向。然而，铁路现场采集的货检图像同类样本数量少、收集难度大，存在样本稀疏问题，难以有效支撑识别模型的训练与构建，导致识别模型失效。

解决样本稀疏问题，可以增加现场样本数量，但是周期长、成本高，甚至由于一些项点实际出现概率低而无法从现场有效采集。因此目前主要采用数据增强方法，以低成本的方式解决该类问题。图像数据增强有多种实现方法，大体上可以分为2类：第一类方法为传统数据增强方法，通过几何变换、颜色变换等方式生成新的图像数据^[2-4]，这类方法容易操作，但实质上并没有产生新的语义信息，对图像识别模型性能的提升有限^[5-6]。第二类方法是使用生成模型，生成具有新语义信息的图像，相比于需要对数据分布进行显式建模的传统生成模型，生成对抗网络(Generative Adversarial Networks，GAN)及其衍生模型具有数据采样方式简单，可避免高难度计算等优势，正得到更多的关注和广泛的应用^[7]，相关研究显示，GAN生成的图像质量较好，能有效提高图像识别模型精度^[8-10]。对于铁路货检图像数据增强方法，目前使用的大多是图像翻转、对比度增强、色彩增强、添加噪声等传统数据增强方法^[11]，本质上没有增加新的图像信息。而基于生成模型的方法，目前在铁路货检领域尚未出现成功的应用案例，原因主要在于，包括GAN在内的多数生成模型生成图像的分辨率较低，无法满足铁路货检标准图像8 000×2 048像素的分辨率。

综上所述，研究使用可生成高分辨率图像的渐进增长式生成对抗网络(Progressive Growing of Generative Adversarial Networks，PGGAN)并使用Dropout加以改进，提出一种基于Dropout-PGGAN的数据增强方法，用于生成高质量的铁路货检图像。根据铁路货运检查项点将铁路货检图像的检测目标进行剪裁，选出存在问题的同类局部图像作为训练数据样本，使用PGGAN模型进行训练，并添加Dropout层解决模型因训练样本过少而出现过拟合的问题，运用可学习感知图像块相似度(Learned Perceptual Image Patch Similarity，LPIPS)和FID(Fréchet Inception Distance)2种指标对图像质量进行评价，验证模型的改进效果，将生成图像与真实图像一同放入图像智能识别模型中，进行图像识别实验，以进一步验证铁路货检图像数据增强方法的有效性。

1　铁路货检图像数据增强方法概述

既有图像数据生成方法一般采用GAN模型或者由其改进的PGGAN模型，但是在实际业务运用中，均存在一定的问题难以解决。GAN由Goodfellow等^[12]提出，主要由生成器(Generator，G)和判别器(Discriminator，D)2个部分组成，其基本思想是对抗博弈，判别器负责判断数据真伪，生成器负责生成伪造的数据以“骗过”判别器。当生成器生成的数据十分接近真实数据，判别器就无法判别数据真伪，GAN模型达到“纳什均衡”状态。PGGAN是GAN的衍生模型，主要实现分辨率从小到大的分步训练，更好地继承图像整体信息，使得生成效果比一次生成更好。

在铁路货检实际作业中，针对一个问题项点的负类样本数量过少，使用PGGAN模型进行训练时容易产生过拟合现象，导致生成图像多样性不足，不利于稀疏样本的扩充。对此，提出Dropout-PGGAN模型，在PGGAN中加入Dropout层，让某个神经元以一定的概率停止工作，增加模型泛化能力。同时，考虑到图像生成效果评判标准不够明确，首先采用LPIPS和FID两种指标分别评价生成图像个体的质量和生成图像整体的质量，然后使用基于YOLOv5的图像智能识别模型，在原训练数据的基础上增加生成数据后观察模型识别效果的提升情况，以此评判图像生成效果。在此基础上，提出基于Dropout-PGGAN的铁路货检图像增强方法，主要包括铁路货检图像数据集构建、Dropout-PGGAN模型训练、图像生成及质量评价等步骤。

2　铁路货检图像Dropout-PGGAN生成模型

2.1　PGGAN模型

PGGAN又称ProGAN，是一种渐进增长式生成对抗网络，由Karras等^[13]提出。PGGAN采用一种渐进式的训练方式，先学习生成4×4像素低分辨率的图像，逐步提高分辨率，最终可生成1 024×1 024像素分辨率的图像。PGGAN训练过程如图1所示，将随机噪声输入生成器中，经过训练后生成器输出生成的图像，判别器根据输入的生成图像与真实图像训练模型，判断图像真假。一般来说，每个像素级别的迭代次数，由模型事先根据经验指定。PGGAN能够较有效解决GAN模型难以生成高分辨率图像的问题。

PGGAN单个像素级别的网络结构如图2所示。生成器G按照随机向量 z，生成初始样本G( z )，判别器D通过对比真实样本 x 和生成样本G( z )，得到生成器的目标函数L(G)和判别器的目标函数L(D)，根据L(G)和L(D)的值，使用Adam优化器分别更新生成器G和判别器D的参数，使得L(G)和L(D)能达到最小化。按照指定迭代次数训练完毕后，模型进入下一像素级别的训练。

PGGAN中生成器的目标函数^[14]如公式⑴所示，其值越小说明判别器判断生成样本是真实样本的概率越大，生成器训练得越好。判别器的目标函数由WGAN目标函数、梯度惩罚项(Gradient Penalty，GP)外加漂移惩罚项结合而成^[13]，如公式⑵所示，用于衡量生成样本分布与真实样本分布之间的Wasserstein距离，其值越小说明判别器训练得越好。

L(G)=-E_{\tilde{\mathit{x}}~p_g}\left[D\left(\tilde{\mathit{x}}\right)\right]⑴

L(D)=E_{\tilde{\mathit{x}}~p_g}\left[D\left(\tilde{\mathit{x}}\right)\right]-E_{\mathit{x}~p_r}\left[D\left(\mathit{x}\right)\right]+\lambda E_{\widehat{\mathit{x}}~p_{\widehat{\mathit{x}}}}\left[{\left({‖{\nabla }_{\widehat{\mathit{x}}}D\left(\widehat{\mathit{x}}\right)‖}_{\mathrm{2}}-\mathrm{1}\right)}^{\mathrm{2}}\right]+{\epsilon }_{drift}{E}_{\mathit{x}~p_r}\left[D{\left(\mathit{x}\right)}^{\mathrm{2}}\right]⑵

式中：\mathit{x}为真实样本；\tilde{\mathit{x}}为生成样本；p_r为真实样本的分布；p_g为生成样本的分布；D为判别器函数，其值越大表明判别器认为输入样本是真实样本的概率越大；E_{\mathit{x}~p_r}，E_{\tilde{\mathit{x}}~p_g}分别为\mathit{x}，\tilde{\mathit{x}}的期望；\lambda为梯度惩罚项的权重系数，一般取值为10；\widehat{\mathit{x}}由随机数\epsilon在一对真实样本与生成样本上进行随机插值采样得到，\epsilon满足0~1之间的均匀分布；{\nabla }_{\widehat{\mathit{x}}}D\left(\widehat{\mathit{x}}\right)为函数D\left(\widehat{\mathit{x}}\right)对\widehat{\mathit{x}}的梯度，{‖{\nabla }_{\widehat{\mathit{x}}}D\left(\widehat{\mathit{x}}\right)‖}_{\mathrm{2}}为{\nabla }_{\widehat{\mathit{x}}}D\left(\widehat{\mathit{x}}\right)的二范数；{\epsilon }_{drift}为漂移惩罚项的权重系数，一般取值为0.001。

2.2　基于Dropout的改进PGGAN模型

GAN模型的训练需要大量的数据基础才能保证训练效果。在铁路货检作业中，获得针对一个问题项点的大量负类样本具有一定的难度，需要付出较大的时间成本和经济成本。在训练数据不足的条件下，使用PGGAN模型进行训练容易产生过拟合现象，影响铁路货检图像的质量和多样性。对此，考虑改变部分神经元的进化机制，引入Dropout层，增加模型泛化能力，缓解过拟合的发生。Dropout可翻译为“随机丢弃”，其原理是在PGGAN进行前向传播时，随机删除某些神经元及其连接^[15]，使网络中特征图的部分元素变为0。在一次训练完成后，恢复那些神经元及其连接，下一次训练时再随机删除一些神经元及其连接。Dropout对整个网络的影响主要取决于该层在网络中的位置、维度和概率^[16]。

铁路货检图像较大，训练过程占用计算资源较大，Dropout层的添加位置应同时考虑训练效果和资源占用。由于铁路货检图像负类样本稀少，PGGAN生成的低分辨率图像清晰度较低，且在判别过程中，低分辨率图像包含的特征信息较少；同时考虑到铁路货检图像较大，每加入一个Dropout层需要占用大量计算资源，经济性较差。在前期大量实验基础上，将Dropout层添加到PGGAN常规卷积模块中第2个3×3卷积层之后，且只在生成和判别图像分辨率不小于256×256像素的常规卷积模块中添加Dropout层。Dropout-PGGAN生成器网络结构如表1所示，Dropout-PGGAN判别器网络结构如表2所示。

Dropout的维度主要有元素维度和通道维度2种，元素维度是以元素为单位在所有特征图上随机丢弃部分元素，通道维度是以通道为单位随机丢弃特征图中整个通道的元素。为研究Dropout维度对结果的影响，将对元素和通道2种维度分别进行Dropout操作并进行比较。Dropout的概率指的是随机丢弃元素，即使特征图中的元素值变为0的概率，概率值越大说明随机丢弃的元素越多。为研究Dropout概率对结果的影响，将对2种维度的Dropout分别设置0%，10%，20%，30%，40%，50%共6种不同的概率值进行实验。

3　生成图像质量评价方法

采用铁路货检Dropout-PGGAN模型生成图像后，需要评估生成图像能否用于扩充原有的稀疏样本。传统的图像质量评价是对某一张图像的清晰度、亮度、对比度、畸变率等指标进行评价，而对于GAN生成的图像质量，评价标准是生成图像与真实图像之间的相似程度，即生成图像数据分布与真实图像数据分布的相似性^[17]。生成图像质量评价指标大体上可分为2类，一类是2张图像之间的对比，包括峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)、结构相似性(Structural Similarity，SSIM)、LPIPS等指标；另一类是2组图像数据之间的对比，包括Inception评分(Inception Score，IS)、Mode评分(Mode Score，MS)、FID等。研究使用LPIPS 和FID2种指标来进行生成图像质量评价。

LPIPS用于度量2张图像之间的差别^[18]，其使用预训练的深度神经网络来提取图像特征，然后计算这些特征之间的距离，以评估图像之间的感知相似度。LPIPS的计算方法如公式⑶所示。

d\left(\mathit{x},{\mathit{x}}_{\mathrm{0}}\right)=\sum _l\frac{\mathrm{1}}{H_l{W}_l}\sum _{h,w}{‖{\mathit{w}}_l\odot \left({\widehat{\mathit{y}}}_{hw}^l-{\widehat{\mathit{y}}}_{\mathrm{0}hw}^l\right)‖}_{\mathrm{2}}^{\mathrm{2}}⑶

式中：\mathit{x}，{\mathit{x}}_{\mathrm{0}}分别为参与计算的2张图像的特征；H_l，W_l分别为第l层图像的高度和宽度，像素；{\widehat{\mathit{y}}}_{hw}^l，{\widehat{\mathit{y}}}_{\mathrm{0}hw}^l分别为图像\mathit{x}，{\mathit{x}}_{\mathrm{0}}在第l层\left(h,w\right)位置被提取的特征；{\mathit{w}}_l为第l层用于缩放激活通道的向量。

LPIPS取值范围在0~1之间，LPIPS值越小表明2张图像相似程度越高，若LPIPS=0则说明2张图像完全相同。相比于PSNR，SSIM等传统指标，LPIPS更符合人类的感知情况。LPIPS无法评价生成图像的多样性，FID可弥补这一缺陷。

FID由IS改进而来^[19]，其先使用Inception模型获取生成图像和真实图像的特征，然后计算生成图像特征与真实图像特征之间的弗雷歇(Fréchet)距离，得到FID的结果。FID的计算方法如公式⑷所示。

d^{\mathrm{2}}\left(\left(m_r,C_r\right),\left(m_g,C_g\right)\right)={‖m_r-m_g‖}_{\mathrm{2}}^{\mathrm{2}}+Tr\left(C_r+C_g-\mathrm{2}{\left(C_r{C}_g\right)}^{\frac{\mathrm{1}}{\mathrm{2}}}\right)⑷

式中：m_r，m_g分别为真实样本分布p_r和生成样本分布p_g的均值；C_r，C_g为协方差；Tr表示矩阵的迹。

FID值越小表明生成图像和真实图像之间的分布越接近，生成图像的质量越高，若FID=0则说明2组样本的分布完全相同。相比于IS，FID对图像噪声有更好的鲁棒性，且能检测出生成图像过于单一的模式崩溃问题，这说明FID不仅可以评价生成图像的质量，还可以评价生成图像的多样性。

为了更加直观地验证数据增强方法的有效性，即生成的图像能否用于扩充原有样本，研究使用YOLOv5模型判断生成的负类样本能否提升针对该问题项点的识别效果。YOLO^[20]是一阶段目标检测模型，能一次性完成目标定位和目标分类任务，作为第5代模型的YOLOv5已在铁路货检图像智能识别中应用。YOLOv5模型评估指标主要有精确度(Precision，P)、召回率(Recall，R)、平均精度(Average Precision，AP)和平均精度均值(mean Average Precision，mAP)，其计算方法如公式⑸—⑻所示。

P=\frac{TP}{TP+FP}⑸

R=\frac{TP}{TP+FN}⑹

AP={\int }_{\mathrm{0}}^{\mathrm{1}}P\left(R\right)\mathrm{d}R⑺

mAP=\frac{\mathrm{1}}{N}{\displaystyle \sum _{i=\mathrm{1}}^N}A{P}_i⑻

式中：TP为正确识别的正样本数；FP为错误识别的正样本数；FN为错误识别的负样本数；N为类别总数。

P，R，AP，mAP值越大，表明模型识别效果越好。模型在训练阶段通过多次迭代达到收敛状态，在测试阶段对未参与训练的图像进行识别，计算问题项点的识别率。

4　实验案例与结果分析

4.1　实验准备

选用铁路棚车车门开启的问题车图像作为实验数据集。本次实验从郑州北、新丰镇等各铁路货场及专用线收集铁路棚车货检图像，考虑到图像标注工作量、负类样本占比等因素，经过初步筛选后，共标注了906张图像，其中车门开启的图像共77张，车门开启的铁路货检图像如图3所示。

选择车门开启的货检图像，将图像中的车门裁剪下来，得到只存在一个车门的局部图像，最终获得77张车门开启的图像。

根据现实情况，本次实验在Linux环境下进行，使用PyTorch1.8.2作为深度学习框架，编程语言为Python3.8.13。实验硬件配置如表3所示。

生成模型使用Dropout-PGGAN模型，模型参数设置如表4所示。为研究PGGAN的最佳改进方案，对基于元素和通道2种维度的Dropout方法分别进行实验，其中基于元素维度的方法称为“Dropout”，基于通道维度的方法称为“Dropout2d”，每种方法设置0%，10%，20%，30%，40%，50%共6种概率值进行对比实验，其中，概率值为0%表示未使用Dropout层。其他参数为原始PGGAN模型中的可选参数。

4.2　实验过程与生成图像分析

用于训练的图像数据共分为11组。第1组为对照组，生成模型为原始PGGAN模型；第2至11组生成模型为Dropout-PGGAN模型，其中第2至6组使用基于元素维度的Dropout方法，第7至11组使用基于通道维度的Dropout方法。每组数据各生成1 000张图像。

PGGAN图像生成过程如图4所示。随机噪声输入PGGAN后，先转换成图4a中的初始图像，在4×4像素级别迭代100次后生成图4b中的4×4像素图像，之后进入下一像素级别的训练，依次生成图4c—图4j中的图像。随着训练的逐渐深入，生成图像逐渐接近于真实图像。当图像分辨率达到64×64像素时，图片开始显现出车门的形状，但色彩与真正的车门相差甚远；当图像分辨率达到512×512像素时，图片的形状和色彩更加接近于真正的车门；当图像分辨率达到1 024×1 024像素时，图片中车门的形状、色彩及纹路更加逼真，除了门锁、锁钩等细节部分，图片的主体部分几乎与真实的车门一致。这说明PGGAN对图像的训练是有效的，可以生成分辨率较高且逼真的图像。

使用Dropout改进PGGAN之后，生成车门图像的多样性有所增加，过拟合现象得到一定的缓解，但是使用Dropout方法与Dropout2d方法分别改进PGGAN时，生成图像有较明显的不同。使用Dropout改进PGGAN前后生成的图像如图5所示。可以看出，图5a与图5b中的图像在色彩上与真实车门图像相似，而图5c中的图像颜色偏紫，现实中极少有这种颜色的棚车车门。由此可知，使用Dropout2d方法后，生成图像的形状多样性与使用Dropout方法时相比未发生明显的变化，但是生成图像的色彩会有所变化，且有些图像色彩与真实图像相差过大，真实性不高。

4.3　实验结果评价

生成图像质量评价结果如表5所示，其展示的是上述11个训练组生成的1 000张图像与相对应的77张真实图像之间的LPIPS和FID值。为使LPIPS值能较好地反映生成图像的质量，先将每一张真实图像与1 000张生成图像进行LPIPS评价，再从1 000个评价结果中选取最小值，作为每张真实图像与生成图像之间的LPIPS值，最后取平均值，得到每一个训练组的LPIPS值。

由表5可知，根据FID指标，无论是使用Dropout还是Dropout2d，均能降低FID值，最佳方案是使用Dropout方法且Dropout概率设置为40%，此时FID值为154.433，明显优于原方法且比原方法降低了23.6%；但从LPIPS指标可以看出，使用Dropout2d方法时，Dropout概率超过10%后LPIPS值已高于原方法，图像质量开始降低，而使用Dropout方法时，在Dropout概率未超过40%的情况下图像质量会有所提高，最佳方案是使用Dropout方法且Dropout概率设置为10%，此时LPIPS值为0.570，比原方法降低了10.8%。结合图5的情况可以发现，Dropout方法优于Dropout2d方法，不仅能生成质量较高的图像，还能在一定程度上解决因训练数据过少导致生成图像多样性不足的问题。因此，第2，3，4，5，7组对应的方法生成的图像优于原方法生成的图像。

对于图像识别实验，按照训练集70%、测试集30%的比例进行划分，训练集为之前标注的906张铁路货检真实图像，并根据需要添加各种生成模型生成的1 000张车门开启图像；测试集为未标注的388张铁路货检真实图像，其中车门开启图像共33张。在训练阶段，不同训练集下的图像识别模型在迭代100次后对于车门开启识别任务的平均精度已稳定在95%以上；在测试阶段，根据表5中的数据选择测试的识别模型，最终选择7种模型，其中第1种模型的训练集来源于906张真实图像，后6种模型的训练集在906张真实图像的基础上分别添加了第1，2，3，4，5，7组中的生成图像。

不同模型下图像识别结果如表6所示。其中，“实际门开数”是测试集中车门开启图像数量，“识别门开数”是图像识别模型标注的车门开启图像数量，“正确识别数”是图像识别模型标注的车门开启图像中车门确实开启的图像数量。“问题识别率”相当于召回率R，计算方法是正确识别数/实际门开数；“识别准确率”相当于精确度P，计算方法是正确识别数/识别门开数。

由表6可知，使用Dropout-PGGAN生成的图像训练的识别模型，问题识别率得到一定的提升，最多可提升6.1%，这说明研究提出的铁路货检图像数据增强方法可以减少车门开启问题漏报的现象。使用原始PGGAN生成的图像训练的识别模型，识别准确率下降幅度较大，而问题识别率没有提升，说明该模型训练时使用的生成图像质量不太好；而使用Dropout改进PGGAN后，识别准确率相比改进前有所提升，最多可提升到未使用生成图像训练的识别模型的水平。目前铁路货检图像智能识别优先保证问题识别率尽可能高，以避免漏报现象的发生。因此，实验证明了提出的铁路货检图像数据增强方法的有效性，即生成的图像可以用于原有稀疏样本的扩充。

5　结束语

为解决铁路货检图像样本稀疏的问题，提出一种基于Dropout-PGGAN的数据增强方法。实验结果表明：使用基于元素的Dropout方法时，当Dropout概率为10%时LPIPS值最低，生成图像个体的质量最高；当Dropout概率为40%时FID值最低，生成图像整体的质量最高。并且，通过图像识别实验证明提出的数据增强方法生成的图像可用于扩充稀疏样本。由于实验环境的限制，实验收集的货检图像来自于不同的采集设备，图像质量参差不齐，且在使用PGGAN进行训练时，每一阶段的迭代次数无法设置太高，上述问题都会对实验结果造成不利影响。下一步将加强对铁路货检主要项点样本稀疏问题研究，提升负类样本的数据增强能力，完善铁路货检智能识别技术。

参考文献

[1] 石　磊. 铁路货车装载状态标准图像智能识别技术体系设计研究[J]. 铁道货运，2022，40(11)：34-39，48.

[2] SHI Lei. Design of Intelligent Recognition Technology System for Standard Images of Wagon Loading Status[J]. Railway Freight Transport，2022，40(11)：34-39，48.

[3] 孙书魁，范　菁，孙中强，等. 基于深度学习的图像数据增强研究综述[J]. 计算机科学，2024，51(1)：150-167.

[4] SUN Shukui， FAN Jing， SUN Zhongqing，et al. Survey of Image Data Augmentation Techniques Based on Deep Learning[J]. Computer Science，2024，51(1)：150-167.

[5] 张浩然，吴松荣，周 懿，等.计及少样本的YOLOv5s轨枕掉块小目标缺陷检测方法研究[J].铁道标准设计，2024，68(5)：52-59，121.

[6] ZHANG Haoran， WU Songrong， ZHOU Yi，et al.Research on YOLOv5s Sleeper Falling Block Small Target Defect Detection Method Considering Few Samples[J].Railway Standard Design，2024，68(5)：52-59，121.

[7] 吴送英，刘林芽，江家明，等. 复杂背景下铁路扣件的改进YOLOv5s检测算法[J]. 中国铁道科学，2023，44(3)：53-63.

[8] WU Songying， LIU Linya， JIANG Jiaming，et al. Detection Algorithm of Improved YOLOv5s of Railway Fastener under Complex Background[J]. China Railway Science，2023，44(3)：53-63.

[9] 安胜彪，郭昱岐，白　宇，等. 小样本图像分类研究综述[J]. 计算机科学与探索，2023，17(3)：511-532.

[10] AN Shengbiao， GUO Yuqi， BAI Yu，et al. Survey of Few-Shot Image Classification Research[J]. Journal of Frontiers of Computer Science and Technology，2023，17(3)：511-532.

[11] 胡　昊，史天运，关则彬. 融合混合注意力和改进YoloX的铁路落石检测方法[J]. 电子测量技术，2022，45(20)：110-116.

[12] HU Hao， SHI Tianyun， GUAN Zebin. A Railway Rockfall Detection Method Incorporating Mixed Attention and Improved YoloX[J]. Electronic Measurement Technology，2022，45(20)：110-116.

[13] 陈佛计，朱　枫，吴清潇，等. 生成对抗网络及其在图像生成中的应用研究综述[J]. 计算机学报，2021，44(2)：347-369.

[14] CHEN Foji， ZHU Feng， WU Qingxiao，et al. A Survey about Image Generation with Generative Adversarial Nets[J]. Chinese Journal of Computers，2021，44(2)：347-369.

[15] 杨剑锋，秦　钟，庞小龙，等. 基于深度学习网络的输电线路异物入侵监测和识别方法[J]. 电力系统保护与控制，2021，49(4)：37-44.

[16] YANG Jianfeng， QIN Zhong， PANG Xiaolong，et al. Foreign Body Intrusion Monitoring and Recognition Method Based on Dense-YOLOv3 Deep Learning Network[J]. Power System Protection and Control，2021，49(4)：37-44.

[17] 裴莉莉，孙朝云，孙　静，等. 基于DCGAN的路面裂缝图像生成方法[J]. 中南大学学报(自然科学版)，2021，52(11)：3899-3906.

[18] PEI Lili， SUN Zhaoyun， SUN Jing，et al. Generation Method of Pavement Crack Images Based on Deep Convolutional Generative Adversarial Networks[J]. Journal of Central South University (Science and Technology)，2021，52(11)：3899-3906.

[19] LIU R K， LIU W M， ZHENG Z X，et al. Anomaly-GAN：A Data Augmentation Method for Train Surface Anomaly Detection[J]. Expert Systems with Applications，2023，228：120284.

[20] 王超群. 基于深度学习的货运列车外检图像识别技术研究[D]. 沈阳：东北大学，2021.

[21] GOODFELLOW I J， POUGET-ABADIE J， MIRZA M，et al. Generative Adversarial Nets[C]// Neural Information Processing Systems Foundation. Proceedings of the 27th International Conference on Neural Information Processing Systems. Cambridge：MIT Press，2014：2672-2680.

[22] KARRAS T， AILA T， LAINE S，et al. Progressive Growing of GANs for Improved Quality，Stability，and Variation[EB/OL]. (2018-02-26)[2024-03-25].

[23] GULRAJANI I， AHMED F， ARJOVSKY M，et al. Improved Training of Wasserstein GANs[C]// Neural Information Processing Systems Foundation. Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook：Curran Associates Inc.，2017：5768-5778.

[24] SRIVASTAVA N， HINTON G， KRIZHEVSKY A，et al.Dropout： A Simple Way to Prevent Neural Networks from Overfitting[J].Journal of Machine Learning Research，2014，15(1)：1929-1958.

[25] PENG Y F， MENG X， LI Y X，et al.Combining Coordinate Attention and Generative Adversarial Network for Image Super-Resolution Reconstruction[J].Computer Engineering & Science，2024，46(1)：122-131.

[26] 刘建伟，谢浩杰，罗雄麟. 生成对抗网络在各领域应用研究进展[J]. 自动化学报，2020，46(12)：2500-2536.

[27] LIU Jianwei， XIE Haojie， LUO Xionglin. Research Progress on Application of Generative Adversarial Networks in Various Fields[J]. Acta Automatica Sinica，2020，46(12)：2500-2536.

[28] ZHANG R， ISOLA P， EFROS A A，et al. The Unreasonable Effectiveness of Deep Features as a Perceptual Metric[C]// IEEE Computer Society. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway：IEEE，2018：586-595.

[29] HEUSEL M， RAMSAUER H， UNTERTHINER T，et al. GANs Trained by a Two Time-Scale Update Rule Converge to a Local Nash Equilibrium[C]// Neural Information Processing Systems Foundation. Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook：Curran Associates Inc.，2017：6627-6638.

[30] REDMON J， DIVVALA S， GIRSHICK R，et al. You only Look Once：Unified，Real-Time Object Detection[C]// IEEE Computer Society. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway：IEEE，2016：779-788.

基金资助

中国国家铁路集团有限公司科技研究开发计划课题(K2023X006)

中国铁道科学研究院集团有限公司科研项目(2023YJS06)