融合风格编码的双通道生成对抗网络步态识别

Gait recognition using dual⁃channel generative adversarial network with style encoding integration

摘要

针对现有步态识别技术存在的视角适应性差、模型训练稳定性不足的问题，提出了一种融合风格编码的双通道时空卷积生成对抗网络模型。该模型通过双通道时空卷积网络分别提取步态图像中的复杂时空特征与步态特征，并引入风格编码器来减少生成图像与原图之间的语义差异，从而提升生成器的稳定性。基于CASIA-B数据集的实验结果表明，本文模型相比GaitGAN在54°、90°和126°这3个具有代表性的步态视角下，识别率分别提高了23%、28%和22%。此外，该方法在OU-MVLP大规模跨视角步态数据库中仍展现出较好的适用性，达到了89.1%的平均识别精度，有效提高了跨视角步态识别率。

Abstract

Aiming at the problems of poor cross-view adaptability and insufficient model training stability existing in current gait recognition technologies， a dual-channel spatiotemporal convolutional generative adversarial network （GAN） model that incorporates style encoding was proposed. The model employs a dual-channel spatiotemporal convolutional network to extract complex spatiotemporal and gait features from gait images， while a style encoder is introduced to minimize the semantic discrepancies between the generated images and the original ones， thereby enhancing the stability of the generator. Experimental results on the CASIA-B dataset demonstrate that， compared to GaitGAN， the proposed model achieves recognition rate improvements of 23%， 28%， and 22% at three representative gait angles of 54°， 90°， and 126°， respectively. Additionally， the method shows strong applicability on the OU-MVLP large-scale cross-view gait database， achieving an average recognition accuracy of 89.1%， significantly improving cross-view gait recognition performance.

Graphical abstract

关键词

步态识别 / 跨视角 / 时空卷积网络 / 风格编码器 / 生成对抗网络

Key words

gait recognition / cross-view / spatio-temporal convolutional network / style encoder / generative adversarial network

0 引 言

近年来，步态识别作为新兴生物识别技术，因其无需主动配合、可非接触式获取特征等特点，在人机交互、智能安防和医疗诊断等领域展现出广泛的应用前景^［1-4］。然而，视角变化是影响识别性能的关键因素，直接影响步态特征的全局表现；衣着变化和携带物品等因素也增加了识别难度，导致跨视角识别准确性下降^［5］。

随着深度学习的发展，学者们开始采用卷积神经网络^［6］、循环神经网络^［7］、自编码器^［8］等方法进行跨视角步态识别。然而，基于有监督学习的方法依赖大量人工标注，成本高且耗时，限制了模型的泛化能力。因此，开发无需大量标注数据的无监督学习模型成为重要课题。无监督学习通过分析数据内在特征，完成识别任务，如基于生成对抗网络（Generative adversarial network，GAN）^［9］、聚类^［10］和无监督适应^［11］的步态识别方法。基于GAN的步态识别因其生成高质量样本和自动学习特征，已成为研究热点。

尽管基于GAN的步态识别模型带来了创新的改进，然而GaitGAN^［12］在图像质量和时序建模上存在不足，生成的步态图像缺乏细节和清晰度，且时序一致性较差，无法有效捕捉步态的动态特征。为了提高跨视角步态识别的准确率，解决实验数据不足、生成器在训练过程中易崩溃等问题，本文提出了一种融合风格编码的双通道时空卷积生成对抗网络模型（Dual-channel spatio-temporal convolutional generative adversarial network with style encoding， DSCGAN-SE）。该模型的生成器采用双通道时空卷积网络设计，利用多尺度一维卷积核分别提取步态图像的横向时序特征和纵向空间特征，并通过跨尺度的局部特征融合增强特征表达。最终，时空融合特征被引入残差模块进行全局特征提取，从而更加有效地生成既保留步态特征又保持原始图像语义信息的图像。此外，为了更好地在跨视角步态图像生成中保持身份信息，DSCGAN-SE引入了风格编码器，使生成器生成的图像信息最大化接近真实图像。实验结果表明，基于CASIA-B^［13］数据集，本文模型在54°、90°和126°三个具有代表性的步态视角下的识别率分别较基准模型GaitGAN提升了23%、28%和22%。同时，该模型在OU-MVLP^［14］大规模跨视角步态数据库上展现了良好的适用性，平均识别精度达到89.1%。实验结果充分证明了该模型在应对大规模数据集复杂视角变化时的优越性能，为实际应用提供了可靠的技术支持。

1 基于GAN的步态识别模型

GAN是一种由Goodfellow等^［9］于2014年提出的深度学习架构，旨在通过对抗性训练机制生成高质量的数据样本。GAN主要由两个核心部分组成：生成器（Generator，G）和判别器（Discriminator，D）。生成器的功能是生成具有特定特征的样本数据，以便“欺骗”判别器，而判别器的功能则是区分输入的数据是来自生成器还是实际的真实数据。

1.1　GaitGAN的网络架构

GaitGAN^［12］是一种基于GAN的步态识别模型，旨在通过生成器-判别器架构生成逼真的跨视角步态图像。生成器通过学习步态特征，生成与目标视角匹配的步态图像，而判别器则用于区分生成的步态图像与真实图像。GaitGAN旨在生成标准化视角图像（通常为90°视角），以此作为匹配和识别的基础，从而开创了利用GAN技术进行步态识别的新篇章，具体研究思路如图1所示。

与传统生成对抗模型的结构不同，GaitGAN的网络架构主要由生成器G和2个具备不同功能的判别器（真假判别器D_{\mathrm{R}}和领域判别器D_{\mathrm{A}}）组成，如图2所示。

GaitGAN的生成器G由编码器和解码器组成，其中编码器通过4个卷积层结合批量归一化和LeakyReLU激活函数，负责从源图像中提取特征；解码器则利用4个分数步长卷积层将特征映射重建为图像。

真假判别器D_{\mathrm{R}}用于评估图像的真实性，网络结构包括卷积层、池化层和批量归一化层，通过ReLU激活函数和最大池化减少特征图的空间尺寸，并通过全连接层输出真实性概率。领域判别器D_{\mathrm{A}}则专注于身份识别，评估生成的姿态序列与已知身份特征的相似度，最终通过全连接层输出身份标签或特征度量值，以确保模型能够准确识别个体身份。

尽管GaitGAN在步态生成领域取得了一定成果，但模型设计上仍存在局限性。首先，生成器主要依赖于生成的侧视图进行特征匹配，未能充分提取中间层及其他潜在有效特征，同时忽视了步态的时序特征。其次，GaitGAN采用的单一损失函数未能整合多样的判别标准，在生成图像与原始步态图像的语义差异方面表现不足，影响了模型的判别准确性。为此，DSCGAN-SE模型通过优化生成器，更全面地捕捉步态及其时空特征，并设计了更复杂的损失函数，以更有效反馈生成图像与真实图像之间的语义差异，从而提升了模型的性能。

1.2　DSCGAN-SE网络架构

尽管GaitGAN在步态图像生成任务中展现了良好的性能，但生成器在图像质量和生成过程的稳定性方面仍面临挑战。具体而言，生成器常出现图像质量较低的问题，这限制了GaitGAN模型在实际应用中的效果和可靠性。为克服此类问题，本文在GaitGAN的基础上对生成器进行优化，提出DSCGAN-SE模型以提升图像质量和生成稳定性，并融入了风格编码器，改善了生成图像与真实图像之间的差异。

所设计的DSCGAN-SE模型总体结构如图3所示。在该模型中，CASIA-B^［13］数据集经过预处理后被划分为3个数据集类别：相关图集I_{\mathrm{a}\mathrm{s}\mathrm{s}\mathrm{⁃}\mathrm{l}\mathrm{a}\mathrm{b}\mathrm{e}\mathrm{l}}、非相关图集I_{\mathrm{n}\mathrm{o}\mathrm{a}\mathrm{s}\mathrm{s}\mathrm{⁃}\mathrm{l}\mathrm{a}\mathrm{b}\mathrm{e}\mathrm{l}}和源图集I_{\mathrm{i}\mathrm{m}\mathrm{g}}。I_{\mathrm{a}\mathrm{s}\mathrm{s}\mathrm{⁃}\mathrm{l}\mathrm{a}\mathrm{b}\mathrm{e}\mathrm{l}}与I_{\mathrm{i}\mathrm{m}\mathrm{g}}用于识别不同个体在相同条件和角度下的动作差异；I_{\mathrm{n}\mathrm{o}\mathrm{a}\mathrm{s}\mathrm{s}\mathrm{⁃}\mathrm{l}\mathrm{a}\mathrm{b}\mathrm{e}\mathrm{l}}与I_{\mathrm{i}\mathrm{m}\mathrm{g}}则用于识别同一人在不同条件和角度下的动作变化，目的是评估模型在不同动作条件下对同一人的识别效果。

通过这种分类方法，可以确保生成器在训练过程中从步态数据集中采样到具有不同身份ID、状态和角度的步态图像，从而提高模型对多样化步态特征的生成能力。

DSCGAN-SE整体生成框架由生成器G、真实判别器D_{\mathrm{o}\mathrm{p}}、身份判别器D_{\mathrm{t}\mathrm{p}}、风格编码器构成。在DSCGAN-SE模型中，本文首次提出风格编码器，用于从源图集I_{\mathrm{i}\mathrm{m}\mathrm{g}}的步态图像和生成器生成的步态假图像I_{\mathrm{f}\mathrm{a}\mathrm{k}\mathrm{e}}中提取风格特征，并通过3个关键步骤实现不同视角和状态下的步态图像生成。具体过程如下：

（1）生成器G从源图集I_{\mathrm{i}\mathrm{m}\mathrm{g}}随机选择一张步态图像作为双通道时空卷积网络的输入，以提取图像中的步态和时空特征，目的是生成步态假图像I_{\mathrm{f}\mathrm{a}\mathrm{k}\mathrm{e}}。随后，将步态假图像I_{\mathrm{f}\mathrm{a}\mathrm{k}\mathrm{e}}和真实图像I_{\mathrm{r}\mathrm{e}\mathrm{a}\mathrm{l}}输入风格编码器中提取两者的特征信息，并计算其差异值进行损失回传，用于训练过程的迭代更新，公式表达为：

I_{\mathrm{f}\mathrm{a}\mathrm{k}\mathrm{e}}=G(E(I_{\mathrm{i}\mathrm{m}\mathrm{g}}))（1）

（2）真实判别器D_{\mathrm{o}\mathrm{p}}将生成器G生成的步态假图像I_{\mathrm{f}\mathrm{a}\mathrm{k}\mathrm{e}}与相关图集I_{\mathrm{a}\mathrm{s}\mathrm{s}\mathrm{⁃}\mathrm{l}\mathrm{a}\mathrm{b}\mathrm{e}\mathrm{l}}和非相关图集I_{\mathrm{n}\mathrm{o}\mathrm{a}\mathrm{s}\mathrm{s}\mathrm{⁃}\mathrm{l}\mathrm{a}\mathrm{b}\mathrm{e}\mathrm{l}}作为输入，分别对假图像和两张真图像进行判别，对判别结果计算交叉熵损失，将损失分别回传用来迭代更新，以不断提升区分真伪图像的能力。

在身份判别器D_{\mathrm{t}\mathrm{p}}中，首先将源图集I_{\mathrm{i}\mathrm{m}\mathrm{g}}分别与生成器G生成的步态假图像I_{\mathrm{f}\mathrm{a}\mathrm{k}\mathrm{e}}、相关图集I_{\mathrm{a}\mathrm{s}\mathrm{s}\mathrm{⁃}\mathrm{l}\mathrm{a}\mathrm{b}\mathrm{e}\mathrm{l}}、非相关I_{\mathrm{n}\mathrm{o}\mathrm{a}\mathrm{s}\mathrm{s}\mathrm{⁃}\mathrm{l}\mathrm{a}\mathrm{b}\mathrm{e}\mathrm{l}}进行融合，将融合后的新集合作为输入，分别对是否与源图集I_{\mathrm{i}\mathrm{m}\mathrm{g}}具有相关性进行真假判别，对判别结果计算交叉熵损失进行误差回传，以确保生成器生成的图像尽可能保留原始图像的语义信息。

（3）随着训练迭代的进行，对抗训练逐渐趋向平衡，即真实判别器D_{\mathrm{o}\mathrm{p}}再无法有效区分生成器生成的图像与真实图像。在测试阶段，将原相关图集I_{\mathrm{a}\mathrm{s}\mathrm{s}\mathrm{⁃}\mathrm{l}\mathrm{a}\mathrm{b}\mathrm{e}\mathrm{l}}、非相关图集I_{\mathrm{n}\mathrm{o}\mathrm{a}\mathrm{s}\mathrm{s}\mathrm{⁃}\mathrm{l}\mathrm{a}\mathrm{b}\mathrm{e}\mathrm{l}}和源图集I_{\mathrm{i}\mathrm{m}\mathrm{g}}同时输入训练好的生成器G，以生成最终的步态图像，达到扩展数据集的目的，用公式可表达为：

I_{\mathrm{f}\mathrm{a}\mathrm{k}\mathrm{e}}=G(E(I_{\mathrm{a}\mathrm{s}\mathrm{s}\mathrm{⁃}\mathrm{l}\mathrm{a}\mathrm{b}\mathrm{e}\mathrm{l}},I_{\mathrm{n}\mathrm{o}\mathrm{a}\mathrm{s}\mathrm{s}\mathrm{⁃}\mathrm{l}\mathrm{a}\mathrm{b}\mathrm{e}\mathrm{l}},I_{\mathrm{i}\mathrm{m}\mathrm{g}}))（2）

DSCGAN-SE模型首次引入风格编码器，从源步态图像和生成的步态假图像中提取风格特征，通过计算两者之间的特征差异优化训练过程。根据生成器生成跨视角步态图像，并结合对抗性训练机制，DSCGAN-SE能够有效提升跨视角步态识别的精度，同时实现数据集的扩展。

2 本文模型

2.1　生成器网络架构

为生成高质量的步态图像，同时增强生成器G在训练过程中稳定性，DSCGAN-SE在双流卷积网络^［19］的基础上，设计了双通道时空卷积网络，将其融合至生成器G的网络结构设计当中，主要针对源图集I_{\mathrm{i}\mathrm{m}\mathrm{g}}中步态和时空特征提取，同时引入残差融合网络，逐步恢复步态假图像I_{\mathrm{f}\mathrm{a}\mathrm{k}\mathrm{e}}的空间细节和结构信息。其网络结构如图4所示，生成器G的网络结构参数设置如表1所示。

在双通道时空卷积网络中，时间流卷积网络对源图集I_{\mathrm{i}\mathrm{m}\mathrm{g}}中步态图像进行步态特征提取，采用了3种不同尺寸的横向一维卷积核（1×9、1×7、1×5），用于捕捉步态图像中的多尺度信息。随后，这些一维卷积层通过ReLU激活函数进行非线性变换，对各层输出拼接后经过一个3×3的二维卷积层，以整合不同卷积尺度的步态特征。

空间流卷积网络专注于源图集I_{\mathrm{i}\mathrm{m}\mathrm{g}}中步态图像中空间特征的提取，该网络设计包含三层纵向一维卷积核（9×1、7×1、5×1），每个卷积层的输出经过ReLU激活函数后进行通道级拼接，以融合多尺度的时序信息。拼接后的特征图通过一个3×3的二维卷积层进行综合处理，以整合和优化提取的时序特征。最后，通过ReLU激活函数和一个3×3的二维卷积层提取空间特征。最终，通过批归一化（Batch normalization，BN）和ReLU激活函数对特征图进行标准化和非线性变换，从而提升提取的时序特征稳定性。

残差融合网络采用转置卷积操作整合空间流和时间流的图像特征，旨在将空间流和时间流网络中提取的步态和时序特征映射至高分辨率输出，通过一系列反卷积层逐步上采样并重建图像。残差融合网络包含6个反卷积层，每层均配备批归一化BN和ReLU激活函数，用于逐步增加生成步态假图像I_{\mathrm{f}\mathrm{a}\mathrm{k}\mathrm{e}}的分辨率。反卷积层依次将特征图的通道数扩大，并通过逐步采样至目标尺寸64×64，最终生成符合目标尺寸的步态图像。

转置卷积的优势在于其能够逐步恢复生成步态假图像I_{\mathrm{f}\mathrm{a}\mathrm{k}\mathrm{e}}的空间细节和结构信息，使得双通道时空卷积网络能够有效地整合和重建输入特征。通过逐步上采样的反卷积方式，不仅能逐步恢复图像的空间细节和结构信息，还能有效地融合来自空间流和时间流网络的图像特征，从而生成具有高质量和准确度的输出图像。生成器G的网络结构参数设置如表1所示。

2.2　判别器网络架构

真实判别器D_{\mathrm{o}\mathrm{p}}的结构图如图5所示，该网络首先接收生成器生成的步态假图像I_{\mathrm{f}\mathrm{a}\mathrm{k}\mathrm{e}}、相关图集I_{\mathrm{a}\mathrm{s}\mathrm{s}\mathrm{⁃}\mathrm{l}\mathrm{a}\mathrm{b}\mathrm{e}\mathrm{l}}和非相关图集I_{\mathrm{n}\mathrm{o}\mathrm{a}\mathrm{s}\mathrm{s}\mathrm{⁃}\mathrm{l}\mathrm{a}\mathrm{b}\mathrm{e}\mathrm{l}}作为输入，通过5个卷积层逐步抽取特征，每层分别配备3×3的卷积核，并配置LeakyReLU激活函数，激活函数的参数设置为（0.2，True）。真实判别器D_{\mathrm{o}\mathrm{p}}可以在不同的层次上捕捉生成目标视角图像的关键特征，进而进行图像真实判别和语义信息判别。最终输出层通过Sigmoid函数判别图像的真伪，用以反映真实判别器D_{\mathrm{o}\mathrm{p}}判断输入图像来自源图像而不是融合图像的概率。真实判别器D_{\mathrm{o}\mathrm{p}}的网络结构参数设置如表2所示。

身份判别器D_{\mathrm{t}\mathrm{p}}的结构图如图6所示，与真实判别器D_{\mathrm{o}\mathrm{p}}的结构类似，其通过5个卷积层逐步抽取特征后进行判别，每个卷积层均配备了3×3卷积核。然而，与真实判别器D_{\mathrm{o}\mathrm{p}}不同，身份判别器D_{\mathrm{t}\mathrm{p}}除了将源图集I_{\mathrm{i}\mathrm{m}\mathrm{g}}与步态假图像I_{\mathrm{f}\mathrm{a}\mathrm{k}\mathrm{e}}混合外，还将源图集I_{\mathrm{i}\mathrm{m}\mathrm{g}}分别与相关图集I_{\mathrm{a}\mathrm{s}\mathrm{s}\mathrm{⁃}\mathrm{l}\mathrm{a}\mathrm{b}\mathrm{e}\mathrm{l}}和非相关I_{\mathrm{n}\mathrm{o}\mathrm{a}\mathrm{s}\mathrm{s}\mathrm{⁃}\mathrm{l}\mathrm{a}\mathrm{b}\mathrm{e}\mathrm{l}}图集混合后作为输入，强化了身份判别器D_{\mathrm{t}\mathrm{p}}对图像身份特征的判别能力。身份判别器D_{\mathrm{t}\mathrm{p}}的网络结构参数设置如表3所示。

2.3　风格编码器网络架构

在DSCGAN-SE模型中，本文首次提出风格编码器，用于从源图集I_{\mathrm{i}\mathrm{m}\mathrm{g}}的步态图像和生成器生成的步态假图像I_{\mathrm{f}\mathrm{a}\mathrm{k}\mathrm{e}}中提取风格特征，其网络结构包括6个卷积层和1个全连接层。第1层卷积（3×3卷积核）用于提取输入图像基本的纹理和边缘信息；第2层卷积（3×3卷积核）进一步捕捉复杂的图像特征；第3层卷积（3×3）加深风格编码网络特征提取能力，以获得更丰富的图像细节。其网络结构图如图7所示。

随后，通过3层卷积进行特征的恢复。特征图通过展平操作后，输入到全连接层以生成风格向量，该向量具有指定的风格维度。整体架构通过LeakyReLU激活函数和批归一化层确保网络的训练稳定性和特征的有效提取，从而精确地捕捉图像的风格信息。风格编码器是通过计算真实图像与生成图像之间的风格特征差判断生成图像与真实图像的风格差异，其中，特征差越小，表明生成图像与真实图像在风格上的一致性越高，将差异损失进行反馈达到迭代更新的目的。风格编码器的网络结构参数设置如表4所示。

2.4　损失反馈机制

DSCGAN-SE可以通过最小化以下目标函数来优化：

\underset{G}{\mathrm{m}\mathrm{i}\mathrm{n}}\underset{D}{\mathrm{m}\mathrm{a}\mathrm{x}}L(G,D)=L_{\mathrm{a}\mathrm{d}\mathrm{v}}+{\lambda }_{\mathrm{t}\mathrm{p}}{L}_{\mathrm{t}\mathrm{p}}+{\lambda }_{\mathrm{s}\mathrm{c}}{L}_{\mathrm{s}\mathrm{c}}（3）

式中：L_{\mathrm{a}\mathrm{d}\mathrm{v}}为真实判别器对抗损失；L_{\mathrm{t}\mathrm{p}}用于衡量生成步态假图像I_{\mathrm{f}\mathrm{a}\mathrm{k}\mathrm{e}}与真实图像I_{\mathrm{r}\mathrm{e}\mathrm{a}\mathrm{l}}之间的差异；L_{\mathrm{s}\mathrm{c}}为风格编码差异损失，用于提升生成图像的真实感；{\lambda }_{\mathrm{t}\mathrm{p}}为内容感知损失权重；{\lambda }_{\mathrm{s}\mathrm{c}}为风格损失权重。

生成器G的目标是最小化这一目标函数，而判别器D则尽可能将其最大化。\lambda则优化过程中不同损失函数重要性的超参数。DSCGAN-SE利用各种损失函数提升生成图像的质量和真实性，通过调整超参数\lambda灵活控制不同损失在模型训练过程中的影响力度，从而有效平衡生成质量和训练的稳定性。在本研究中，初始参数设置为：{\lambda }_{\mathrm{t}\mathrm{p}}=1，{\lambda }_{\mathrm{s}\mathrm{c}}=1。

（1）真实判别器D_{\mathrm{o}\mathrm{p}}损失

当生成器G产生生成的步态假图像I_{\mathrm{f}\mathrm{a}\mathrm{k}\mathrm{e}}时，真实判别器D_{\mathrm{o}\mathrm{p}}需要判断I_{\mathrm{f}\mathrm{a}\mathrm{k}\mathrm{e}}是真实还是伪造的，而生成器G则尝试欺骗真实判别器D_{\mathrm{o}\mathrm{p}}，从而不断训练DSCGAN-SE模型的生成和判别能力。这一目标可以通过如下对抗损失函数L_{\mathrm{a}\mathrm{d}\mathrm{v}}实现：

\begin{array}{c}{L}_{\mathrm{a}\mathrm{d}\mathrm{v}}=E_{(I_{\mathrm{a}\mathrm{s}\mathrm{s}\mathrm{⁃}\mathrm{l}\mathrm{a}\mathrm{a}\mathrm{b}\mathrm{e}\mathrm{l},}{I}_{\mathrm{n}\mathrm{o}\mathrm{a}\mathrm{s}\mathrm{s}\mathrm{⁃}\mathrm{l}\mathrm{a}\mathrm{b}\mathrm{e}\mathrm{l}})}\times \\ \left[\frac{\mathrm{1}}{N}{\displaystyle \sum _{i=\mathrm{1}}^N}log{D}_{op}(I_{ass⁃label},I_{noass⁃label})\right]+E_{(I_{\mathrm{a}\mathrm{s}\mathrm{s}\mathrm{⁃}\mathrm{l}\mathrm{a}\mathrm{a}\mathrm{b}\mathrm{e}\mathrm{l},}{I}_{\mathrm{n}\mathrm{o}\mathrm{a}\mathrm{s}\mathrm{s}\mathrm{⁃}\mathrm{l}\mathrm{a}\mathrm{b}\mathrm{e}\mathrm{l}},I_{\mathrm{f}\mathrm{a}\mathrm{k}\mathrm{e}})}\times \\ \left[\frac{\mathrm{1}}{M}{\displaystyle \sum _{j=\mathrm{1}}^M}log(\mathrm{1}-D_{op}(G(I_{ass⁃laabel},I_{noass⁃label},I_{fake})))\right]\end{array}（4）

式中：N为真实图像的批量大小；E(·)表示对不同数据样本的损失进行期望计算；(I_{\mathrm{a}\mathrm{s}\mathrm{s}\mathrm{⁃}\mathrm{l}\mathrm{a}\mathrm{b}\mathrm{e}\mathrm{l}},I_{\mathrm{n}\mathrm{o}\mathrm{a}\mathrm{s}\mathrm{s}\mathrm{⁃}\mathrm{l}\mathrm{a}\mathrm{b}\mathrm{e}\mathrm{l}})为真实图像；D_{\mathrm{o}\mathrm{p}}(I_{\mathrm{a}\mathrm{s}\mathrm{s}\mathrm{⁃}\mathrm{l}\mathrm{a}\mathrm{b}\mathrm{e}\mathrm{l}},I_{\mathrm{n}\mathrm{o}\mathrm{a}\mathrm{s}\mathrm{s}\mathrm{⁃}\mathrm{l}\mathrm{a}\mathrm{b}\mathrm{e}\mathrm{l}})未真实判别器D_{op}对真实图像的预测概率；M为生成图像的批量大小；G(I_{\mathrm{a}\mathrm{s}\mathrm{s}\mathrm{⁃}\mathrm{l}\mathrm{a}\mathrm{b}\mathrm{e}\mathrm{l}},I_{\mathrm{n}\mathrm{o}\mathrm{a}\mathrm{s}\mathrm{s}\mathrm{⁃}\mathrm{l}\mathrm{a}\mathrm{b}\mathrm{e}\mathrm{l}},I_{\mathrm{f}\mathrm{a}\mathrm{k}\mathrm{e}})为生成器G基于相关图集I_{\mathrm{a}\mathrm{s}\mathrm{s}\mathrm{⁃}\mathrm{l}\mathrm{a}\mathrm{b}\mathrm{e}\mathrm{l}}和非相关I_{\mathrm{n}\mathrm{o}\mathrm{a}\mathrm{s}\mathrm{s}\mathrm{⁃}\mathrm{l}\mathrm{a}\mathrm{b}\mathrm{e}\mathrm{l}}图集生成步态、假图像I_{\mathrm{f}\mathrm{a}\mathrm{k}\mathrm{e}}的过程；D_{\mathrm{o}\mathrm{p}}(G(I_{\mathrm{a}\mathrm{s}\mathrm{s}\mathrm{⁃}\mathrm{l}\mathrm{a}\mathrm{b}\mathrm{e}\mathrm{l}},I_{\mathrm{n}\mathrm{p}\mathrm{a}\mathrm{s}\mathrm{s}\mathrm{⁃}\mathrm{l}\mathrm{a}\mathrm{b}\mathrm{e}\mathrm{l}},I_{\mathrm{f}\mathrm{a}\mathrm{k}\mathrm{e}}))为真实判别器D_{\mathrm{o}\mathrm{p}}对生成图像的预测概率。

为了生成尽可能真实的样本，生成器G试图最小化这一损失函数，而真实判别器D_{\mathrm{o}\mathrm{p}}则试图最大化此损失函数。

（2）身份判别器D_{\mathrm{t}\mathrm{p}}损失

在对抗训练中，身份判别器D_{\mathrm{t}\mathrm{p}}利用二分类交叉熵损失函数判别相关图集I_{\mathrm{a}\mathrm{s}\mathrm{s}\mathrm{⁃}\mathrm{l}\mathrm{a}\mathrm{b}\mathrm{e}\mathrm{l}}、非相关I_{\mathrm{n}\mathrm{o}\mathrm{a}\mathrm{s}\mathrm{s}\mathrm{⁃}\mathrm{l}\mathrm{a}\mathrm{b}\mathrm{e}\mathrm{l}}图集和生成器G生成的步态假图像I_{\mathrm{f}\mathrm{a}\mathrm{k}\mathrm{e}}之间的相关性。其定义如下：

L_{tp}=-[\frac{\mathrm{1}}{N}{\displaystyle \sum _{i=\mathrm{1}}^N}log{D}_{tp}(I_{ass⁃label},I_{fake})+

\frac{\mathrm{1}}{M}{\displaystyle \sum _{j=\mathrm{1}}^M}log(\mathrm{1}-D_{tp}(G(I_{noass⁃label},I_{fake})))]（5）

式中：N为真实图像的批量大小；(I_{\mathrm{a}\mathrm{s}\mathrm{s}\mathrm{⁃}\mathrm{l}\mathrm{a}\mathrm{b}\mathrm{e}\mathrm{l}},I_{\mathrm{f}\mathrm{a}\mathrm{k}\mathrm{e}})为相关图集与假图像的混合；D_{\mathrm{t}\mathrm{p}}(I_{\mathrm{a}\mathrm{s}\mathrm{s}\mathrm{⁃}\mathrm{l}\mathrm{a}\mathrm{b}\mathrm{e}\mathrm{l}},I_{\mathrm{f}\mathrm{a}\mathrm{k}\mathrm{e}})是身份判别器D_{\mathrm{t}\mathrm{p}}对相关图集与假图像之间是否具有相关性的预测；G(I_{\mathrm{n}\mathrm{o}\mathrm{a}\mathrm{s}\mathrm{s}\mathrm{⁃}\mathrm{l}\mathrm{a}\mathrm{b}\mathrm{e}\mathrm{l}},I_{\mathrm{f}\mathrm{a}\mathrm{k}\mathrm{e}})为生成器生成的步态假图像；D_{\mathrm{t}\mathrm{p}}(G(I_{\mathrm{n}\mathrm{o}\mathrm{a}\mathrm{s}\mathrm{s}\mathrm{⁃}\mathrm{l}\mathrm{a}\mathrm{b}\mathrm{e}\mathrm{l}},I_{\mathrm{f}\mathrm{a}\mathrm{k}\mathrm{e}}))为身份判别器D_{\mathrm{t}\mathrm{p}}对非相关图集与生成图像之间相关性预测的输出。

身份判别器D_{\mathrm{t}\mathrm{p}}损失衡量了DSCGAN-SE模型中假图像与真图像之间的相关。它引导模型在分类任务中逐步优化，使模型能够更准确地预测输入样本的类别以及有效区分真实图像与伪图像，从而提高生成对抗网络的训练质量和生成样本的真实性。通过最小化这一损失函数，身份判别器D_{\mathrm{t}\mathrm{p}}能够在对抗训练过程中推动生成器G生成更具真实性的图像。

（3）风格编码损失

DSCGAN-SE中引入风格编码差异损失函数，旨在量化生成图像I_{\mathrm{f}\mathrm{a}\mathrm{k}\mathrm{e}}与真实图像I_{\mathrm{r}\mathrm{e}\mathrm{a}\mathrm{l}}之间的风格偏差。风格编码器采用L1损失在像素层面将生成器G生成的步态图像I_{\mathrm{f}\mathrm{a}\mathrm{k}\mathrm{e}}和真实图像I_{\mathrm{r}\mathrm{e}\mathrm{a}\mathrm{l}}转换为高维特征向量，计算两者在风格特征空间中的绝对差异，并对所有特征的差异取平均，其定义为：

L_{\mathrm{s}\mathrm{c}}=\frac{\mathrm{1}}{N}{\displaystyle \sum _{i=\mathrm{1}}^N}||{\mathit{S}}_{fake}[G(I_{real},I_{fake})]-{\mathit{S}}_{\mathrm{r}\mathrm{e}\mathrm{a}\mathrm{l}}[I_{\mathrm{r}\mathrm{e}\mathrm{a}\mathrm{l}}]|{|}_{\mathrm{1}}（6）

式中：G(I_{\mathrm{r}\mathrm{e}\mathrm{a}\mathrm{l}},I_{\mathrm{f}\mathrm{a}\mathrm{k}\mathrm{e}})为生成器通过输入图像I_{\mathrm{r}\mathrm{e}\mathrm{a}\mathrm{l}}生成步态假图像I_{\mathrm{f}\mathrm{a}\mathrm{k}\mathrm{e}}的过程；{\mathit{S}}_{\mathrm{f}\mathrm{a}\mathrm{k}\mathrm{e}}为生成图像经过风格编码器提取出的风格特征向量；{\mathit{S}}_{\mathrm{r}\mathrm{e}\mathrm{a}\mathrm{l}}为真实图像经过同一风格编码器提取出的风格特征向量；N为风格特征向量的维度，即编码空间中的元素个数。

通过迭代更新L_{\mathrm{s}\mathrm{c}}，使得DSCGAN-SE模型在训练过程中能够优化生成图像的风格特征，使其尽可能接近真实图像的风格，从而提升生成图像的真实性和风格一致性。

3 实验与结果分析

3.1　CASIA-B数据集

本文中采用的CASIA-B数据集^［13］由中国科学院自动化研究所于2005年收集，专为跨视角步态识别构建，包含124名行人，提供了每名行人的步态视频、步态轮廓图像和步态能量图像，本文选用步态能量图像（Gait energy image， GEI）作为DSCGAN-SE模型的输入。

实验中，数据集的划分参考GaitSet^［7］模型中的中训练集（Medium-sample training， MT）划分方式。MT方法将前62名行人的数据作为训练集，剩余62名行人的数据用于测试。测试时，前4个正常行走状态（NM#1-4）的数据用作检索库（gallery），其余数据（NM#5-6， BG#1-2， CL#1-2）根据状态划分为3个待检索数据（probe）进行评估。此外，本研究特别对比了包含与排除相同视角的两种情况，以更准确地展示DSCGAN-SE模型的跨视角识别性能。

3.2　OU-MVLP数据集

OU-MVLP（Multi-view large population dataset）^［14］是目前全球规模最大的步态识别跨视角数据集，包含10 307个样本，覆盖14个视角（0°，15°，…，270°），每个视角下均包含两个步态序列（#00和#01），且步行状态保持一致。数据集按照官方设定分为训练集和测试集，分别包括5 153名样本和5 154名样本。在训练和测试环节中，序列#01和#00均用作训练集和测试集，为跨视角步态识别的性能评估提供了规范化的实验基准。

3.3　步态数据集图像预处理

步态能量图像（GEI）是在时间序列上平均步态轮廓图的一种表示形式，它结合了步态序列中的静态和动态信息。GEI通过对一个步态周期内所有步态轮廓图像进行平均计算，生成步态能量图^［14］。灰度图GEI的定义为：

G(x,y)=\frac{\mathrm{1}}{N_o}{\displaystyle \sum _{t=\mathrm{1}}^{N_o}}{S}_t(x,y)（7）

式中：N_o 为一个步态周期中目标视角步态图像的总帧数；S_t(x,y)为一个步态周期中t时刻的二值步态图像序列；t为步态周期中的第t帧。

一个步态周期内的所有目标步态图像合成能量图的过程如图8所示。

3.4　评价指标及实验设置

本文使用K最邻近法（K-nearest neighbors，KNN）作为分类器来评估模型性能。DSCGAN-SE通过将生成器G生成的步态图像I_{\mathrm{f}\mathrm{a}\mathrm{k}\mathrm{e}}与数据集中已知类别的真实图像I_{\mathrm{r}\mathrm{e}\mathrm{a}\mathrm{l}}进行比较，KNN能够有效地衡量生成图像I_{\mathrm{f}\mathrm{a}\mathrm{k}\mathrm{e}}在特征空间中的分布与真实图像I_{\mathrm{f}\mathrm{a}\mathrm{k}\mathrm{e}}的相似程度，模型通过计算I_{\mathrm{f}\mathrm{a}\mathrm{k}\mathrm{e}}与I_{\mathrm{r}\mathrm{e}\mathrm{a}\mathrm{l}}中的所有样本之间的欧氏距离，找到与其距离最接近的K个样本。具体来说，KNN评价指标基于以下公式进行计算：

d(I_{\mathrm{f}\mathrm{a}\mathrm{k}\mathrm{e},}{I}_{f\mathrm{a}\mathrm{k}\mathrm{e},i})=\sqrt[]{{\displaystyle \sum _{j=\mathrm{1}}^n}(I_{\mathrm{f}\mathrm{a}\mathrm{k}\mathrm{e},j}-I_{\mathrm{f}\mathrm{a}\mathrm{k}\mathrm{e},i,j}{)}^{\mathrm{2}}}（8）

式中：I_{\mathrm{f}\mathrm{a}\mathrm{k}\mathrm{e},i}为训练集中的样本；I_{\mathrm{f}\mathrm{a}\mathrm{k}\mathrm{e},j}和I_{f\mathrm{a}\mathrm{k}\mathrm{e},i,j}分别为样本I_{\mathrm{f}\mathrm{a}\mathrm{k}\mathrm{e}}和I_{\mathrm{f}\mathrm{a}\mathrm{k}\mathrm{e},i}的第j个特征值；n为特征空间维度。

找到K距离最近的样本后，KNN通过对这些样本的标签进行投票，选择出现次数最多的标签作为I_{\mathrm{f}\mathrm{a}\mathrm{k}\mathrm{e}}的预测标签。即：

\widehat{y}(I_{\mathrm{f}\mathrm{a}\mathrm{k}\mathrm{e}})=\mathrm{m}\mathrm{o}\mathrm{d}e\{y(I_{\mathrm{f}\mathrm{a}\mathrm{k}\mathrm{e},i\mathrm{1}}),y(I_{\mathrm{f}\mathrm{a}\mathrm{k}\mathrm{e},i\mathrm{2}}),...,y(I_{\mathrm{f}\mathrm{a}\mathrm{k}\mathrm{e},in})\}（9）

式中：y(I_{ij})为第j个最近邻样本的标签；\widehat{y}(I_{\mathrm{f}\mathrm{a}\mathrm{k}\mathrm{e}})为生成器G生成的步态图像I_{\mathrm{f}\mathrm{a}\mathrm{k}\mathrm{e}}的预测标签。

基于此，KNN能有效评估生成图像的质量，其分类准确率反映了生成图像在特征空间中与真实样本的相似程度，从而间接衡量生成器的生成质量和多样性。

3.5　实验参数设置

本实验基于PyTorch深度学习框架的环境，使用配置为AMD 5900X CPU、NVIDIA 4090显卡和32GB DDR4 3600内存的服务器。二维卷积层和反卷积层初始化权重参数是均值为0、标准差为0.02的正态分布，偏置参数设为0。使用Adam优化器进行网络参数的更新，学习率设置为0.0002/3。

数据集CASIA-B被划分为两部分。前62名行人用于训练，后62名用于测试。GEI（步态能量图）的输入和输出图像尺寸设定为64×64像素，批量大小为128。DSCGAN-SE模型训练总共进行10 000次迭代。

3.6　实验结果与分析

本节将评估DSCGAN-SE在跨视角步态识别任务的实验结果，并分析了3种情况下不同视角对识别精度的影响。

为验证DSCGAN-SE模型良好的泛化能力，本节展示了基于CASIA-B数据集包含和排除相同视角3种情况下各个角度的识别精度，在图9和图10中以柱状图形式进行展示（彩图见电子版，后文同），具体3种情况下各个角度识别准确率如表5~表7所示。

结果表明，在不同步态条件下识别率存在显著差异，其中正常行走状态下的识别率最高，而携带包和穿着外套状态下的识别率则显著降低。这表明穿着外套和携带包会影响步态特征的表达，而视角差异则会进一步降低识别准确率。视角差异造成的数据分布不一致以及对称视角（特别是在90°附近）的性能提升，这是由于对称视角下步态数据的镜像效应以及携带包和外套对人体轮廓的遮挡所致。

图11为OU-MVLP数据集在排除相同视角3种情况下各个角度的识别精度。从图11中可以看出，本文DSCGAN-SE模型在跨视角的大规模步态识别任务中表现出的性能优势。这种性能的提升得益于OU-MVLP数据集在样本数量和视角多样性上的广泛覆盖，同时该数据集避免了过多协变量的干扰，使得DSCGAN-SE模型成功地在各个视角下实现了更高的识别精度，充分验证了其在大规模跨视角步态识别任务中的鲁棒性和优越性能。具体各角度识别准确率如表8所示。

3.7　消融实验

为评估GaitGAN模型在引入关键模块后的性能提升，本实验通过逐步加入双通道时空卷积网络和风格编码器，验证各模块对模型性能的贡献。具体结果如表9所示。通过引入双通道时空卷积网络后，生成器能够同时提取步态图像的时间和空间特征，对横向时序信息和纵向空间信息的提取与融合使模型的平均识别精度从64%提升至77%。进一步加入风格编码器，通过提取生成图像与真实图像的风格特征向量并计算其风格空间差异，有效优化了生成图像的真实感和语义一致性，平均识别精度提升至81%。双通道时空卷积网络和风格编码器分别在步态特征建模和生成图像质量优化方面发挥了关键作用，进一步提升了DSCGAN-SE模型的跨视角步态识别能力。

3.8　实验结果可视化

目前，基于GAN的步态识别跨视角研究中都需要实现将原本视角与目标进行评估之后，才能生成特定的步态图像，如果需要进行多视角的步态图像转换，则需要构建多个模型。

本文提出的DSCGAN-SE模型可将步态模板从任意视角转换成目标视角，图12为DSCGAN-SE利用CASIA-B数据集随机抽出128个行人进行90°典型视角的跨视角转换可视化，每三行为一组，其中第1行为生成器生成的目标视角图像，第2行为数据集中真实目标视角图像，第3行为原始步态图像。可以看出，本文训练DSCGAN-SE模型即使在视角变化较大情况下，生成器生成的步态图像也与真实的目标视角的步态图像难以区分。图13为DSCGAN-SE利用OU-MVLP数据集随机抽出128个行人进行90°典型视角的跨视角转换可视化。

3.9　CASIA-B数据集上跨视角步态识别对比

为了证明DSCGAN-SE模型的泛化性，本文将DSCGAN-SE与其他基于GAN的步态识别方法（GaitGAN^［12］、TCC-GAN^［15］、SE-CLGait^［16］、Dtrain-GAN^［17］、SA-GAN^［18］）在CASIA-B数据集正常行走条件下的步态识别精度进行对比分析，结果如表10所示。

从表10中可以看出，与其他方法相比，本文DSCGAN-SE模型的性能表现最佳。GaitGAN^［12］虽在识别率上取得了一定提升，但由于过度依赖于90°侧视图为标准进行特征匹配，忽视了中间层和时序特征的提取，导致在多视角条件下生成图像的质量较为有限。SE-GLGait^［16］中使用的SPTEM和LSGF方法都是基于步态视频序列生成，模型在处理其他类型的输入（如静态图像）时可能不适用。SA-GAN^［18］使用的自注意力机制虽然在全局特征提取上效果出色，但可能会忽略一些步态图像中的细微局部特征，导致模型难以捕捉不同步态的细微差异。Dtrain-GAN^［17］利用三元组损失增大不同类步态特征间的距离，并缩小同类特征间的距离，但其依赖于精确的负样本选择，且计算复杂度高，对训练时间和资源需求较大。相比之下，DSCGAN-SE不仅在全局和局部特征提取上进行了优化，还通过改进TCC-GAN^［15］的双通道卷积网络生成器设计，进一步增强了模型的时空特征提取能力。

DSCGAN-SE模型能够实现从任意视角到目标视角的步态模板转换，关键在于双通道时空卷积网络结构。该结构通过并行处理空间和时序特征，增强了模型对步态图像时序动态和空间结构的理解，提升了生成器在多视角条件下的表现能力。这种特征分离的设计让模型能够更好地捕捉跨视角生成任务中的复杂细节与变化。此外，为进一步提高生成图像的质量，DSCGAN-SE还引入了风格编码器，确保生成图像在语义层面的一致性，从而提升生成器的稳定性和鲁棒性。综合这些创新性设计，DSCGAN-SE在处理跨视角步态识别任务时展现了卓越的性能，成功实现了步态模板的高质量生成和视角转换。

相比于基准模型GaitGAN^［14］，DSCGAN-SE模型在54°、90°和126°三个视角下的识别率分别提高了23%、28%和22%。这说明DSCGAN-SE模型不仅很好地解决了GaitGAN模型中基础GAN结构性能有限问题，同时还改进了TCC-GAN中将双通道卷积网络运用在生成器设计中的方法，因而在跨视角步态识别中表现出色。

3.10　OU-MVLP数据集上跨视角步态识别对比

本文提出的DSCGAN-SE模型不仅在CASIA-B数据集上表现出色，在OU-MVLP数据集上的实验结果同样优异。如表11所示，DSCGAN-SE在14个视角的识别准确率较优于GEINet^［19］、GaitSet^［7］、GaitGANv2^［20］、MvGGAN^［21］、FSEAM^［22］和TSGM^［23］模型。该模型能够在复杂视角变化条件下精准提取步态特征，并在大规模数据集上的应用中展现出卓越的泛化能力。其性能优势得益于在生成对抗网络框架中融合了风格编码和双通道时空卷积网络，有效增强了特征表达能力和跨视角匹配性能，从而实现更高的识别精度。实验结果充分证明了DSCGAN-SE在跨视角步态识别任务中的有效性和鲁棒性，为步态识别技术的实际应用提供了重要支持。

4 结束语

为克服GaitGAN模型对视角依赖性高和动态变化适应性差的问题，同时为提高跨视角步态识别的准确率，本文提出了一种基于DSCGAN-SE模型的步态识别方法。该模型在GaitGAN的基础上引入了双通道时空卷积和风格编码，解决了GaitGAN模型对视角依赖性高和动态变化适应性差的问题，进一步提高了跨视角步态识别的准确率，与基准GaitGAN模型相比，本文模型在54°、90°和126°三个具有代表性的步态视角下的识别率分别提升了23%、28%和22%。

参考文献

[1] 李贻斌, 郭佳旻, 张勤.人体步态识别方法与技术[J].吉林大学学报: 工学版,2020, 50(1):1 -18.

[2] Li Yi-bin, Guo Jia-min, Zhang Qin. Methods and technologies for human gait recognition[J]. Journal of Jilin University (Engineering and Technology Edition), 2020, 50(1): 1-18.

[3] Sepas-Moghaddam A, Etemad A. Deep gait recognition: a survey[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2023, 45(1): 264-284.

[4] 段成阁, 刘康康, 李福全. 步态识别技术综述[J]. 中国人民公安大学学报: 自然科学版, 2022, 28(4):75-80.

[5] Duan Cheng-ge, Liu Kang-kang, Li Fu-quan. Overview of gait recognition technology[J]. Journal of People's Public Security University of China (Natural Science Edition), 2022, 28(4): 75-80.

[6] 刘晓芳, 周航, 韩权, 等. 基于视觉的步态识别研究综述[J]. 小型微型计算机系统,2018, 39(8): 1685-1692.

[7] Liu Xiao-fang, Zhou Hang, Han Quan, et al. Review of vision-based gait recognition research[J]. Mini-Micro Systems, 2018, 39(8): 1685-1692.

[8] 刘相锋, 周航. 步态识别技术及其在视频监控中的应用[J]. 电视技术,2011, 35(1): 119-121.

[9] Liu Xiang-feng, Zhou Hang. Gait recognition technology and its application in video surveillance[J]. Television Technology, 2011, 35(1): 119-121.

[10] 陈福仕, 沈尧, 周池春, 等. 无监督学习步态识别综述[J].计算机科学与探索,2024,18(8): 2014-2033.

[11] Chen Fu-shi, Shen Yao, Zhou Chi-chun, et al. A review of unsupervised learning for gait recognition[J]. Computer Science and Exploration, 2024, 18(8): 2014-2033.

[12] Chao H Q, Wang K, He Y W, et al. GaitSet:cross-view gait recognition through utilizing gait as a deep set[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 44(7): 3467-3478.

[13] Limcharoen P, Khamsemanan N, Nattee C. Gait recognition and re-identification based on regional LSTM for 2-second walks[J].IEEE Access, 2021, 9: 112057-112068.

[14] Goodfellow I, Pougetabadie J, Mirza M, et al.Generative adversarial nets[C]∥Advances in Neural Information Processing Systems, Quebec, Canada, 2014: 2672-2680.

[15] Aljazaerly M A A, Makihara Y, Muramatsu D, et al. Batch hard contrastive loss and its application to cross-view gait recognition[J]. IEEE Access, 2023, 11: 31177-31187.

[16] Wang L H, Xiao P F, Zhang X L, et al. A fine-grained unsupervised domain adaptation framework for semantic segmentation of remote sensing images[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2026,16: 4109-4121.

[17] Yu S, Chen H E, Reyes B G, et al. GaitGAN: invariant gait feature extraction using generative adversarial networks[C]∥2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops, Honolulu, HI, USA, 2017: 532-539.

[18] Yu S Q, Tan D L, Tan T N. A framework for evaluating the effect of view angle, clothing and carrying condition on gait recognition[C]∥Proc of the 18th International Conference on Pattern Recognition, Washington, USA, 2006: 441-444.

[19] Xu C, Makihara Y, Liao R, et al. Applications: real-time gait-based age estimation and gender classification from a single image[C]∥Proceedings of the 2021 IEEE/CVF Winter Conference on Applications of Computer Vision, online, 2021: 3459-3469.

[20] 王宇, 夏懿. 基于双通道循环一致性GAN的跨视角步态识别研究[J]. 计算机应用研究, 2022, 39(1):259-264.

[21] Wang Yu, Xia Yi. Cross-view gait recognition based on dual-channel cycle-consistent GAN[J]. Computer Applications and Research, 2022, 39(1): 259-264.

[22] 张云佐, 董旭. 基于双分支时空步态特征融合的深度学习步态识别[J]. 控制与决策, 2024,39(4): 1403-1408.

[23] Zhang Yun-zhuo, Dong Xu. Gait recognition based on dual-branch spatiotemporal feature fusion using deep learning[J]. Control and Decision, 2024, 39(4): 1403-1408.

[24] 李凯, 曹可凡, 沈皓凝. 基于步态序列的跨视角步态识别[J]. 河北大学学报: 自然科学版, 2021, 41(3):311-320.

[25] Li Kai, Cao Ke-fan, Shen Hao-ning. Cross-view gait recognition based on gait sequences[J]. Journal of Hebei University (Natural Science Edition), 2021, 41(3): 311-320.

[26] 张红颖, 包雯静. 融合自注意力机制的生成对抗网络跨视角步态识别[J]. 中国图象图形学报, 2022, 27(4): 1097-1109.

[27] Zhang Hong-ying, Bao Wen-jing. Cross-view gait recognition using generative adversarial networks with self-attention mechanism[J]. Journal of Image and Graphics, 2022, 27(4): 1097-1109.

[28] Shiraga K, Makihara Y, Muramatsu D, et al. GEINet: view-invariant gait recognition using a convolutional neural network[C]∥Proceedings of the 2016 International Conference on Biometrics. Halmstad: Sweden, 2016: 1-8.

[29] Yu S, Liao R, An W, et al. GaitGANv2: Invariant gait feature extraction using generative adversarial networks[J]. Pattern Recognition, 2019, 87: 179-189.

[30] Chen X, Luo X, Weng J, et al. Multi-view gait image generation for cross-view gait recognition[J]. IEEE Transactions on Image Processing, 2021,30: 3041-3055.

[31] 陈万志, 唐浩博, 王天元. 融合轮廓增强和注意力机制的改进GaitSet步态识别方法[J]. 电子测量与仪器学报, 2024, 38(1): 203-210.

[32] Chen Wan-zhi, Tang Hao-bo, Wang Tian-yuan. Improved GaitSet gait recognition method integrating contour enhancement and attention mechanism[J]. Journal of Electronic Measurement and Instrumentation, 2024, 38(1): 203-210.

[33] 汪堃, 雷一鸣, 张军平. 基于双流步态网络的跨视角步态识别[J]. 模式识别与人工智能, 2020, 33(5):383-392.

[34] Wang Kun, Lei Yi-ming, Zhang Jun-ping. Cross-view gait recognition based on dual-stream gait network[J]. Pattern Recognition and Artificial Intelligence, 2020, 33(5): 383-392.

基金资助

国家自然科学基金项目(61872027)

国铁集团重点项目(M23D00101)

北京交通大学科研项目(W21L00390)

北京交通大学教改项目(SQ20240024)