0 引 言
行人重识别是智能视频监控领域的一项关键技术,旨在判别由不同视域摄像机在不同时间采集的行人视频/图像是否为同一目标行人
[1]。基于视频的行人重识别在智能安防、刑事侦查等领域有着广泛应用。来自监控视频的图像通常是模糊的,并且分辨率较低;不同的人身上可能会出现形状和穿着相似的情况;由于所获取的图像可能是在不同的时间拍摄的,因此行人的姿势可能不同;在现实生活中的视频监控场景中,还会出现遮挡等问题。在这些情况下,仅通过外表特征很难重识别不同的行人。
为解决上述问题,国内外学者进行了大量研究。Isobe等
[2]提出了一个级联模块,有效地聚合片段级特征。Li等
[3]提出了一个关系模块计算相关性向量,生成空间级和帧级的全局关系向量,帧级特征能够捕捉局部和全局信息。Hou等
[4]利用注意力进行显著性特征擦除,以获得更丰富的空间特征。Tai等
[5]提出了一种基于Transformer 的网络,使其能够依赖较弱的监督信息学习目标各部分的特征。Carreira等
[6]提出了膨胀三维卷积架构,该架构在时间维度上对来自ImageNet的预训练权重进行膨胀初始化模型权重。Li等
[7]构建了一个多尺度三维(Multi-scale three-dimensional, M3D)卷积网络学习多尺度时间线索。
上述基于深度学习的方法对解决行人重识别中存在的遮挡、光照变化、相机角度、场景变化、行人姿态变化等问题有一定的效果,且其中一些方法通过注意力机制学习行人图像的显著性特征,但是这些方法缺乏对时间特征、全局特征和局部细节特征的统筹考虑。为此,本文提出一个三维(Three-dimensional,3D)卷积与自注意力机制
[8]相融合的网络,该网络将所输入的行人视频序列分为2个子片段,一个子片段保留原始分辨率获取细节视觉线索,通过下采样处理另一子片段得到的低分辨率帧,并扩大感受野编码远距离空间上下文得到更广泛的特征
[9]。然后使用3D卷积和自注意力机制分别提取序列的短时信息和长时信息。本文所提网络通过结合短期和长期时间线索学习有判别性的时间表示,可增强模型面对视频中复杂多变环境的抗干扰能力,从而提高视频行人重识别的准确率。
1 本文方法
1.1 网络结构
本文构造了一种基于3D卷积和自注意力机制的视频行人重识别网络,网络结构如
图1所示。该网络以ResNet-50作为基线网络,首先将输入的视频序列进行分段处理,利用不同的分辨率处理子片段。其次将3D卷积引入骨干网络ResNet-50中构成3D ResNet-50网络,用以获取片段的短时特征。再次将其输入自注意力机制模块中探索全局时间线索,得到视频序列的长时特征。最后通过多阶段融合模块对片段级特征进行融合,获得多尺度特征用于识别。
给定一个包含帧的视频序列,本文将给定视频序列划分为个子片段,。将2个子片段的帧图像分别用不同的分辨率进行处理,其中,以原始分辨率处理,以原始分辨率的1/2处理,可提供更大的感受野编码远距离空间上下文。首先利用3D ResNet-50网络提取每个视频帧片段的特征,表示为。其次通过本文提出的跨尺度融合模块将子片段特征连接起来,得到同时包含时间维度与语义维度的特征。最后将包含短时信息的特征输入自注意力机制模块中,探索不连续帧之间的上下文关系,捕获长时特征。
1.2 加入3D卷积的行人特征提取方法
3D卷积是针对视频建模比较自然的方式,它具有同时获取行人序列的空间和时间维度特征信息的能力,能够有效增强行人的特征表达能力。
采用ResNet-50网络作为骨干网络,该网络的核心部分由4个卷积层组成,每层均由两种残差模块构成,其中第一层、第二层、第三层和第四层中的残差模块数分别为3、4、6、3,ResNet-50的残差块之间采用跳跃连接的方式,使得网络可以更好地处理较深层的特征。本文将3D卷积引入ResNet-50网络中构成3D ResNet-50网络,可同时提取视频帧的空间特征及短期时序信息,网络中的关键模块结构如
图2所示。
图2中
为输出特征图的通道数,3
3为3×3×3卷积核。ResNet-50中的bottleneck模块由3个卷积层组成,卷积核的大小分别为1×1×1、3×3×3、1×1×1。该结构可快速地将顶层的信息传递给ReLU之前的层,采用身份连接和零填充处理ResNet-50基本模块,以避免增加浅层网络的参数量。本文通过替换ResNet-50网络中的部分残差块,将3D卷积模块嵌入骨干网络中。具体为:在第二层中使用2个3D卷积替换第二层中的第一和第三个残差模块;在第三层中使用3个 3D 卷积替换第三层中的第一、第二和第三个残差模块。
1.3 自注意力机制
视频连续帧包含行人的运动信息,如行走姿势等,可用于辅助判断行人身份。对于时序建模,短期时间建模和长期时间建模都很重要,视频短时特征可描述人体细节信息,有助于区分外观相似的行人。但行人数据集采像环境较为复杂,仅靠短期时间线索不能解决问题,缺乏对全局信息的关注。因此需要捕捉全局时间线索,借用时间跨度比较大的帧的信息补全信息,缓解视频序列中的遮挡和噪声。长时信息可以概括视频的整体时序特征,减少低质量帧的影响。本文利用自注意力机制从全局角度捕获长时特征。在使用自注意力机制时,图像中的某个像素会和其他所有像素做相关性计算,即对于一个像素,充分考虑了整张图像。
图3给出了自注意力机制网络,自注意力机制输入为特征图
,其中
为实数集,
和
分别为特征图的高度和宽度,通过不同的投影矩阵
、
、
得到待训练参数矩阵
,
,
。对
和每个
进行相似度计算得到权重,并归一化,将和
相应的
按归一化权重的注意力图进行加权求和,获得最终的输出特征。
1.4 多阶段融合模块
卷积神经网络是从浅层到深层的过程,先通过卷积层提取浅层特征,随着层数加深逐渐提取深层特征,可获取更多语义信息。浅层特征更关注图片的边缘和纹理等特征,深层特征能够学到更丰富的语义特征。本文提出一个多阶段融合模块(Multi-stage fusion module, MSFM)对不同阶段的特征进行融合,该模块在多个语义层面融合更丰富的帧特征,可有效减少传统单级融合造成的信息损失。
如
图4所示,MSFM包括两部分,分别是跨尺度融合模块(Cross-scale fusion module, CSFM)和语义注意力模块(Semantic attention module, SAM)。下面对其进行详细介绍。
CSFM主要作用于视频帧的特征,将低分辨率分支的特征传播到高分辨率分支,此时,高分辨率分支融合所有分支特征,可获得丰富的多粒度特征。CSFM的结构示意图如
图5所示。具体来说,
和
是2个分支同一阶段提取的特征图,
、
和
分别为特征图的高度、宽度和通道数。CSFM首先在
上进行上采样操作将其调整到与
相同的大小,然后将特征图
与
逐元素相加,得到融合后的特征。在语义维度上,将所有阶段的特征融合在一起,得到最终视频序列的特征。
本文使用SAM获取语义维度上的注意力权重。给定来自不同阶段的特征,通过Softmax得到每个阶段输出的重要性,然后求平均得到每个分支的注意力权重,最终多个语义阶段的特征按注意力权重融合为视频级特征。
2 实 验
2.1 数据集
为验证本文网络模型的有效性,在MARS
[10]、DukeMTMC-VideoReID
[11]和iLIDS-VID
[12]数据集上进行实验验证本文所提方法的优越性。并且通过一系列消融实验,验证本文网络模型中各个模块对模型的有效性影响。
2.2 实验设置
本实验基于Pytorch框架,Ubunt 64位操作系统,显卡为NVIDIA GeForce RTX 2080 Ti。在训练过程中,对于每个视频序列,以4帧的步幅随机采样8帧以形成一个视频片段。每一批包含16人,每人有4个视频片段。输入图片的统一高度为256,宽度为128,数据增强利用水平翻转和随机擦除
[13]。本实验中优化器采用Adam
[14],权重衰减为0.000 5,训练轮数为150轮,学习率初始化为3.5×10
-4,每40轮衰减因子为0.1。在测试过程中,对于每个视频序列,首先将其拆分为几个8帧视频片段;其次通过提出的网络提取每个视频片段的特征,最终的视频特征是所有片段的平均表示;最后对计算查询和库特征之间的余弦距离进行检索。
2.3 实验分析
2.3.1 加入3D卷积的对比实验
本节主要通过对比实验讨论在基线网络 ResNet-50中添加3D卷积的最优嵌入方式,即在网络中添加3D卷积的位置和数量,以达到模型的准确率最佳。首先验证将3D卷积添加到骨干网络的哪一个卷积层中,能得到最好的实验结果。本次实验在MARS数据集上进行,将3D卷积加入ResNet-50各层中,实验过程中只用3D卷积替换每层中的第一个卷积,得到将3D卷积嵌入各卷积层中的实验结果,结果如
表1所示。
根据
表1结果可得以下结论:①在ResNet-50的不同位置中嵌入3D卷积得到的精度是不同的,当3D卷积只插入一层中时,在第三层中加入3D卷积的效果最好;②在ResNet-50网络的不同层中分别加入一个3D卷积所得结果是不同的。在本实验中,分别在第二层和第三层中嵌入一个3D卷积,该实验结果要优于单独在第二层或者第三层嵌入一个3D卷积。与基线网络相比,mAP和Rank-1分别提高了1.0个百分点和0.5个百分点。
表2给出了3D卷积嵌入ResNet-50第二层中的实验结果。从
表2中可看出,当用3D卷积替换第二层不同位置的卷积所得结果是不同的。并且用3D卷积替换Conv3_2的卷积时,准确率是最高的,用3D卷积替换多个位置的卷积所得结果也有差异,当第二层中的Conv3_0和Conv3_2残差块同时被3D卷积所替换时,实验结果最优,mAP为 82.2%。
3D卷积嵌入ResNet-50第三层中的实验结果如
表3所示。由
表3可得以下结论:①将一个 3D 卷积嵌入第三层中的不同位置的结果是有差异的,将Conv4_4残差块替换成3D卷积的结果是最优的;②将多个3D卷积嵌入第三层中的结果是不同的,当Conv4_2和Conv4_4位置的残差块分别被一个3D卷积替换时,网络的准确率较高;③当替换模块数量为3时,网络的准确率是最高的,mAP为83.1%,Rank-1指标为87.2%。但当替换模块数量为4时,实验结果有所下降。
将3D卷积同时嵌入ResNet-50第二、三层中的对比实验结果如
表4所示。由
表4可以看出,将在第二层和第三层中所得到的最优嵌入方式结合起来的准确率最高,与单独在第三层中嵌入3D卷积相比,mAP提高了0.7个百分点,Rank-1提高了0.3个百分点。与单独在第二层中加入3D卷积相比,mAP和Rank-1分别提高了1.6个百分点和0.6个百分点。
2.3.2 加入自注意力机制的对比实验
在2.3.1节中确定了3D卷积在ResNet-50 网络中的最优嵌入方式,在此基础上进行加入自注意力机制的对比实验。本节在MARS和iLIDS-VID数据集上进行实验,结果如
表5所示。
由
表5可知,单独将自注意力机制加入到基线网络中,在MARS数据集上mAP和Rank-1分别为84.0%和87.8%。与基线网络相比,mAP和Rank-1分别提高了2.8个百分点和1.2个百分点。同时,将3D卷积和自注意力机制结合在一起的结果是最优的,在MARS数据集上mAP和Rank-1分别为84.6%和88.8%。与基线网络相比,其关键指标mAP和Rank-1分别提高了3.4个百分点和2.2个百分点。
2.3.3 分支个数对实验结果的影响
本实验将视频序列分成多组片段,并对每组片段中的帧使用不同的分辨率进行处理。本文将不同分支对识别准确率的影响进行了比较,结果如
表6所示。
由
表6可知:①在单分支的情况下,采用256×128分辨率训练网络可产生最好的结果,mAP和Rank-1分别为84.8%和88.5%。以128×64分辨率训练仍能提供合理精度,但当输入分辨率为64×32时,分辨率过低,性能严重下降;②在双分支结构中,当分辨率大小分别为256×128和128×64时,结果是最优的,mAP和Rank-1分别为85.2%和89.5%,与分辨率为256×128的单分支结构相比,mAP和Rank-1分别提高了0.4个百分点和1.0个百分点,Rank-1指标的提升效果显著。当分辨率大小分别为256×128和64×32时,模型性能显著下降,具有64×32输入分辨率的分支干扰网络参数的优化。
2.3.4 MSFM对实验结果的影响
本节评估MSFM对视频行人重识别准确率的影响,验证MSFM的有效性。MSFM包含CSFM和SAM模块,将其加入基线网络进行消融实验,结果如
表7所示。
由
表7可知,在基线网络中加入MSFM可以提高模型准确率,基线网络是将分支1与分支2所得特征简单地连接起来。在MARS数据集上与基线网络对比,加入MSFM时mAP和Rank-1指标分别提高了0.6个百分点和0.6个百分点。当仅加入CSFM时,对比基线网络mAP和 Rank-1指标分别提高了0.3个百分点和0.2个百分点。将CSFM和SAM结合在一起构成MSFM加入网络,实验结果达到最优。
2.4 方法对比
将本文方法与现有视频行人重识别方法进行比较。这些方法均为近3年所提出的,并使用ResNet-50作为其主干网络探索视频中行人的时空信息。对比结果见
表8,可以观察到,与其他比较方法相比,本文方法在3个数据集上都取得了显著的性能。
由
表8可知,本文方法在MARS数据集上的mAP和Rank-1指标分别为86.2%和90.7%,优于其他算法。相较于TCLNet,本文方法在iLIDS-VID数据集上Rank-1指标提高了6.1个百分点。在MARS数据集上mAP指标提高了1.1个百分点,这些显著的提升可归因于本文方法中双分支架构的设计。本文方法对短期和长期时间关系同时进行建模,所得识别性能优于M3D和SSN3D等仅对短期时间关系进行建模的方法。
由
表8可知,本文方法在DukeMTMC-VideoReID数据集上的mAP和Rank-1指标分别为96.2%和97.0%,也取得了较好的识别结果。而CSA-Net对遮挡等低质量帧的处理,使得识别性能更优,因此对遮挡帧的处理也是本文下一步将要继续改进的方向。
由
表8可知,在iLIDS-VID数据集上,本文方法在Rank-1和Rank-5指标上的精度分别为92.7%和98.9%,处于先进水平,低于SITN网络的94%和100%。这是由于SITN网络在空间信息学习过程中时间信息起到了积极的指导作用,而iLIDS-VID数据集是冬天在机场采集的,行人外观信息相似,时间信息对空间信息的学习指导可充分发掘和利用细节信息。
3 结束语
本文提出了一个基于3D卷积与自注意力机制的融合网络。长时信息可概括视频的整体时序特征,减少低质量帧的影响,而3D卷积可捕获局部时间上下文信息,所得的特征包含了细节信息。该网络采用短时3D卷积和长时自注意力机制模块结合分别提取长短期时序特征进行互补,得到完整的视频时序表示,有助于提高较大规模复杂场景下行人身份的识别准确率。此外,本文提出的MSFM将不同分支和不同阶段的特征相融合,得到一个同时包含了时间和语义维度的多阶段特征,在多个语义层面融合更丰富的帧特征,可有效减少传统单级融合造成的信息损失。对比实验及验证实验证明,本文所提网络能有效解决相机角度、场景变化、行人形状相近和遮挡等问题对视频行人重识别带来的干扰,提高视频行人重识别的准确率。
国家自然科学基金项目(62341121)
河北省自然科学基金项目(F2023210001)
河北省教育厅青年基金项目(QN2022086)
河北省教育厅青年基金项目(QN2025052)
河北省社会科学基金项目(HB19JY017)