泛化迁移深度学习下的跨模态图像行人识别算法

摘要

针对由于受光照条件变化、行人身高差异等影响，致使监控视频图像在不同时刻的成像存在较大的跨模态差异问题，为准确识别跨模态图像中的行人，提出基于泛化迁移深度学习的跨模态图像行人识别算法。通过循环生成对抗网络(Cyele GAN:Cycle Generative Adversarial Network)形成跨模态图像，采用单目标图像处理对基准图分割处理，得到人体候选区域，在匹配图中搜索和其匹配的区域，得到人体区域的视差，通过视差提取人体区域的深度和透视特征。将注意力机制和跨模态行人识别相结合，分析两种不同类型图像的差异，将两个子空间映射到同一个特征空间，同时引入泛化迁移深度学习算法对损失函数度量学习，自动筛选跨模态图像的行人特征，最终通过模态融合模块将筛选的特征融合处理完成行人识别。实验结果表明，所提算法可以快速、准确地提取不同模态图像中的行人，识别效果较好。

关键词

泛化迁移深度学习 / 跨模态图像 / 行人识别 / 特征提取

基金资助

西安明德理工学院科研基金资助项目(2021XY01L09)