基于全局和局部令牌变换的行人再识别算法

摘要

行人再识别在智慧安防、智慧城市和智慧交通等领域具有广泛的研究和应用价值，但是就目前的研究和应用需求来看，面向真实场景的行人再识别仍然是一项挑战.针对真实场景下行人目标具有复杂的图像变化，本文提出一种全局和局部令牌变换（GLTT）框架，以学习具有鉴别性和鲁棒性的行人特征.首先，在GLTT框架上引入一种全局令牌变换（GTT）模块，考虑到单个类别令牌难以应对复杂的行人图像变化，该模块利用多个类别令牌从不同语义空间中学习多个全局行人特征，提升行人再识别模型的全局鲁棒性.然后，考虑到行人局部细节包含关键身份信息，本文设计一种局部令牌变换（LTT）模块，通过融合自注意力权重来动态选择具有语义相关性的块令牌，并在所选择的块令牌和类别令牌之间进行信息交互，从而提升行人再识别模型的局部鉴别性.最后，本文提出一种简单有效的类别令牌正则化（CTR）方法，以使每个类别令牌的特征空间不重叠，从而提高多个类别令牌特征的表示能力.实验结果表明，与多种行人再识别方法相比，本文所提出的GLTT框架在Market1501、CUHK03、DukeMTMC和MSMT17数据集上均取得最优的识别效果，验证了此框架具有良好的鉴别性和鲁棒性.

关键词

行人再识别 / 全局令牌变换 / 局部令牌变换 / 类别令牌正则化

基金资助

国家自然科学基金（62301346）; 四川省科技计划资助项目（2024NSFSC1424）; 成都市技术创新研发项目（2024-YF05-00652-SN）; 四川大学引进人才科研启动经费资助项目（YJ202326）; 成都市科技成果转化示范项目（2023-YF09-00019-SN）; 四川大学-中国核动力研究设计院联合创新基金