铁路客运场景下基于图像搜索的遗失物品查找方法

李博 ,  朱建生 ,  戴琳琳 ,  景辉 ,  黄植正

铁道运输与经济 ›› 2024, Vol. 46 ›› Issue (5) : 89 -99.

PDF (2329KB)
铁道运输与经济 ›› 2024, Vol. 46 ›› Issue (5) : 89 -99. DOI: 10.16668/j.cnki.issn.1003-1421.2024.05.10
信息化与智能化

铁路客运场景下基于图像搜索的遗失物品查找方法

作者信息 +

Image Search-Based Method for Finding Lost Items in Railway Passenger Transport Scenarios

Author information +
文章历史 +
PDF (2384K)

摘要

当前铁路客运场景下的遗失物品查找方法效率低下,影响了旅客的出行体验,给各车站的生产经营造成了困扰。为创新铁路客运场景下的遗失物品查找方式,在分析铁路客运遗失物品查找需求与难点的基础上,结合人脸识别以及深度学习的前沿技术成果,建立了一种基于图像搜索的遗失物品查找框架,设计了面向铁路客运场景的安检遗失物品查找方案以及非安检遗失物品查找方案。研究结果表明,该方法可进一步提高铁路客运运营的智能化水平,优化遗失物品的查找效率,在跨模态检索测试中有较高的检索精度,但在部分类别中的检索结果存在误差。基于研究结果,从算法改进与模型微调策略等方面进行了展望。

Abstract

At present, the method for finding lost items in the railway passenger transport scenario is inefficient, which affects the travel experience of passengers and causes trouble to the production and operation of stations. In order to innovate the method for finding lost items in the railway passenger transport scenario, the needs and difficulties of finding lost items in the railway passenger transport scenario were analyzed. Combined with the cutting-edge technology achievements of face recognition and deep learning, a framework for finding lost items based on image search was established, and the scheme for finding lost items during security check and non-security check periods in the railway passenger transport scenario was designed. The results show that this method can further improve the intelligence level of railway passenger transport operations and promote the efficiency of finding lost items. It has high retrieval accuracy in cross-modal retrieval tests, but there are a few errors in the retrieval results of some categories. Based on the research results, the algorithm improvement and model fine-tuning strategies were forecasted.

Graphical abstract

关键词

铁路客运 / 遗失物品 / 深度学习 / 实例搜索 / 跨模态图像检索

Key words

Railway Passenger Transport / Lost Items / Deep Learning / Search Instance / Cross-Modal Image Retrieval

引用本文

引用格式 ▾
李博,朱建生,戴琳琳,景辉,黄植正. 铁路客运场景下基于图像搜索的遗失物品查找方法[J]. 铁道运输与经济, 2024, 46(5): 89-99 DOI:10.16668/j.cnki.issn.1003-1421.2024.05.10

登录浏览全文

4963

注册一个新账户 忘记密码

0 引言

物品遗失问题始终影响着铁路客运质量及旅客出行体验,上海虹桥站2023年春运启动前的日均遗失物品数量在300件左右,春运期间的日均遗失物品数量可达800件;上海站2023年“五一”假期期间的日均遗失物品登记数达上千件;南昌站春运期间的日均遗失物品数量达到了1 200件。在庞大的客流基础下,传统基于结构化信息的失物招领方法仅提供了遗失物品的登记服务,遗失物品的查询过程需要较多的人力参与,制约并影响着铁路客运失物招领的效率以及旅客的出行体验。因此,亟需对铁路客运场景下的遗失物品查找方法进行创新。

随着数字化铁路建设[1]以及铁路“科创”[2]进程的不断加深,以深度学习为基础的人脸识别[3]、步态识别[4]等新一代人工智能技术逐渐渗透到了铁路客运领域,并取得了较好的应用效果,加快了铁路客运现代化建设的步伐。图像能够涵盖描述对象大部分的外貌特征,可作为遗失物品的信息载体。基于深度学习的图像搜索方法[5]经过几十年的发展与积累,逐渐形成了一套较为完整的技术体系,在医学[6]、电商等领域均有广泛的研究与应用,例如淘宝的拍立淘、谷歌的DICOMweb等。在铁路客运领域,图像检索技术已经在人脸检索方面取得了应用[7],并形成了一套1∶N的人脸检索方案。上述多种实践应用表明,采用基于深度学习的图像搜索方式可以明显改善搜索体验,提高目标对象的查找效率。同时,多模态信息融合技术的发展[8-10]使得图像搜索的范围已不限于图像与图像之间。图像与文本跨模态的检索方式使得旅客不仅可以通过以图搜图的方式查找遗失物品,还可以通过提供对遗失物品的一段语句描述,实现与遗失物品图像的匹配,有利于提高遗失物品查找的灵活性。

综上所述,基于深度学习的图像搜索方法具备为铁路客运遗失物品查找应用赋能的基本条件与潜力。然而,在铁路客运量大面广的复杂现实场景下,基于深度学习的图像搜索方式将面临遗失物品种类不确定,可获取样本少,难以建立完整的遗失物品数据集,样本标注困难以及遗失物品查找业务本身所带有的安全问题等一系列挑战,需要打通技术与业务流程2个维度,以保障方法的实际应用效果与使用体验。为此,基于深度学习的图像搜索技术,创新性地探究了铁路客运场景下遗失物品查找的应用范式,在分析铁路客运场景下遗失物品查找需求与难点的基础上建立了包含安检遗失物品查找与非安检遗失物品查找2个子流程的技术框架,并分别围绕铁路客运安检遗失物品查找与非安检遗失物品查找2个子流程,基于人脸绑定以及多模态检索技术设计了相应的遗失物品查找方案。最后,围绕所提出的技术方案,对后续的研究与工作进行讨论与展望。

1 需求与难点分析

1.1 需求分析

铁路客运物品遗失问题突出,传统的遗失物品查找与招领的方式存在较多的人力参与,无论在效率或在体验效果上均难以满足旅客当下的出行需要。为此,在基于图像搜索方法的基础上,对新一代铁路客运遗失物品查找方法的需求分析如下。

(1)创新遗失物品查找的方式以改善旅客的出行体验。传统的遗失物品查找方式很大程度上通过人工查找的方式完成,除了需要考虑高昂的人力成本外,单一的文本登记与人力检索的方式限制了旅客的遗失物品查找方式,对遗失物品描述的精准性与全面性都会影响遗失物品的人力查找结果。图像可以健全旅客对遗失物品的描述特征,使得旅客在不必费力描述遗失物品特征的基础上通过深度学习技术,便捷有效地实现遗失物品的检索,改善了旅客对遗失物品的查找体验。

(2)提高遗失物品查找的效率以缓解车站遗失物品积压的问题。遗失物品查找方式的落后是影响遗失物品查找效率的关键因素,对于非贵重物品,旅客面对繁杂的人工查找流程会降低对遗失物品的查找欲望,使得大量的遗失物品无人认领,从而加重遗失物品的积压问题,为此需要加强遗失物品查找的智能化水平,提高遗失物品的查找效率。

(3)提高遗失物品查找的可靠性以确保遗失物品查找的服务质量。依据《铁路旅客运输办理细则》,在遗失物品入库时要登记遗失物品的发现日期、地点、品名、包装以及内涵物品、数量与重量等信息。为此,在遗失物品入库环节,除了需要以图像记录遗失物品的颜色、形状等品类信息之外,还需要通过传感设备记录遗失物品的重量等信息,并上传遗失物品的发现时间与发现地点等时空信息。在多维信息加持之下,在面对同类别且高度相似的物品时,可以依靠除图像外其他维度的信息更精准地进行实例划分,从而提高遗失物品查找的可靠性。

(4)保障遗失物品查找的安全性以保护旅客的切身利益。旅客的遗失物品属于私有财产,受法律保护。因此,需要减少错领遗失物品的现象,并健全认领遗失物品后的保障措施。

1.2 难点分析

铁路客运场景复杂,各类异常与非理想情况频繁出现,为保障图像搜索技术的实际应用效果,针对铁路客运场景存在的现实问题,分析了铁路客运遗失物品查找的难点如下。

(1)难以建立完整的遗失物品数据集。物品丢失问题随机发生,使得遗失物品的种类难以确定,频繁加入新的遗失物品类别。

(2)遗失物品外形不规则且可获得的训练样本少,对模型的泛化性提出了较高的要求。尤其对于儿童玩具、时尚用品等艺术创意类物品,难以获取其重复的样本,且该类物品通常外貌轮廓复杂,给模型的目标检测与实例分割等任务带来了困难,通常需要结合Few-shot[11]、One-shot[12]甚至Zero-shot[13]等小样本方法实现。

(3)类内差异性与类间相似性提高了训练模型的难度。遗失物品不同类别存在相似性,同类物品的不同实例间有时也会出现较大的差异,这些异常情况都会影响模型的性能。因此,难以从根本上避免模型误判遗失物品图像的情况。

(4)数据标注困难。物品遗失问题的随机性使得数据难以形成统一的标注范式,不能简单地采用传统的分类模型。在图像与文本跨模态搜索的现实应用场景中,由于旅客出于各自习惯等原因,所提供的语句形式不统一,在标准自然语言标注下训练的模型难以取得较好的应用效果。

(5)单纯从技术上难以保障遗失物品查找的安全性。遗失物品与旅客存在着强绑定的关联,图像搜索模型存在一定的检索误差,难以百分之百地保证检索结果的准确性。因此,需要结合业务流程缩小遗失物品的检索空间,提高模型的检索效率与准确性,从而提高查找遗失物品的安全程度。

2 遗失物品查找方法总体架构

旅客与物品的绑定关联有利于提高遗失物品的查找精度,铁路安检口是旅客和行李进站必经的关口,经过安检的物品可与一定时域内的旅客建立绑定关系,可在物品遗失时通过ID识别的方式进行追溯。行李内部和随身携带的物品难以被安检的拍摄设备采样,因此需要旅客提供必要的遗失物品信息完成查找。为此,将遗失物品分为安检类物品与非安检类物品,并基于铁路客运团队人脸识别研究成果[14],建立了包含安检遗失物品查找流程与非安检遗失物品查找流程的遗失物品查找方法框架,铁路客运场景下基于图像搜索的遗失物品查找方法框架如图1所示。

2.1 功能与流程

2.1.1 总流程

铁路客运遗失物品查找流程需要2个子流程(安检遗失物品查找与非安检遗失物品查找)提供支持。旅客登陆遗失物品查找平台并上传人脸图像,基于人脸图像,通过铁路客运安检遗失物品查找流程,返回经过安检的物品查询结果。若旅客遗失物品未找全,则需要旅客提供遗失物品的语义描述,基于铁路客运非安检遗失物品查找流程,返回物品的查询结果。若2个流程均未提供满意的查询服务,则通过人工服务解决。

2.1.2 安检遗失物品查找流程

在铁路客运安检遗失物品查找流程中,需要获取旅客的人脸图像,进而从安检物品-人脸绑定图像库中匹配到旅客的人脸信息,并返回与旅客人脸绑定的物品图像库,形成特定的安检行李物品检索空间。客运遗失物品库会在安检行李物品检索空间中筛选出处于遗失状态的物品,从而通过ID识别的方式完成遗失物品的追溯。该方式可缩小遗失物品搜索的范围,同时有利于提高遗失物品查找的安全性,为旅客提供无感触式的遗失物品查找体验。

2.1.3 非安检遗失物品查找流程

非安检遗失物品查找主要面向行李内部和随身携带的物品,这些物品难以被安检拍摄设备采样,需要旅客提供必要的描述信息进行查找。旅客需要提供一段关于遗失物品的语义描述,通过跨模态检索技术实现自然语言与图像的匹配关联,返回与描述语句相关的查询图像作为检索结果。跨模态图像检索技术可增加遗失物品查找的效率,为传统人工登记查找的方式提供了具备替代潜力的智能化技术方案。

2.2 安检遗失物品查找方法

安检遗失物品查找方法需要基于人脸识别检索技术,重点研究满足铁路客运场景要求的遗失物品图像特征提取方法,在类内差异性和类间相似性显著的数据环境中,解决遗失物品细粒度特征抽取的难题,基于深度学习网络建立判别性与鲁棒性足够的遗失物品特征表示,实现检索特征的抽取以及安检物品-人脸绑定图像库的建立。

2.3 非安检遗失物品查找方法

非安检遗失物品查找方法涉及自然语言与图像之间的交互检索,需要基于跨模态检索技术,解决自然语言描述规范性以及图像模态与文本模态对齐的问题。当前跨模态检索技术工作需要在大规模预训练模型的基础上展开,需要有效的大规模预训练模型的微调方法支撑跨模态检索的技术效果。大模型微调的影响要素包含微调数据集、预训练模型的选型、微调目标函数设计、模型引导策略、微调优化算法、微调超参数选定等。其中,微调数据集包含文本描述与图像2种模态,文本描述范式将直接影响模型的微调效果。因此,建立铁路客运场景下遗失物品描述指标以规范遗失物品的描述范式,形成数据形式统一的数据标注,将有利于提高跨模态检索的最终表现效果。

3 铁路客运遗失物品查找方案

3.1 铁路客运安检遗失物品查找方案

安检类物品主要指行李箱、包装袋等大件物品。由于安检机与安检门处通常部署有摄像头,方便采集到旅客的人脸,因此可以按批次将包装类行李与旅客群体之间进行粗略地绑定,使得在同一批次群体中的每位旅客都与唯一的行李库匹配,可有效缩小旅客丢失行李时的搜索空间,提高搜索的效率。同时,由于采集了旅客的人脸信息,也提高了遗失物品认领过程的安全性。

3.1.1 人脸识别检索模型

基于团队前期的研究成果[14],采用Insightface结合Faiss的方式进行人脸识别与检索,实现上传的人脸图像与人脸绑定图像库的匹配。采用多任务级联卷积网络(MTCNN)完成人脸关键点检测,多任务级联卷积网络框架如图2所示,在所有的级联模块中都需要完成人脸分类、边界框回归和面部关键点的定位输出以指导模型的训练,由从粗到精的方式逐步完成人脸关键点检测任务。

其中,人脸分类采用交叉熵损失量化,边框回归和面部关键点定位采用欧氏距离量化,总体损失函数如公式⑴所示。

min i=1N   j(det,box,landmark)αjβijLij

式中:N表示样本规模大小;det表示人脸分类任务;box表示边框回归任务;landmark表示面部关键点定位任务;αj 表示各层网络权重;βij表示对应任务的样本类型;Lij表示第i个样本在第j个任务下的关键点定位。

在完成人脸关键点检测与定位后,采用ResNet101网络进行深度特征提取,建立人脸的特征表示,并通过Faiss工具实现人脸特征向量的检索。在1万的特征底库中进行检索试验,1∶1的对比精度达99.8%,1∶N的对比精度达95.2%。

3.1.2 建立铁路安检物品-人脸绑定图像库

基于时间窗采集控制的方式,进行安检物品-人脸绑定图像库的建立,基于时间窗控制的安检物品-人脸绑定图像库建立方案如图3所示。

以时间为主线按批次采集人脸与安检物品的图像数据,关联该时间窗内的人脸与行李信息,并进行统一的图像存储。设Tn为时间窗n下安检物品与人脸的绑定结果,fmn为时间窗n下第m个旅客的人脸图像,bmn为时间窗n下第m个行李的图像,其关系可如公式⑵所示。

Tn=[f1n,f2n,,fmn,[b1n,b2n,,bmn]]

3.1.3 基于人脸绑定的安检遗失物品查找方案设计

遗失物品需要通过传感运输设备运输入库,并记录重量、尺寸等属性信息。同时,需要通过多个角度的摄像头采集遗失物品的多维图像,以提高图像数据的采集质量。采集到的遗失物品图像数据需要统一存储,形成遗失物品图像库作为多模态检索的素材。除此之外,还需要将遗失物品的图像送入特征提取网络以建立遗失物品的特征库,作为以图搜图技术流程的数据基础。在此基础上,建立基于人脸绑定的安检遗失物品查找流程,基于人脸绑定的安检遗失物品查找流程如图4所示。

查询遗失物品的旅客登陆遗失物品查找平台时需要上传身份信息,同时进行人脸识别,得到人脸图像。旅客的人脸图像会在安检物品-人脸绑定图像库中与人脸库进行匹配,设旅客上传的人脸图像为f',时间窗n下的人脸图像为fmn,物品为bmn,则物品库绑定的过程可以用公式⑶概述。首先判断旅客的人脸图像是否在时间窗n下的人脸库中,如果在则返回时间窗n的物品库,如果不在则更换时间窗。

if f'Tnf1n,f2n,,fmn?b1n,b2n,,bmn:n=n+1

得到与旅客人脸绑定的物品库后,需要从遗失物品图像库中检索出人脸绑定物品库内的物品,设bmn为人脸绑定物品库内的物品图像,lk为遗失物品库内的遗失物品图像,遗失物品库的总量为L,则查找与匹配关系可通过公式⑷概述,2个集合取交集的过程实际上是以图搜图的过程,需要特征提取网络参与,并基于特征图展开。

result=b1n,b2n,,bmn[l1,l2,,lL]

3.2 铁路客运非安检遗失物品查找方案

非安检类物品主要指首饰、钱包等零散的小物件,这类物品通常由旅客随身携带。当此类物品丢失时,旅客习惯通过对物件进行简要的描述方式进行遗失物品的查找。多模态技术支持图像与自然语言之间的检索,通过图像采集遗失物品的特征,并通过自然语言完成遗失物品的查找,适用于非安检类遗失物品查找的场景。

3.2.1 基于多模态检索的遗失物品查询方案

图像与文本间的多模态检索模型通常包含图像编码器、自然语言编码器以及跨模态匹配模块3个部分,图像与文本的跨模态检索模型如图5所示。图像编码器通常采用卷机神经网络,如VGG,ResNet等,对图像进行整体的抽象,从而得到图像的全局特征。自然语言编码器多采用循环神经网络,如LSTM,GRU等,对自然语言的上下文信息进行抽象,从而输出文本的特征表示。随着transformer模型的出现,自然语言与图像可以统一基于transformer构建大模型,显著提高了模型的应用效果。跨模态匹配模块主要消除模态间的语义鸿沟,通常采用联合嵌入到公共空间的方式实现。

在遗失物品查询过程中,遗失物品库的图像通过图像编码器进行编码,旅客提供的语义描述通过自然语言编码器进行编码,经过编码的图像与文本特征将嵌入到一个公共的语义空间以度量图像与文本间的相似性,并返回相似性最大的图像作为检索结果。

随着合成搜索方法(Composed Image Retrieval,CIR)的出现,多模态模型的输入不仅限于文本、图像等单种形态,还可以支持文本与图像融合的输入方式,可进一步丰富铁路客运遗失物品查找方法的多样性。模型输出的目标需要同时涵盖输入的图像与文本特征,加强了查询输入的特征信息,降低了查询目标时的描述难度。例如,向模型输入一张任意的黑色短袖图像与“短袖带有‘Korn’标识”的语言描述,模型将返回一张带有‘Korn’标识的黑色短袖图像,多模态组合搜索算法参考模型[15]图6所示。

3.2.2 建立遗失物品实例描述指标

遗失物品的查找属于实例级别的检索任务(Instance level Image Retrieval,IIR),对实例特征的描述方式将直接影响遗失物品实例的查找结果。为此,对遗失物品实例的属性进行了研究,建立了一种包含类别、时空信息与特征属性3个维度的遗失物品实例特征描述指标体系,遗失物品实例描述指标如图7所示。

遗失物品的类别包含遗失物品从属的大类以及分属的小类,大类别的划分将有助于缩小遗失物品的检索空间,小类别的划分将直接影响遗失物品实例的检索精度。遗失物品的特征属性包含共性特征与个性特征2个方面,共性特征指物品通常具备的颜色、尺寸、材质等属性,但拥有相同颜色、尺寸、材质的同类物品存在多个,需要通过个性特征对其进行更细致的划分。例如,图7中带有2只笔的棕黄色、牛皮质感、木头纹理的平装记事本的表述方式有助于从多个棕黄色、牛皮质感、木头纹理的平装记事本中精确定位目标实例。为提高遗失物品认领环节的可靠性,需要添加丢失时间、丢失地点与丢失位置等时空信息进一步加强遗失物品实例的特殊性,从而减少遗失物品误领的风险。

3.2.3 基于Chinese-Clip的遗失物品跨模态查找测试

Clip[16]是openAI团队基于对比学习的方式通过4亿个图像文本对在256个V100 GPU上训练了2周而研发的一种图文检索大模型,现已开源。该模型具有强大的泛化能力,其零样本学习能力与在ImageNet训练的ResNet-50相当。Chinese-Clip是阿里达摩院的Clip汉化版项目,可支持中文语句与图像间的检索。因此,采用Chinese-Clip模型对基于多模态的遗失物品查询方案进行初步的测试以验证方法的可行性。

通过调查铁路客运过程中遗失物品类别的统计数据,收集了钱包、雨伞、水杯、充电宝、眼镜等20类常见的遗失物品,每类物品收集了50张实例图片,每类遗失物品均设置10个查询语句描述。通过Chinese-Clip模型,在1 000张实例图像中检索遗失物品,得到的平均检索正确率可达97%,基于Chinese-Clip预训练模型的遗失物品实例部分检索结果如表1所示。

测试结果表明,基于多模态的遗失物品查找方法具备技术上的可行性,但预训练模型在部分类别中的检索结果存在误差,需要设计预训练模型的微调方案,并结合铁路客运遗失物品的实际数据进行迁移学习,以提高方法的实际应用效果。

4 结论与展望

围绕铁路客运场景下遗失物品查找的需求与难题,将遗失物品分为安检类物品与非安检类物品,并基于人脸绑定以及多模态检索技术对铁路客运场景下基于图像搜索的遗失物品查找方案进行了设计,测试与探讨了技术实现的可行性,为铁路客运物品遗失问题提供了一种现代化的解决方案。围绕技术方案中的细节,展开对后续工作的讨论如下。

(1)研究更适用的目标检测、实例分割等机器视觉算法以支持遗失物品的特征提取。物品与行李的外形不规则,送入安检的行李存在聚集与重叠的问题,给目标检测与实例分割任务带来了困难。因此,需要研究性能足够优良的检测与分割方法,以支持对安检类物品的识别与定位,确保特征提取目标的准确性。

(2)研究更适用的特征提取方法以保障以图搜图技术的性能。被检测与分割的目标需要通过特征提取网络,生成检测目标的特征图作为以图搜图技术的数据基础。因此,特征提取的结果将直接影响以图搜图的使用效果,需要研究便捷有效的特征提取方式以支撑图像搜索的后续环节。

(3)研究更适用的特征空间检索算法以加快图像特征的检索效率。遗失物品底库的数量以万级起步,在特征空间中进行检索的效率将直接影响旅客的查找体验。因此,需要研究精准快捷的检索算法以保证遗失物品查找服务的质量。

(4)研究多模态检索模型的微调方法以提高在铁路客运数据集上的检索精度。现有的预训练模型虽然具有较好的检索精度,但在遗失物品查找的实际应用上存在一定的误差。因此,需要设计预训练模型的微调策略与迁移学习的方式,进一步提高多模态检索模型在铁路客运遗失物品查找过程中的实际效果。

参考文献

[1]

马建军,朱建生,沈海燕,. 铁路信息化、数字化、智能化关系演化模型及评估方法[J]. 铁道科学与工程学报202320(3):824-835.

[2]

MA JianjunZHU JianshengSHEN Haiyanet al. Evolution Model and Evaluation Method of Railway Informatization,Digitalization and Intellectualization[J]. Journal of Railway Science and Engineering202320(3):824-835.

[3]

国家铁路局.“十四五”铁路科技创新规划[J]. 铁道技术监督202250(1):9-15,20.

[4]

景辉,戴琳琳,候亚伟,. 基于光照自适应调节和模糊分类的人脸图像质量提升算法研究[J]. 铁路计算机应用202332(2):1-6.

[5]

JING HuiDAI LinlinHOU Yaweiet al. Face Image Quality Improvement Algorithm Based on Illumination Adaptive Adjustment and Fuzzy Classification[J]. Railway Computer Application202332(2):1-6.

[6]

沈澍,张文昊,王汝传,. 人脸和步态特征注意力融合的身份识别方法[J/OL]. 小型微型计算机系统:1-8[2023-05-21].

[7]

CHEN WLIU YWANG W Pet al. Deep Learning for Instance Retrieval:A Survey[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence202345(6):7270-7292.

[8]

KUMAR N RRAVI KUMAR Y. Efficient Medical Image Retrieval System Using Geometric Invariant Point Bilateral Transformation (GIPBT)[J]. Measurement:Sensors202327:100705.

[9]

李贝贝,朱建生,阎志远,. 铁路客票系统人像检索平台构建与关键技术研究[J]. 铁道运输与经济202143(5):58-63,91.

[10]

LI BeibeiZHU JianshengYAN Zhiyuanet al. Construction of Face Retrieval Platform on Railway Ticket System and Its Key Technologies[J]. Railway Transport and Economy202143(5):58-63,91.

[11]

刘萌,齐孟津,詹圳宇,. 基于深度学习的图像-文本匹配研究综述[J]. 计算机学报202346(11):2370-2399.

[12]

LIU MengQI MengjinZHAN Zhenyuet al. A Survey on Deep Learning Based Image-Text Matching[J]. Chinese Journal of Computers202346(11):2370-2399.

[13]

杨帆,宁博,李怀清,. 基于语义增强特征融合的多模态图像检索模型[J]. 浙江大学学报(工学版)202357(2):252-258,391.

[14]

YANG FanNING BoLI Huaiqinget al. Multimodal Image Retrieval Model Based on Semantic-Enhanced Feature Fusion[J]. Journal of Zhejiang University (Engineering Science)202357(2):252-258,391.

[15]

WU Y LWANG S HSONG G Let al. Learning Fragment Self-Attention Embeddings for Image-Text Matching[C]//Proceedings of the 27th ACM International Conference on Multimedia. October 21-25,2019,Nice,France. ACM,2019:2088-2096.

[16]

LU Y NWEN L JLIU J Zet al. Self-Supervision can be a Good Few-Shot Learner[EB/OL].[2023-05-21]. 2022:arXiv:2207.09176.

[17]

MEINHARDT TLEAL-TAIXE L. Make One-Shot Video Object Segmentation Efficient again[EB/OL].[2023-05-21]. 2020:arXiv:2012.01866.

[18]

MICAELLI PSTORKEY A. Zero-Shot Knowledge Transfer via Adversarial Belief Matching[EB/OL].[2023-05-21]. 2019:arXiv:1905.09768.

[19]

戴琳琳,阎志远,景辉. Insightface结合Faiss的高并发人脸识别技术研究[J]. 铁路计算机应用202029(10):16-20.

[20]

DAI LinlinYAN ZhiyuanJING Hui. Highly Concurrent Face Recognition Technology with Insightface and Faiss[J]. Railway Computer Application202029(10):16-20.

[21]

BALDRATI ABERTINI MURICCHIO Tet al. Effective Conditioned and Composed Image Retrieval Combining CLIP-Based Features[C]//2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). New Orleans,LA,USA. IEEE,2022:21434-21442.

[22]

RADFORD AKIM J WHALLACY Cet al. Learning Transferable Visual Models from Natural Language Supervision[EB/OL].[2023-05-21].2021:arXiv:2103.00020.

基金资助

中国铁道科学研究院集团有限公司科研项目(2022YJ283)

AI Summary AI Mindmap
PDF (2329KB)

0

访问

0

被引

详细

导航
相关文章

AI思维导图

/