开放词汇目标检测方法综述

摘要

目标检测方法针对特定场景进行训练，需要识别的物体都要人工标注，检测器只能识别被标注的物体。随着目标检测应用场景逐渐增加，特定场景下训练的目标检测器不能满足多样化场景需求，目标检测方法的泛化性能成为研究者关注热点。不同场景中存在同一物体标签不一致，不同物体特征差异较大等问题，导致在特定场景下训练目标检测器无法泛化到其他场景。针对上述挑战，研究者提出面向开放词汇目标检测方法，利用大量图像-词汇知识将目标检测器从特定场景扩展到开放场景。检测器扩展到开放场景通常有两种方式，即基于大规模图像标题数据方法和基于预训练视觉语言模型方法。基于图像标题数据方法通常需要从大量数据中提取与物体相对应的词汇知识注入检测器，基于视觉语言模型方法则直接利用预训练的知识扩展检测器。开放词汇目标检测模型无需重新训练即可应用在不同场景，更加实用有效。

关键词

开放词汇 / 开放世界 / 零样本学习 / 开放场景目标检测 / 视觉语言模型

基金资助

山东省自然科学基金资助项目(ZR202103010201)