区域敏感的场景图生成方法

摘要

针对基于关系边界框提取的谓词特征粒度相对较粗的问题，提出区域敏感的场景图生成(region-sensitive scene graph generation, RS-SGG)方法。谓词特征提取模块将关系边界框分为4个区域，基于自注意力机制抑制关系边界框中与关系分类无关的背景区域。关系特征解码器在进行关系预测时不仅考虑了物体对的视觉特征和语义特征，也考虑了物体对的位置特征。在视觉基因组(visual genome, VG)数据集上分别计算了RS-SGG方法针对场景图生成、场景图分类和谓词分类3个子任务的图约束召回率和无图约束召回率，并与主流的场景图生成方法进行了比较。实验结果表明，RS-SGG的图约束召回率和无图约束召回率均优于主流方法。此外，可视化实验结果也进一步证明了所提出方法的有效性。

关键词

图像理解 / 场景图生成 / 物体分类 / 关系分类 / 区域感知 / 自注意力机制