基于双流语义融合和三元组校准的零样本场景图生成方法

摘要

针对在场景图生成中模型对未见过三元组的推理能力关注不足，尾部谓词识别能力差等问题，提出基于双流语义融合和三元组校准的模型框架。现有的工作主要是通过单一的文本提示来加入多模态的学习策略，然而这种方法在处理复杂的视觉关系时可能存在局限性，因此提出一种新的双流语义融合结构模型，通过构建2种不同的文本提示使模型分别关注于三元组整体和其中的关系谓词，这种双重文本提示机制不仅增强了模型对视觉信息的理解，而且通过文本提示的引导，得到更多的上下文信息使得模型能够更加精准地识别和预测图像中的复杂关系。最后引入三元组校准模块使模型更加关注于不可见的三元组，三元组校准损失函数实现在零样本下准确的谓词表征。结果表明，本文提出的方法在PredCls任务上的zR@100指标上比现有方法提高了1.04个百分点，验证了方法的有效性。

关键词

场景图生成 / 双流语义融合 / BERT编码器 / 关系谓词细化 / 三元组

基金资助

国家自然科学基金项目(42361074); 贵州省科技重大专项资助项目[黔科合重大(2025)033]; 贵州省高等学校教学内容和课程体系改革项目(GZJG2024362); 毕节市人工智能应用创新人才团队资助项目[(2023)09]; 贵州工程应用技术学院计算机与人工智能现代产业学院项目(CY202302)