基于解耦常识性关联的图像描述生成算法

摘要

基于解耦常识性关联的图像描述生成算法旨在排除各类实体间常识性关联对模型推理的干扰,提高描述生成的流畅性与准确性.针对当前图像描述生成中存在的符合常识但与图像内容不相符的关系语句,该算法先通过一种新颖的训练方式加强关系检测模型对图像中真实关系的关注程度,提高关系推理的准确性.再通过一种关系感知的实体交互方法,对存在关系的实体进行有针对性的信息交互,对关系信息进行强化.实验表明,该算法能够纠正一些常识性的虚假关系,生成较为准确的图像描述,并在各项评价指标上获得了较好的实验结果.

关键词

图像描述生成 / 解耦常识性关联 / 注意力机制