体现用户意图和风格的图像描述生成

摘要

现有的图像描述模型大多不能根据用户的意图和用语风格生成个性化的描述。针对这一问题，本文提出一种能体现用户意图和风格的个性化图像描述方法。首先，构建一个关于场景中目标、目标属性以及目标间关系的结构图，通过该图来控制用户所希望表达的目标对象、目标属性以及各目标之间的相互关系；然后，在编码器中加入多关系图卷积神经网络对场景的上下文信息进行编码，并利用图流动注意力来控制描述的侧重点；最后，在生成语句时加入用户风格控制模块，即利用关键词搜索生成包含性别、年龄、受教育程度等信息的用户画像，并结合该画像来控制风格生成器，提取对应的风格样式，最终生成体现用户意图和风格的个性化图像描述。在MSCOCO和FlickrStyle数据集上的实验结果表明，所提出的方法能较好地生成个性化和多样性图像描述语句。

关键词

图像描述 / 用户画像 / 细粒度场景控制 / 风格控制 / 注意力机制

基金资助

国家自然科学基金(61866004,61966004,61962007); 广西自然科学基金(2018GXNSFDA281009,2019GXNSFDA245018,2018GXNSFDA294001); 广西多源信息挖掘与安全重点实验室系统性研究课题基金(20-A-03-01); 广西“八桂学者”创新研究团队