基于区域上下文感知增强网络的图像情感迁移

摘要

为实现准确有效的图像情感迁移，本文提出基于情感建模关系引导的区域上下文感知增强网络。该网络在外部情感知识的指导下联合多种损失函数以实现准确的图像诱发情感迁移；在该网络中，提出一个新颖的区域上下文感知块，通过多种自注意提取图像中不同感受野的上下文特征，并借助交叉注意力将这些特征进行自适应融合，更全面地整合图像信息；在此基础上通过残差连接恢复深度特征融合中损失的信息，更准确地保留图像的内容。同时，提出一种新颖的情感轮引导模块，该模块基于情感轮中的情感分布，使用联合损失引导模型准确地迁移图像情感。为了准确有效地评估模型迁移图像情感的能力，提出情感迁移综合度量，综合情感类别、情感极性以及情感在情感轮上的位置，多角度地评估图像情感迁移的效果，并基于4个风格不同且广泛使用的情感数据集，构建一个新的数据集FATE。在FATE上进行的大量实验充分验证了提出方法的有效性，并在情感迁移效果和图像质量上优于其他对比的方法。

关键词

图像情感迁移 / 区域上下文感知增强 / 情感建模关系 / 情感迁移综合度量 / 自注意机制