基于风格转换注意的循环一致风格转换

摘要

为了解决现有艺术风格转换方法难以同时高质量保持图像内容和转换风格模式的问题，引入一种新颖的风格转换注意网络(style-transition attention network, STANet),其包含2个关键部分：一是非对称注意力模块，用于确定参考图像的风格特征；二是循环结构，用于保存图像内容。首先，采用双流架构，分别对风格和内容图像进行编码；其次，将注意力模块无缝集成到编码器中，生成风格注意表征；最后，将模块放入不同的卷积阶段，使编码器变成交错式的，促进从风格流到内容流的分层信息传播。此外，提出了循环一致损失，强制网络以整体方式保留内容结构和风格模式。结果表明：编码器优于传统的双流架构，STANet能用于交换具有任意风格的2幅图像的风格模式，合成更高质量的风格化图像，同时更好地保留了各自的内容。提出的带有风格转换注意的风格转换循环网络，模型风格化图像的内容细节更多，在泛化到任意风格方面获得了良好的效果。

关键词

图像内容 / 风格转换 / 风格恢复 / 神经注意力 / 循环网络

基金资助

国家文化和旅游科技创新工程项目(2020年度); 河北省省级科技计划资助项目(21310101D)