基于改进级联细化网络的语义图像合成

摘要

针对级联细化网络(cascaded refinement networks, CRNs)存在合成图像不完整、语义信息丢失、合成的图像颜色差异大的问题，提出一种改进级联细化网络的语义图像合成方法.在级联细化网络中用空间自适应归一化[spatially-adaptive(de)normalization, SPADE]代替层归一化，通过空间自适应的学习调节归一化层中的激活，从而使语义信息更加完整；引入平滑L1损失函数，减少输出图像和对比图像间的颜色差异；引入可学习的空间自适应归一化，增加网络参数的存储容量，能够学习更多的语义信息，使合成的图像质量得到提升.在Cityscapes数据集和GTA5数据集上的试验结果表明：该方法的平均交并比和像素准确性分别比CRNs的提升了31.4%和7.4%,弗雷歇初始距离比CRNs的降低了16.3%.

关键词

图像合成 / 级联细化网络 / 空间自适应归一化 / 平滑L1损失