面向开放场景虚拟试衣的服装图像规范化复原

王志城; 黄荣; 董爱华; 王直杰

doi:10.19886/j.cnki.dhdz.2023.0080

东华大学学报（自然科学版） ›› 2024, Vol. 50 ›› Issue (06) : 133 -139. DOI: 10.19886/j.cnki.dhdz.2023.0080

面向开放场景虚拟试衣的服装图像规范化复原

王志城, 黄荣, 董爱华, 王直杰

作者信息 +

Author information +

文章历史 +

PDF (8410K)

摘要

基于深度学习的虚拟试衣模型难以直接应用于从开放场景中获取的带有扭曲的非规范化服装图像，提出一种面向开放场景虚拟试衣的服装图像规范化复原网络，对带有扭曲的服装图像进行规范化复原，弥补非规范化服装图像与现有虚拟试衣模型之间的适配鸿沟。所提出的服装图像规范化复原网络以U-Net为骨干，以图到图的形式生成规范化复原图像。在U-Net的跳跃连接中设计了服装特征图扭曲模块和软门控单元，分别实现了特征对齐和区域筛选，有利于提高规范化复原图像的视觉质量。在规范化复原和虚拟试衣两个方面验证了所提模型的有效性。试验结果表明，所提模型的定量指标SSIM(structural similarity index measure)、PSNR(peak signal-to-noise ratio)、LPIPS(learned perceptual image patch similarity)分别达0.771、22.413、0.213,并在规范化复原图像中较好地保留了服装的图案及纹理，能够满足开放场景的虚拟试衣需求。