基于扩散模型的两阶段服装图像生成方法研究

叶青明; 徐亿波; 刘正; 杨阳; 侯珏

doi:10.16454/j.cnki.issn.1001-0564.2025.01.011

北京服装学院学报（自然科学版） ›› 2025, Vol. 45 ›› Issue (01) : 86 -93. DOI: 10.16454/j.cnki.issn.1001-0564.2025.01.011

基于扩散模型的两阶段服装图像生成方法研究

叶青明, 徐亿波, 刘正, 杨阳, 侯珏

作者信息 +

Author information +

文章历史 +

PDF

摘要

文生图问题是人工智能技术中的一个重要分支，常用于服装设计、纹样绘制等场景。然而，现有算法的直接文生图方法难以对生成服装图像的款式、颜色花纹等信息进行精准控制。为此，本文提出了一种基于扩散模型的两阶段图像生成方法，将服装图像的生成任务分离为款式-颜色纹理2个阶段，使模型能够更加准确捕捉文本信息中的款式信息与颜色信息。在第1阶段中，利用LoRA微调Stable Diffusion模型，基于文本信息生成精确的边缘线稿草图以表达服装款式信息；第2阶段结合ControlNet模型，将生成的线稿草图与文本中的颜色花纹信息融合，生成最终图像。同时，本研究设计了款式颜色信息过滤模型，将款式和颜色信息与普通信息分离，并赋予两者较大权重，从而增强模型对有效信息的捕捉能力。为了验证两阶段方法的有效性，通过FID(弗雷谢起始距离)、PSNR(结构相似指数)和SSIM(峰值信噪比)等指标进行客观评价。结果表明，采用该两阶段方法生成的服装图像在款式、颜色花纹和细节处理上显著优于其他方法。