基于CLIP模型和文本重建的人脸图像生成方法研究

Research on Face Image Generation Method Based on CLIP Model and Text Reconstruction

摘要

针对文本生成人脸方法中生成图像与文本描述不一致、 图像分辨率较低等问题， 提出一种跨模态文本生成人脸图像网络框架。首先， 采用CLIP预训练模型对文本进行特征提取， 通过条件增强模块增强文本语义特征并生成隐藏向量； 然后， 将隐藏向量通过映射网络投影到预训练模型StyleGAN的隐式空间中获得解纠缠隐藏向量， 将该向量输入到StyleGAN生成器中生成高分辨率人脸图像； 最后， 采用文本重建模块将人脸图像重新生成文本， 计算重建文本和输入文本之间的语义对齐损失， 并将其作为语义监督指导网络训练。在Multi-Modal CelebA-HQ和CelebAText-HQ两个数据集上进行训练与测试， 实验结果表明， 相比其他方法， 该方法能生成更加符合文本描述的高分辨率人脸图像。

Abstract

To address the problems of inconsistency between generated images and text descriptions and low image resolution in text-generated face methods， this paper proposes a cross-modal text-generated face image network framework. Firstly， the CLIP pre-training model is adopted to extract features from the text， and the text semantic features are enhanced by the conditional enhancement module to generate hidden vectors； then the hidden vector is projected into the implicit space of the pre-trained model StyleGAN by the mapping network to obtain the untangled hidden vector， which is input to the StyleGAN generator to generate high-resolution face images； finally， the text reconstruction module is adopted to regenerate the face images into text， and the semantic alignment loss between the reconstructed text and the input text is calculated and utilized as semantic supervision to guide the network training. The training and testing are performed on two datasets， Multi-Modal CelebA-HQ and CelebAText-HQ， and the experimental results show that compared with other methods， the method in this paper can generate high-resolution face images that are more consistent with the text description.

Graphical abstract

关键词

文本生成人脸 / 跨模态 / CLIP预训练 / 文本重建 / 文本映射

Key words

text-generated face / cross-modality / CLIP pre-training / text reconstruction / text mapping

0 引 言

文本生成人脸旨在根据文本描述生成相应的人脸图像。目前， 文本到图像的生成普遍采用多阶段框架。具体来说， 利用文本编码器从文本描述中提取文本特征， 文本特征与噪声相连接作为生成器的输入， 再采用多个生成器逐级生成图像。例如， StackGAN和StackGAN++采用多个生成器和鉴别器逐步堆叠， 进行多阶段训练， 能够以从粗到细的方式生成图像^［1，2］。AttnGAN在StackGAN的基础上开发了一种注意力生成网络和跨模态注意力机制， 通过关注自然语言描述中的相关单词来合成图像不同子区域的细粒度细节^［3］。MirrorGAN也采用了AttnGAN类似的框架， 加入语义文本重建和对齐模块， 进一步提高了生成图像的质量^［4］。然而， 训练一个多阶段的框架过程十分繁琐， 计算量也较大。于是， DFGAN通过一个仿射变换模块注入噪声， 使用单个生成器来合成图像^［5］。但是， 上述方法一般生成的图像分辨率较低。本文采用预训练的StyleGAN生成器^［6］， 通过训练映射器将文本描述投射到隐式空间中， 以提高生成图像的分辨率和保真度； 采用基于对比文本-图像对的预训练方法（Contrastive Language-Image Pre-training， CLIP）提取文本特征， 能够充分利用文本信息， 考虑更细粒度的文本特征， 对文本语义进行更深入的挖掘； 另外网络中的文本重建模块增强了生成图像与文本描述的语义一致性。本文模型能根据文本描述达到更好的人脸图像生成效果。

1 整体框架

本文提出一种跨模态文本生成人脸图像的网络框架， 如图 1 所示， 整个网络框架主要由文本映射模块、 StyleGAN生成器和文本重建模块组成。

其中， 文本映射模块包括文本处理网络和映射网络两部分。首先， 文本描述t通过文本处理网络生成隐藏向量z； 然后， 隐藏变量z通过映射网络f获得解纠缠隐藏向量w， 并且将解纠缠隐藏向量w输入StyleGAN生成器生成人脸图像。为了保证隐式空间中图像-文本语义的一致性， 引入了文本重建模块来指导网络训练。文本重建模块能够从生成人脸图像中重建文本描述， 并与原始文本描述作比较， 可以得到更好的梯度信息， 从而保证生成人脸图像更符合文本描述， 最终使得模型达到更好的生成效果。

2 文本映射模块

文本映射模块主要由文本处理网络和映射网络组成。文本描述通过文本映射模块投影到预训练模型StyleGAN的隐式空间获得解纠缠隐藏向量\mathit{w}。

2.1 文本处理网络

文本处理网络主要由文本编码器和条件增强模块组成， 如图 2 所示。本文采用CLIP预训练模型作为文本编码器对文本进行特征提取。文本编码器将文本描述编码成文本特征s， 该特征通过条件增强模块使得语义信息得到进一步增强， 并转换成隐藏向量\mathit{z}。

2.1.1 CLIP模型

本文采用CLIP预训练模型作为文本编码器， 从文本描述中提取文本特征。该模型能够处理更加复杂的文本描述， 融合文本信息和视觉信息， 生成与文本语义一致的人脸图像。

CLIP预训练模型^［7］将自然语言和视觉信息进行结合。在训练过程中， 模型的输入是文本-图像对， 图片通过图像编码器得到图像特征， 同理， 文本通过文本编码器得到文本特征， CLIP预训练模型通过文本特征和图像特征作对比学习， 而对比学习需要定义正样本和负样本。定义配对的文本-图像对为正样本， 其余的为负样本， 如图 3 所示， 特征矩阵里沿对角线元素都是正样本， 非对角线元素都是负样本。

首先， 文本描述t通过文本编码器编码成512维特征向量， 即文本特征

s=CLIP(t),（1）

式中： t=\{t_{\mathrm{1}},\cdots t_i,\cdots t_C\}\in {\mathrm{R}}^{S\times C}为文本描述编码， CLIP为文本编码器， t_i为一个单词的独热编码， C为句子长度， S为词汇表大小。

CLIP预训练模型具有以下优势： 很好地将视觉语义和文本语义联系到一起， 学习到较强的语义特征， 从而达到对文本语义进行更深入的挖掘； 具有很好的迁移学习能力， 能够在任意数据集上取得非常好的效果。

2.1.2 条件增强模块

条件增强模块可以丰富文本特征的语义信息， 增强文本语义特征。如图2中条件增强模块所示， 将文本特征s输入条件增强模块F^{ca}生成一个隐藏向量\mathit{z}\in {\mathrm{R}}^{\mathrm{512}}

\mathit{z}=F^{ca}(s)\mathrm{。}（2）

隐藏向量\mathit{z}从高斯分布N(u(s),\sum (s))中随机采样， 其中u(s)和\sum (s)是文本特征s的均值和协方差。Karras等^［6］已经证明了w解纠缠隐藏向量可以通过学习非线性映射F： \mathit{z}→\mathit{w}得到。\mathit{z}需要遵循先验分布， 例如标准的高斯分布\epsilon ~N(\mathrm{0,1})。为了使隐藏向量\mathit{z}的近似分布N(u(s),\sum (s))与标准高斯分布对齐\epsilon ~N(\mathrm{0,1})， 引入KL散度， KL散度为近似分布N(u(s),\sum (s))对标准高斯分布\epsilon ~N(\mathrm{0,1})的相对熵， 用L_{KL}表示， 其公式为

L_{KL}=D_{KL}(N(\mu (s),\sum (s))\parallel N(\mathrm{0,1}))。（3）

同时， 隐藏向量\mathit{z}从高斯分布中随机采样， 也有助于生成更多样化的图像。

2.2 映射网络

映射网络由8个全连接层组成， 将文本处理网络中输出的隐藏向量\mathit{z}作为映射网络f的输入， 得到解纠缠隐藏向量\mathit{w}\in {\mathrm{R}}^{\mathrm{512}}。并将向量传入StyleGAN生成器得到18个控制向量， 使得每个控制向量能够控制不同的视觉特征。映射网络能使得输入向量不受数据集分布的影响， 更好地实现属性解耦合。

3 StyleGAN生成器

本文采用StyleGAN生成器生成高分辨率人脸图像。StyleGAN生成器具有以下优势： 用4×4×512常量代替传统输入， 可以降低生成不正常照片的概率， 减少特征纠缠， 使得网络更容易学习； 由 9 个生成阶段组成， 从生成4×4分辨率图像， 到生成8×8分辨率图像， 最终生成1 024×1 024高分辨率图像； 对噪声和扰动的鲁棒性较好， 可以在不同的条件下生成稳定的图像。

4 文本重建模块

为了保证文本描述与生成图像之间的语义一致性， 本文采用了文本重建模块， 该模块由图像编码器和解码器组成， 使用卷积神经网络（Convolutional Neural Networks， CNN）作为图像编码器， 使用长短期记忆人工神经网络（Long and Short-Term Memory Artificial Neural Networks， LSTM）^［8］作为解码器。如图 4 所示， 通过图像编码器将生成人脸图像编码为视觉特征， 再将视觉特征输入解码器进行解码重新生成文本， 最后计算重建文本描述和输入文本描述之间的语义对齐损失。

采用在ImageNet数据集上预训练的卷积神经网络作为图像编码器， 将人脸图像嵌入到特征向量\mathit{a}中

\mathit{a}=\{{\mathit{a}}_{\mathrm{1}},\cdots {\mathit{a}}_i,\cdots {\mathit{a}}_L\},{\mathit{a}}_i\in {\mathrm{R}}^D,（4）

式中： L表示向量的个数； D表示向量的维数。通过软注意力机制从特征向量{\mathit{a}}_i中计算上下文向量{\widehat{\mathit{z}}}_k

{\widehat{\mathit{z}}}_k={\displaystyle \sum _{i=\mathrm{1}}^L}({\beta }_i{\mathit{a}}_i),（5）

式中： 下标k表示LSTM的第k个时间步长， {\widehat{\mathit{z}}}_k\in {\mathrm{R}}^D则是图像在第k个时间步长的相关区域的动态表示。\alpha =\{{\beta }_{\mathrm{1}},\cdots {\beta }_i,\cdots {\beta }_L\}表示特征a的权重。例如， 时间步长k时的权重{\beta }_{ki}计算为

{\widehat{e}}_{ki}=f_{att}({\mathit{a}}_i,h_{k-\mathrm{1}}),（6）

{\beta }_{ki}=\frac{\mathrm{e}\mathrm{x}\mathrm{p}({\widehat{e}}_{ki})}{{\sum }_{j=\mathrm{1}}^L\mathrm{e}\mathrm{x}\mathrm{p}({\widehat{e}}_{kl})},（7）

式中： f_{att}代表多层感知机组成的注意力模型， 而h_{k-\mathrm{1}}\in {\mathrm{R}}^n为LSTM前一时刻单元的隐藏输出。根据上下文向量{\widehat{\mathit{z}}}_k、 隐藏状态h_k和之前生成的单词t_{k-\mathrm{1}}\in {\mathrm{R}}^S， 计算输出的单词在当前时间步长k处的概率

p({\widehat{t}}_k|a,{\widehat{t}}_{\mathrm{1}}^{k-\mathrm{1}})\propto \mathrm{e}\mathrm{x}\mathrm{p}(L_o(E{\widehat{t}}_{k-\mathrm{1}}+L_h{h}_k+L_z{\widehat{\mathit{z}}}_k),（8）

式中： L_o\in {\mathrm{R}}^{S\times m}， E\in {\mathrm{R}}^{m\times S}， L_h\in {\mathrm{R}}^{m\times n}和L_z∈{\mathrm{R}}^{m\times D}是随机初始化的参数。为了丰富生成文本的语义信息， 采用双重随机正则化， 使得{\sum }_{i=\mathrm{1}}^L{\beta }_{ji}=\mathrm{1}和{\sum }_{j=\mathrm{1}}^C{\beta }_{ji}\approx \mathrm{1}。文本重建模块损失函数

L_{TRL}=-{\displaystyle \sum _{j=\mathrm{1}}^C}\mathrm{l}\mathrm{o}\mathrm{g}p({\widehat{t}}_j)t_j{+{\displaystyle \sum _{i=\mathrm{1}}^L}(\mathrm{1}-{\displaystyle \sum _{j=\mathrm{1}}^C}{\beta }_{ji})}^{\mathrm{2}}\mathrm{。}（9）

文本重建模块用于将StyleGAN生成器中生成的人脸图像重新生成新的文本描述， 再计算重建文本和输入文本之间的语义对齐损失， 并将其作为语义监督指导网络训练， 使得生成的人脸图像更符合文本描述。

5 实验结果及分析

5.1 数据集

采用Multi-Modal CelebA-HQ和CelebAText-HQ两个数据集。Multi-Modal CelebA-HQ和CelebAText-HQ数据集的人脸图像都来自CelebA-HQ数据集， 包含30 000幅图像， 每幅图像有10种语言描述， 其中240 00幅图像作为训练集， 6 000幅图像作为测试集。前者人脸图像的文本描述由属性标签合成， 而后者人脸图像的文本描述则是由手动标注完成。

5.2 损失函数

本文采用预训练的StyleGAN模型作为人脸图像生成器， 在训练过程中不需要计算鉴别器损失和生成器损失。同时， 本文采用文本重建模块作语义监督， 引导网络更快地收敛。 整个网络的损失函数定义为

\begin{array}{c}L={\lambda }_{\mathrm{1}}{L}_{KL}+{\lambda }_{\mathrm{2}}{L}_{TRL}={\lambda }_{\mathrm{1}}{D}_{KL}(N(\mu (s),\\ \sum (s)‖N(\mathrm{0,1}))-{\lambda }_{\mathrm{2}}{\displaystyle \sum _{j=\mathrm{1}}^C}\mathrm{l}\mathrm{o}\mathrm{g}p({\widehat{t}}_j)t_j+\\ {\lambda }_{\mathrm{2}}{{\displaystyle \sum _{i=\mathrm{1}}^L}\left(\mathrm{1}-{\displaystyle \sum _{j=\mathrm{1}}^C}{\beta }_{ji}\right)}^{\mathrm{2}}\mathrm{。}\end{array}（10）

设置参数S=30 000， C=50， L=196， D=2 048， n=512和m=512。式中： {\lambda }_{\mathrm{1}}和{\lambda }_{\mathrm{2}}是控制各项权重的超参数。在整个训练过程中， 设置损失函数的超参数{\lambda }_{\mathrm{1}}=\mathrm{1}和{\lambda }_{\mathrm{2}}=\mathrm{5}。

5.3 评价指标

本文通过弗雷歇初始距离（Fréchet Inception Distance， FID）和学习感知图像块相似度（Learned Perceptual Image Patch Similarity， LPIPS）^［9］来评估文本生成人脸图像模型的性能。

FID表示在特征空间中生成图像的特征向量和真实图像的特征向量之间的距离。FID分数越低， 表示生成的图像视觉质量越好。如式（11）

FID(r,g)={‖{\mu }_r-{\mu }_g‖}_{\mathrm{2}}^{\mathrm{2}}+trace({{\sum }_r+{\sum }_g-\mathrm{2}\left({\sum }_r{\sum }_g\right)}^{\frac{\mathrm{1}}{\mathrm{2}}}),（11）

式中： r表示真实人脸图像； g表示生成人脸图像； \mu和\sum分别表示相应人脸图像数据分布的平均值和协方差。{‖\mathrm{*}‖}_{\mathrm{2}}^{\mathrm{2}}表示L{}_{\mathrm{2}}{}^{}范数的平方， trace为矩阵的迹。

LPIPS表示真实样本和生成样本的特征差异， 这个差异是在每个通道内计算L_{\mathrm{2}}范数， 再在所有通道上加权平均求和。LPIPS主要用于度量两张图像之间的差别， LPIPS的值越低， 表示两张图像越相似， 反之， 则差异越大。如式（12）

d(r,g)=\sum _l\frac{\mathrm{1}}{H_l{W}_l}\sum _{h,w}{‖{\mathit{w}}_l\odot (y_{hw}^l-y_{\mathrm{0}hw}^l)‖}_{\mathrm{2}}^{\mathrm{2}},（12）

式中： d表示真实人脸图像和生成人脸图像的特征差异； l表示卷积层； H,W表示特征空间两个通道维度； \sum表示求和； {\mathit{w}}_l表示激活向量； \odot表示作点积运算； y_{hw}^l,y_{\mathrm{0}hw}^l表示从l层提取特征堆栈并在通道维度中进行单位归一化的结果。

5.4 实验结果

本文采用SGD优化器， 学习率设置为0.000 1， 动量参数β设置为0.9。对Multi-Modal CelebA-HQ数据集进行500个轮次的训练， 批量处理数量为12， 对CelebAText-HQ数据集进行300个轮次的训练， 批量处理数量为6。对本文网络进行训练和测试， 部分实验结果如图 5、 表 1~表 3 所示。

图 5 为人脸生成结果对比图， 对AttnGAN， DM-GAN^［10］， DF-GAN， TediGAN^［11］和本文方法生成的人脸图像进行比较， 可以看出现有的一些文本生成人脸图像方法难以生成高质量且符合文本描述的人脸图像。例如， AttnGAN第2行生成的人脸面孔比较模糊， 缺少了一些细节； AttnGAN和DF-GAN第4行生成的人脸图像头部姿势过度旋转； DM-GAN第4行和TediGAN第6行、 第7行生成的人脸面部形状扭曲； DF-GAN第7行生成的人脸性别错误， 同时还可以观察到AttnGAN第7行、 DM-GAN第6行、 DF-GAN第3行以及TediGAN第3行和第5行生成的人脸图像不符合文本描述， 与语义不一致。相比之下， 本文方法生成的人脸图像质量更好， 更符合文本描述。

表 1 为本文方法与其他方法在Multi-Modal CelebA-HQ数据集和CelebAText-HQ数据集上的FID指标比较， 由表1可知， 本文方法在Multi-Modal CelebA-HQ数据集上具有较低的FID评分， 在CelebAText-HQ数据集上FID评分与TediGAN的FID评分相近。结果表明， 本文方法能够生成质量较好的图像。

表 2 为本文方法与其他方法在Multi-Modal CelebA-HQ数据集和CelebAText-HQ数据集的LPIPS指标比较， 结果表明， 本文模型生成的人脸图像更符合文本描述。

在CelebAText-HQ测试集上进行了消融研究， 验证了文本重建模块的有效性。Baseline表示不引入文本重建模块的网络模型， Baseline+文本重建模块表示引入该模块的网络模型。如表 3 所示， 引入该模块显著提升了网络的性能。

由于本文方法在基线模型基础上增加了文本重建模块， 使得网络模型参数量增多， 相比基线模型， 该方法运算时间较长。但实验结果表明， 本文方法生成的人脸图像质量更好且更符合文本描述。

5.5 损失函数曲线

如图 6 所示， 本文网络在Multi-Modal CelebA-HQ数据集上迭代了50 000次， 损失函数值趋向于1.2， 网络趋向收敛。

6 结 语

本文设计了一种基于CLIP预训练模型和文本重建模块的文本生成人脸图像网络， 网络主要由文本映射模块、 StyleGAN生成器和文本重建模块组成。首先， 文本描述通过文本映射模块投影到预训练模型StyleGAN的隐式空间， 获得解纠缠隐藏向量， 再将向量输入StyleGAN生成器， 生成一个高分辨率的人脸图像。采用文本重建模块作语义监督， 增强了生成图像与文本描述的语义一致性。实验结果表明， 基于CLIP预训练模型和文本重建模块相结合的方法优于其他网络模型。

参考文献

[1] ZHANG H， XU T， LI H， et al.Stackgan： text to photo-realistic image synthesis with stacked generative adversarial networks［C］//Proceedings of the IEEE International Conference on Computer Vision，2017： 5907-5915.

[2] ZHANG H， XU T， LI H， et al.Stackgan++： realistic image synthesis with stacked generative adversarial networks［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence.2018， 41（8）： 1947-1962.

[3] XU T， ZHANG P， HUANG Q， et al.Attngan： fine-grained text to image generation with attentional generative adversarial networks［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2018： 1316-1324.

[4] QIAO T， ZHANG J， XU D， et al.Mirrorgan： learning text-to-image generation by redescription［C］//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2019： 1505-1514.

[5] TAO M， TANG H， WU F， et al.Df-gan： a simple and effective baseline for text-to-image synthsis［C］//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2022： 16515-16525.

[6] KARRAS T， LAINE S， AILA T.A style-based generator architecture for generative adversarial networks［C］//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition，2019： 4401-4410.

[7] RADFORD A， KIM J W， HALLACY C， et al.Learning transferable visual models from natural language supervision［C］//International Conference on Machine Learning， PMLR， 2021： 8748-8763.

[8] ZHOU P， SHI W， TIAN J， et al.Attention-based bidirectional long short-term memory networks for relation classification［C］//Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics， 2016（2）： 207-212.

[9] LEDIG C， THEIS L， HUSZÁR F， et al.Photo-realistic single image super-resolution using a generative adversarial network［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2017： 4681-4690.

[10] ZHU M， PAN P， CHEN W， et al.Dm-gan： Dynamic memory generative adversarial networks for text-to-image synthesis［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2019： 5802-5810.

[11] XIA W， YANG Y， XUE J H， et al.Tedigan： Text-guided diverse face image generation and manipulation［C］//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2021： 2256-2265.

基金资助

山西省高等学校教学改革创新项目(J2021086)

山西省研究生创新项目(2021Y154)