一种适用于政务区块链的跨模态人脸生成模型

摘要

如今，区块链技术被应用到包含电子证照、人脸图像等政府数据共享领域，但当前的大型区块链系统普遍面临低带宽和高存储成本的问题.本文提出了一种适用于政务区块链的跨模态人脸生成模型，将人脸图像转换为文本模态存储在链上，用户可使用文本与掩膜生成指定人的人脸图像.首先利用多任务学习方法训练基于ResNet-18网络结构的人脸分类器，将人脸图像转换为身份代号文本存储在链上.然后设计了区域感知码本和基于Transformer结构的混合专家采样器，采样器采用扩散模型的方法从码本中采样索引，采样结果由一个可学习的解码器转换成细粒度的人脸图像.在进行数据增强后的Casia Face V5数据集上的实验表明，模型在人脸分类任务中准确率可达95%以上，压缩效果达到了传统图像压缩方法1/10 000的持久化时间与1/200的文件大小，与其他先进人脸图像生成方法相比，此模型可以可控地生成高保真度的指定人的人脸图像，并以1/20的参数量达到与大型预训练模型相近的人脸生成效果.

关键词

区块链 / 跨模态人脸生成 / 可控图像生成 / 扩散模型 / 人脸识别