基于Transformer和生成对抗网络的藏文生成图像方法

黄安; 华却才让; 环科尤; 张瑞; 杨启辉

doi:10.16249/j.cnki.2096-4617.2025.02.012

高原科学研究 ›› 2025, Vol. 9 ›› Issue (2) : 113 -121. DOI: 10.16249/j.cnki.2096-4617.2025.02.012

基于Transformer和生成对抗网络的藏文生成图像方法

黄安, 华却才让, 环科尤, 张瑞, 杨启辉

作者信息 +

Author information +

文章历史 +

摘要

针对藏文生成图像领域资源稀缺以及生成的图像语义一致性低和细节模糊等问题，提出了一种基于Transformer和生成对抗网络的藏文生成图像方法。该方法利用Transformer架构训练不同粒度文本编码器以提取藏文特征，之后将文本特征与随机采样得到的噪声经过仿射变化进行特征融合，并输入卷积层生成图像。经实验，在自建的CUB-BO数据集上，IS值和FID值分别达到了5.22和14.43，展现出较高的藏文生成图像能力。此外，对比实验发现，采用音节切分策略处理藏文文本相较于子词切分生成的图像在细节清晰度和语义一致性上表现更为出色。