基于生成对抗方法的无监督图像描述模型

崔夏雨; 邓珍荣

doi:10.16725/j.cnki.cn45-1351/tn.2023.05.004

桂林电子科技大学学报 ›› 2023, Vol. 43 ›› Issue (05) : 413 -421. DOI: 10.16725/j.cnki.cn45-1351/tn.2023.05.004

基于生成对抗方法的无监督图像描述模型

崔夏雨, 邓珍荣

作者信息 +

Author information +

文章历史 +

摘要

建立了一种基于生成对抗方法的无监督图像描述(GA-based UIC)模型，用于图像描述任务。通过将卷积神经网络作为提取图像特征的编码部分，生成对抗式文本生成方法作为产生描述的解码部分，用目标检测算法YOLOv3作为辅助网络来无监督地生成图像的描述。实验结果表明，相较于传统模型，GA-based UIC模型最终生成的描述在BLEU、METEOR、ROUGE和CIDEr等文本评价指标的得分及训练速度均有提升。所提模型为图像描述任务提供了新的解决方案。