基于多模态预训练模型的水稻病虫害图像描述生成研究

摘要

[目的]针对水稻病虫害图像分类技术缺少对病症描述的问题，本文提出一种轻量化的水稻病虫害图像描述模型，对水稻病虫害图像进行更为具体的描述。[方法]以白叶枯病、细菌性条斑病、恶苗病、三化螟虫、稻瘟病、稻曲病、纹枯病、飞虱、稻蓟马、胡麻斑病这十类常见的水稻病虫害开展研究，构建了水稻病虫害图像中文描述数据集。首先采用多模态预训练模型CLIP生成图像向量，其中包含基本的图像信息以及丰富的语义信息，采用映射网络将图像向量映射到文本空间里生成文本提示向量，语言模型GPT-2根据文本提示向量生成图像描述。[结果]在水稻病虫害图像描述数据集上，本文模型的指标总体明显优于其他模型，本文算法的BLEU-1、BLEU-2、BLEU-3、BLEU-4、ROUGE、METEOR指标较传统的CNN＿LSTM模型分别提升0.26、0.27、0.24、0.22、0.22、0.14。生成的图像描述具有准确、详细、语义丰富等优点。另外使用实际稻田图片对模型进行测试，实际田间的场景更为复杂多样，生成的图像描述指标与数据集指标对比总体仅有轻微下降，仍高于其他对比模型。本文模型对水稻病虫害的总体识别准确率达97.28%。[结论]基于多模态预训练模型的水稻病虫害图像描述方法能够准确识别水稻病虫害病症并形成相应的病症描述，为水稻病虫害检测提供一种新思路。

关键词

多模态预训练模型 / 水稻病虫害 / 图像描述生成 / 诊断

基金资助

教育部人文社会科学研究规划基金项目(18YJA630037,21YJA630054); 浙江省自然科学基金资助项目(LY18G010005)