基于对比学习的类别不均衡番茄叶片病虫害图像-文本检索方法研究

摘要

番茄作为重要的经济作物，其病虫害防治对保障农业生产效益至关重要。番茄叶片病虫害图像能够直观展示病害形态特征和分布情况，但存在因分辨率有限、遮挡等情况导致细节丢失的缺点，而文本能够提供详细的发病症状描述、病因分析、防治策略，进而可以弥补图像的不足。然而，图像和文本两种模态存在语义鸿沟，使得利用图像精确检索相应文本描述困难，利用文本描述精确检索相应图像同样极具挑战性。此外，实际番茄叶片病虫害数据常存在类别不均衡问题，导致模型对主流类别过拟合、对稀有类别欠拟合。为解决上述问题，本文提出了一种基于对比学习的番茄叶片病虫害图像-文本跨模态检索方法并构建了首个中文番茄病虫害图像-文本数据集，其中模拟了实际生产中类别不均衡现象（如最大类别样本数为最小类别的近9倍），帮助研究更贴近实际生产中的挑战。为实现图像与文本模态的精确对齐，设计了一种基于三元组的对比学习方法，引入双曲空间建模层次语义关系，以拉近同类特征距离并拉远异类特征距离。提出自适应分类损失函数，动态调节模型对不同类别的关注度，有效缓解类别不均衡对检索性能的影响。此外，为提取局部病斑特征，设计了一种基于预训练编码器的参数冻结迁移学习模块，通过冻结编码器的参数来提取细粒度语义特征，以避免从头训练导致的额外训练成本。在实验部分，我们将所提出方法与先进的检索方法CCA、DSCMR、SCH、DDBH和DScPH进行对比，在图像检索文本任务上分别提升了28.68%、9.58%、3.38%、1.76%、1.03%，在文本检索图像任务上分别提升了35.71%、6.19%、0.94%、1.05%、0.54%。此外，为验证所提方法在图像编码器架构选择上的有效性，使用不同的图像特征编码器VGG16、MobileNet V2、CLIP-ViT-B/32进行对比，平均性能分别提升了12.965%、1.45%、1.005%。

关键词

番茄病虫害识别 / 图像-文本检索 / 深度学习 / 对比学习