基于思维链蒸馏和反事实推理的农业命名实体识别技术

摘要

【目的】解决大型语言模型(Large language model, LLM)在农业领域命名实体识别(Named entity recognition, NER)任务中的幻觉、上下文逻辑不一致以及无法在低资源设备上运行的问题。【方法】使用参数为671×10～9(671B)的DeepSeek-R1，即DeepSeek-R1-671B作为教师模型，将其领域知识迁移至参数量更小的学生模型，学生模型选取DeepSeek、Qwen和Llama的1.5×10～9(1.5B)、7×10～9(7B)和14×10～9(14B)低参数版本蒸馏并进行反事实推理训练，模型效果在农业病害专用数据集CropDiseaseNer上进行试验验证。【结果】对比一系列蒸馏后学生模型的性能表现，结果表明DeepSeek-14B实体识别F1达89.60%，且参数量仅为教师模型的2.08%。其性能相较于通用大模型GPT-mini-14B(F1为57.64%)和通用LLM的领域适配模型GLiNER(F1为82.96%)有较大提升。进一步分析表明，同源架构的DeepSeek学生模型因参数对齐性优势，在病害实体、病原菌属名等长尾类别识别任务中显著优于异源架构模型。【结论】本研究验证了知识蒸馏在农业领域NER任务中的有效性，为资源受限场景下的实体识别技术提供了新的解决方案。

关键词

农业领域 / 大型语言模型 / 知识蒸馏 / 命名实体识别