基于知识蒸馏的多模态语义增强小目标检测方法

张键; 吕佳容; 张恒; 李明; 黄梦; 王树玖

江苏海洋大学学报（自然科学版） ›› 2026, Vol. 35 ›› Issue (2) : 25 -35.

张键, 吕佳容, 张恒, 李明, 黄梦, 王树玖

作者信息 +

Author information +

文章历史 +

摘要

无人机在多种复杂场景中应用广泛，但航拍小目标检测仍面临目标尺寸小、分布稠密及背景复杂等挑战。现有方法多依赖图像训练，未能利用标注中的文本语义，限制了对小目标和遮挡目标的检测能力。为此，研究提出一种基于知识蒸馏的多模态语义增强小目标检测方法。在数据层，设计目标自适应切片与样本筛选机制，通过动态ASS(adaptive slicing strategy) IoU(Intersection over Union)判据去除无效背景，提升小目标采样密度与样本平衡。在特征层，引入文本-图像联合输入，将结构化文本与图像共同编码至Transformer，显式注入语义先验以增强检测鲁棒性。在模型层，构建教师和学生蒸馏框架，教师模型学习多模态特征，学生模型经特征层与检测头蒸馏，在仅输入图像时仍能保持多模态经验，实现轻量化与高效推理。实验结果显示，方法在DOTA v1.0,DIOR和NWPU数据集上均取得优异表现，验证了其有效性与泛化性。