基于特征解耦蒸馏的可见光-红外目标检测

摘要

针对现有基于知识蒸馏可见光-红外目标检测模型难以有效传递教师网络多类型知识的问题，提出基于特征解耦蒸馏的可见光-红外目标检测(feature decoupling distillation-based RGB-T object detection, FDD-OD)方法。该方法提出了基于风格-内容特征解耦的知识蒸馏(style-content feature decoupling-based knowledge distillation, SCKD)策略，通过设计风格蒸馏损失和内容蒸馏损失充分缩小教师和学生网络之间的特征差异，进而提升学生网络的深层特征提取能力。此外，在学生网络中设计了轻量化的协同跨模态融合模块(collaborative cross-modal fusion module, CCFM),从而促进可见光和热红外图像间的互补融合。在3个公开数据集LLVIP、FLIR和KAIST上评估了FDD-OD的检测精度和速度等定量性能，并与主流的RGB-T目标检测方法进行了比较。结果表明，FDD-OD有效地提高了学生网络的性能，并大大减少了模型推理时间。此外，可视化结果也进一步证明了所提出的方法能够有效实现教师网络与学生网络间的多类型知识传播。

关键词

特征解耦 / 知识蒸馏 / 跨模态融合 / 目标检测 / 模型压缩 / 图像理解