基于轻量化线性自注意力反向知识蒸馏网络的TEDS图像缺陷检测研究

摘要

动车组运行故障动态图像检测系统（trouble of moving electric multiple units dynamic image detection system, TEDS）需进行检测的部件形态多样、体积大小不一，导致既有的检测方法误报率、漏检率高，因此，本文提出一种伪缺陷多头深度可分离自注意力反向知识蒸馏网络进行TEDS图像的无监督缺陷检测.首先，通过深度可分离卷积取代矩阵生成自注意力头向量，并以聚焦函数调整相似度的尖锐分布，构建的多头深度可分离线性自注意力享有线性运算复杂度；其次，通过倒瓶颈残差模块和多头深度可分离线性自注意力模块构建以轻量级教师-学生模型为主干的反向知识蒸馏网络，在提高网络特征提取能力的同时，减少网络可训练参数量，加块检测速度；在教师网络各个模块后设置投影层，同时采用Simplex和随机裁剪伪缺陷机制来模拟训练过程中的伪缺陷样本，通过多重损失引导投影层从正常特征空间中推开缺陷信息，迫使投影层专注于探索正常特征的更深层表示，来限制缺陷信息流向学生网络，使得教师、学生网络对缺陷有更大的特征差异.研究表明，改进后的网络能有效提高TEDS图片的缺陷检测能力，评价指标Sample-Auroc、pixel-Auroc、Aupro分别达到94.6%、91.71%、80.1%，和其他算法对比，分别提高3.3、3.8、4个百分点；且能够取得0.37 s/张的TEDS缺陷检测速度，满足TEDS系统的实时性需求.

关键词

动车组运行故障动态图像检测系统 / 知识蒸馏 / 缺陷检测 / 多头深度可分离线性自注意力 / 伪缺陷

基金资助

甘肃省教育厅高校教师创新基金项目（2024B-056）; 甘肃省科技厅科技重大专项（22ZD6GA063）; 兰州交通大学-西南交通大学联合创新基金（LH2024027）