热红外可见光视频帧融合下无人综采工作面异常环境智能识别

摘要

无人综采工作面多位于深部矿井强电磁干扰、多径遮挡及瓦斯粉尘耦合遮蔽环境，在红外热辐射衰减与可见光散射畸变干扰下，单一红外或者可见光难以准确感知环境状态，使依赖单一视觉的异常环境识别变得困难，直接影响作业安全与设备运行的可靠性。因此，提出一种热红外可见光视频帧融合下无人综采工作面异常环境智能识别方法。利用热成像仪获取无人综采工作面环境的热红外视频帧，采用滚动引导滤波热成像处理技术展开多尺度分解，利用非线性拉伸函数突出细节信息，实现热红外视频帧增强，获取准确的环境信息。根据工业摄像机采集的视频截取可见光视频帧，采用引导滤波器抑制粉尘散射畸变引起的高频噪声，减少色彩失真，设置恢复因子与尺度因子突出细节层，实现可见光视频帧增强，为异常环境识别提供准确的输入图像。利用拉普拉斯金字塔提取可见光与热红外视频帧中的高频分量，展开融合处理，将融合视频帧输入注意力机制的卷积神经网络，通过提取视频帧特征并经过通道与空间注意力处理，实现无人综采工作面异常环境智能识别。测试结果表明：该方法处理后热红外视频帧清晰度显著提升，识别误差始终在0附近波动，对异常环境智能识别准确率较高。

关键词

无人综采工作面 / 异常环境识别 / 热红外 / 可见光 / 视频帧融合 / 注意力机制

基金资助

中国神华能源股份有限公司神东煤炭分公司项目（CEZB240309913）