基于深度神经网络的火箭图像目标识别与跟踪

Target recognition and tracking in rocket image based on deep neural network

摘要

火箭图像目标识别与跟踪是图像目标识别的重要应用领域，是实现火箭测试发射、飞行控制的重要支撑，对火箭目标跟踪、姿态分析控制具有重要意义。上升段的火箭目标视频图像跟踪是火箭飞行测控的重要阶段，但目前对火箭上升段的视频图像跟踪主要依靠人工手动操作云台控制器，图像跟踪存在跟踪滞后、画面抖动等问题，跟踪效果受人为因素影响较大。结合全卷积理论和深度学习方法，提出一种基于全卷积深度神经网络的火箭图像目标识别与跟踪方法，采集火箭发射及上升段的图像作为样本，构建、训练全卷积网络模型，采用端到端的语义分割方法，在深度分类网络的基础上，实现火箭目标在像素级别上的语义判断，具有较好的识别率和鲁棒性。在火箭目标识别的基础上建立云台控制模型，通过对云台的智能控制获得火箭上升段的高质量图像，完成对火箭目标的跟踪。

Abstract

Rocket image target recognition and tracking is an important application field of image target recognition，which is an important support for rocket test launch and flight control，and has great significance for rocket target tracking and attitude analysis and control.Image tracking of rocket target in ascending stage is an important stage of rocket flight measurement and control，but at present，the video image tracking of rocket in ascending stage mainly relies on manual operation of pinion controller to achieve rocket tracking in the image.The tracking image has some phenomena such as tracking lag and picture shaking，and the tracking effect is greatly affected by human factors.Combining full convolution theory with deep learning method，a method of rocket image target recognition and tracking based on full convolution deep neural network was proposed.Images of rocket launch and ascending flight were collected as samples，and a full convolutional network model was constructed and trained.An end-to-end semantic segmentation method was adopted to realize semantic judgment of rocket targets at pixel level on the basis of deep classification network，with good recognition rate and robustness.Based on the recognition of the rocket target，the PTZ control model was established，the high-quality image of the rocket ascent stage was obtained through the intelligent control of the PTZ，and the tracking of the rocket target was realized.

Graphical abstract

关键词

深度神经网络 / 图像识别 / 云台控制器 / 目标跟踪 / 全卷积网络

Key words

deep neural network / image recognition / PTZ control / target tracking / full convolutional networks

视频图像目标识别与跟踪既是计算机视觉领域的一个重要研究方向，也是视频图像监控领域的一个重要应用方向，还是图像识别应用领域研究的热点问题之一。视频图像中的目标识别与跟踪是多领域知识的交叉综合，涉及计算机技术、模式识别技术、图像处理技术、人工智能等各个领域，在智能交通监控、人机交互、视频图像索引、智能驾驶导航、目标飞行器跟踪、天文观测等多个方面有着广泛的应用。通常，视频图像跟踪的目标是视频帧序列中每一帧图像的运动对象，跟踪目标中包含了大量目标颜色、位置等特征，所以视频图像目标跟踪需要对跟踪视频图像序列的某一帧或者多帧结合起来的图像进行颜色变换、滤波、提取背景等操作，提取视频图像跟踪目标的固有特征。目前，主要的视频图像跟踪方法有基于均值偏移（mean shift）的视频图像目标跟踪方法^［1］、基于卡尔曼（Kalman）滤波器的视频图像目标跟踪方法^［2］、基于粒子滤波器（particle filter）的视频图像目标跟踪方法^［3-4］，尚没有一种通用的视频图像跟踪算法能够准确地跟踪各种环境下的运动目标。

图像目标识别需要提取图像中的目标特征信息，通常是将目标先验知识与被识别目标进行对比，建立关联模型，实现目标识别与获取。目前，常用的图像目标识别方法主要有基于目标边缘信息和纹理特征的方法^［5-6］、基于目标颜色信息特征的方法^［7-8］及基于传统神经网络的方法^［9］等。Shelhamer等^［10］ 提出全卷积网络（full convolutional networks，FCN），在深度分类网络的基础上，将用于分类的全连接神经元改为卷积核大小为 1 × 1 的卷积神经元，使整个网络的参数只有卷积层参数，从而构建一种端到端的语义分割网络，使分割效果得到了极大提高，是图像语义分割的重大进展，为火箭目标识别提供了新的研究方向。

在航天试验任务中，对火箭飞行的跟踪是测控的重要方面，对火箭的飞行控制具有重要意义。目前，火箭上升段的视频图像跟踪模式依靠人工操作云台控制器实现视频图像中的火箭跟踪拍摄。在跟踪过程中，主要依靠操作人员对视频图像中的火箭位置进行判断，然后手动控制云台控制器操纵杆实现目标跟踪，跟踪图像容易出现抖动，且存在跟踪滞后的现象，跟踪效果受人为因素影响较大，难以获得高质量的视频图像。本文结合全卷积理论和深度学习方法，提出一种基于全卷积深度神经网络的火箭图像目标识别与跟踪方法，在具有较好的识别率和鲁棒性的基础上建立云台控制模型，实现对视频图像中火箭目标的跟踪；本文提出的模型将输入的视频图像作为分析识别对象，在视频图像中识别判断火箭目标，确定目标的中心，以图像边界为基准框，建立以图像中心点为核心的云台控制模型，将由目标中心向图像中心的运动信号输出为云台运动控制信号，实现对火箭上升段目标的自动识别与跟踪，具有较好的跟踪效果和实际应用价值。

1 基于全卷积深度神经网络的火箭图像目标识别模型

1.1 全卷积深度神经网络基本原理

卷积神经网络（convolutional neural network，CNN）提供了一种端到端的学习模型，模型中的参数可以通过传统的梯度下降方法进行训练，经过训练的卷积神经网络能够学习到图像中的特征，并且完成对图像特征的提取和分类。在此基础上，随着卷积神经网络的不断发展和优化，产生了ImageNet网络模型^［11］、GoogLeNet网络模型^［12］等经典神经网络模型。通常卷积神经网络在卷积层之后会接上若干个全连接层，将卷积层产生的特征图映射成一个固定长度的特征向量，适合于图像级的分类和回归任务，因为它们最后都期望得到整个输入图像的一个数值描述。全卷积神经网络（full convolutional neural network，FCNN）是在卷积神经网络的基础上建立的深度神经网络，对图像进行像素级的分类，从而解决了语义级别图像分割问题，与经典的卷积神经网络区别是在卷积层之后使用全连接层，得到固定长度的特征向量进行分类。全卷积神经网络可以接收任意尺寸的输入图像，采用反卷积层对最后一个卷积层的特征图进行上采样，使其恢复到与输入图像相同的尺寸，从而可以对每个像素都产生一个预测，同时保留原始输入图像中的空间信息，最后在上采样的特征图上进行逐像素分类，在图像识别上具有极大的优势。

1.2 基于全卷积深度神经网络的火箭图像目标识别算法

本文采用全卷积神经网络，构建了图像识别分割模型^［13］。图1为上升段火箭图像目标识别的方法，采集火箭发射及上升飞行段的视频图像，构建图像数据人工标定工具实现对采集图像中目标区域的标定，建立测试集和训练集，对火箭目标不同姿态、时段、光照条件下的图像进行网络训练，最后使用测试集对训练网络进行验证，对比分析实验结果。

全卷积深度神经网络是在卷积神经网络的基础上，采用深度学习方法构建的一种多层深度网络，具有较强的学习适应能力和鲁棒性。如图2所示，火箭目标识别的全卷积深度神经网络结构是在Shelhamer等^［10］提出的 语义分割模型的基础上建立的，是针对特定目标建立的逐像素分类分割模型^［13］。模型采用了19层的神经网络，其中，conv2d 表示二维卷积层，max_pooling2d_1 表示下采样层，up_sampling2d _1表示上采样层，而 input 和 output 分别给出了输入和输出张量的维度，dropout_1层是让某些神经元以一定的概率不工作，旨在防止网络陷入局部最优和过拟合。

全卷积神经网络的训练对图像目标识别效果具有重要的影响，对数据的有效筛选、标定、分类是网络训练的重要部分，能有效地提升网络模型识别效果的鲁棒性，图3为火箭目标识别网络综合模型示意图。该模型为多网络模型，应对火箭目标的多态变化，构造火箭多种姿态、多种时段、多种光照等条件下的训练集，提升火箭目标识别的准确率。

1.3 火箭图像目标识别的数据标定及识别结果

全卷积深度神经网络的训练与测试在Ubuntu16.04，64位操作系统上进行，采用深度学习平台框架TensorFlow。

1.3.1 数据图像的采集与标定

网络模型的训练和测试数据采用火箭发射及上升段飞行的视频，将视频图像转换为图像序列，删除重复的冗余图像后建立数据集。在数据筛选中，充分考虑火箭目标采集过程中光照、角度、尺度的变化，涵盖正常光照、夜晚光照、逆光照等条件，选择火箭飞行过程中的多姿态、多尺度图像，一共得到4 000余张含有火箭目标信息的图像。对采集到的图像进行初步的处理，建立如表1所示的训练集和测试集的实验数据。将数据集中的火箭图像目标进行人工标定，构造实验数据图像，为模型训练提供样本，为模型测试提供对比。编写了人工标定工具，逐个读取指定的图像，手工完成对火箭目标区域的标定，生成实验数据集。数据图像标定示意图如图4所示。

1.3.2 全卷积深度神经网络的训练与测试

先将标定完成的不同状态火箭训练集作为输入，再将测试集分别作分类测试和综合测试，其中综合测试是采用多网络综合模型将所有分类数据进行混合测试。表2为训练与测试过程。由表2可知，综合训练时间较长，综合测试时间较短。

1.3.3 实验及结果分析

将分类测试数据输入训练完成后的火箭目标识别模型，识别结果用着色点标示，火箭图像目标识别结果如图5所示。其中，图5a为火箭多姿态图像测试集识别结果，图5b为火箭多时段图像测试集识别结果，图5c为火箭多光照图像测试识别结果。

为验证网络模型的识别效果，从实验数据中选取较难识别光照条件、尺度条件、角度条件的图像数据输入训练后的网络模型，识别结果如图6所示。图6a为不同光照条件下的火箭目标识别结果，包括来自正常光照、较暗光照、强光、逆光等多种光照条件下的火箭目标测试图像；图6b为不同尺度条件下的火箭目标识别结果，包括火箭目标尺度放缩、多飞行姿态等情况下的火箭目标测试图像；图6c为不同角度条件下的火箭目标识别结果，包括火箭飞行方向、图像采集多角度变换等情况下的火箭目标测试图像。通过多种条件下的火箭目标识别测试实验，证明全卷积神经网络对不同光照、尺度、角度变换下的火箭目标识别均有较好的识别效果。

本文火箭目标识别方法是在像素级别上对火箭目标像素点进行判断提取，并对分割提取的火箭目标像素点进行统计，采用语义分割的度量指标，即像素点准确率。像素点准确率是指测试分割得到的像素点之和占标定火箭目标像素点之和的比例。表3为目标识别结果的像素点准确率，将图像的像素点准确率作为衡量火箭目标识别效果的重要衡量指标。

在像素点准确率的基础上，结合云台驱动实践，图像中的像素点准确率超过60%视为成功实现目标识别，同时在全卷积神经网络目标识别之后加入判断，利用火箭目标的光学特征扩大火箭识别区域并去除错误识别。平均交并比是图像语义分割的预测值和真实值的重叠比例，是衡量图像语义分割的重要指标，其中，STDC^［14］轻量化的并行卷积设计使平均交并比达到76.8%，PIDNet-L^［15］平均交并比在 Cityscapes 验证集上达到了80.9%。本文提出的火箭目标识别方法在目标识别的准确率和识别速度上具有较大优势，同时可以充分发挥GPU的图像运算功能，使图像识别结果具备驱动摄像机云台模型能力。

2 摄像机云台控制模型

2.1 摄像机云台控制基本原理

摄像机云台是视频图像监控系统中的重要配套设备，云台与摄像机配合使用可扩大视频图像的监控范围，辅助监控系统捕捉有价值的目标，增强视频图像监控系统的智能化水平。视频图像监控系统^［16-17］使用的云台通常是全方位电动云台，具有水平和垂直两个独立的旋转自由度，能够通过这两个自由度的旋转组合使摄像机跟踪活动目标，实现全方位摄像或跟踪监视。

电动云台主要由微型电动机、齿轮、蜗轮组成，云台带动摄像机进行寻像或跟踪监视，并采用带自锁能力的蜗轮、蜗杆减速结构，摄像机能即时悬停于任意的工作位置，以达到在选定的范畴内跟踪监视目标的目的。摄像机云台控制的软件将云台控制指令采用相应的控制协议编码后发送至前端云台，通过控制云台电机实现云台控制。前端云台和软件控制模型之间通过网络通信进行交互，通常采用C/S的架构设计，网络层协议采用TCP协议。

2.2 摄像机云台控制模型

摄像机云台控制模型的主要作用是在火箭图像目标识别和电机云台的控制之间建立的沟通桥梁，视频图像的识别跟踪结果反馈调节云台运动的方向。图7为摄像机云台控制模型，其中矩形框为实现目标识别的火箭图像，其中心为火箭中心点，交叉点为图像中心点。

云台实现目标跟踪的控制过程就是火箭中心点向画面中心点运动的过程。在运动过程中，将运动沿着水平和垂直两个方向分解为两个运动分量，即为模型向云台电机输出的方向控制信号，将控制信号按照云台控制协议编码输出实现云台控制。

2.3 火箭目标跟踪及结果分析

云台控制模型的实验数据选取基于深度神经网络识别的火箭图像数据，旨在检验云台控制模型的跟踪效果，实验结果如图8所示。云台控制模型能够有效地将火箭目标识别结果与云台控制模型相结合，较好地利用云台控制模型实现对火箭目标的跟踪。图8中箭头表示云台摄像机的运动方向，云台的运动方式是先沿水平方向运动，后沿垂直方向运动，两个方向的运动综合为实际运动方向。实验结果表明，云台模型发出的运动指令，能够较好地与云台实际运动相结合，表明云台控制模型能够有效地将图像识别结果映射到云台控制中。

3 结论

随着人工智能技术的深入发展，视频图像中特定目标的识别与跟踪已经成为计算机视觉领域的热点问题，在飞行器目标跟踪等领域中具有广泛应用，对提高航天发射场智能化水平，实现对火箭飞行自动跟踪有重要意义。本文基于深度神经网络，提出一种全卷积深度神经网络的火箭图像目标识别与跟踪方法，将采集的火箭发射及上升飞行时段的图像作为样本，构建、训练深度分类网络的全卷积网络模型，实现火箭目标在像素级别上的语义判断，并在火箭目标识别的基础上建立云台控制模型，实现对火箭目标的跟踪。实验结果表明，本文构建基于全卷积深度神经网络的火箭图像目标识别与跟踪对火箭目标识别具有较好的鲁棒性，云台控制模型与图像目标识别模型结合能够较好地实现云台的智能控制。

参考文献

[1] 文志强.基于均值偏移算法的运动目标跟踪技术的研究［D］.长沙：中南大学，2008.

[2] 周云，胡锦楠，赵瑜，等.基于卡尔曼滤波改进压缩感知算法的车辆目标跟踪［J］.湖南大学学报（自然科学版），2023，50（1）：11-21.

[3] 张丰，冯平.视频目标跟踪综述［J］.计算机时代，2022（1）：32-35.

[4] 赵麒瑞，韩耀斌，沈惠，等.上升段飞行器目标的视频图像跟踪［J］.南京航空航天大学学报，2019，51（）：68-72.

[5] 李溪，杨明，杜雅婷.基于分区选择和Gabor小波的遮挡人脸识别［J］.微电子学与计算机，2023，40（5）：39-46.

[6] 袁瑜键.基于纹理特征的目标识别与跟踪技术研究［D］.北京：北京理工大学，2016.

[7] 吴鑫，王桂英，丛杨.基于颜色和深度信息融合的目标识别方法［J］.农业工程学报，2013，29（）：96-100.

[8] 孙立功，阎保定，李萍，等.基于特征差异的彩色目标快速识别方法［J］.微计算机信息，2006，22（32）：256-258.

[9] 李旭冬，叶茂，李涛.基于卷积神经网络的目标检测研究综述［J］.计算机应用研究，2017，34（10）：2881-2886，2891.

[10] Shelhamer E， Long J， Darrell T.Fully convolutional networks for semantic segmentation［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，40（1）：640-651.

[11] Krizhevsky A， Sutskever I， Hinton G E.ImageNet classification with deep convolutional neural networks［J］.Communications of the ACM，2012，25（2）：84-90.

[12] Szegedy C， Liu W， Jia Y Q，et al.Going deeper with convolutions［EB/OL］.（2014-10-06）［2023-04-05］.

[13] 赵麒瑞.基于手持终端的车牌号码识别系统［D］.长沙：国防科技大学，2017.

[14] 王卓，瞿绍军.深度学习实时语义分割研究进展和挑战［J］.中国图象图形学报，2024，29（5）：1188-1220.

[15] 高常鑫，徐正泽，吴东岳，等.深度学习实时语义分割综述［J］.中国图象图形学报，2024，29（5）：1119-1145.

[16] 刘进进，吴辉，叶伟.基于摄像机云台控制系统的应用研究［J］.工业控制计算机，2019，32（4）：127-128.

[17] 刘雪枫.摄像机云台远程控制与视频监控应用研究［D］.抚州：东华理工大学，2015.

基金资助

某部某技术创新团队专项基金（项目编号：******）