高铁列车乘务作业视频YOLOv4算法分析应用研究

Application Research on YOLOv4 Algorithm in Analysis of High Speed Train Crew Operation Videos

摘要

高速铁路列车视频记录仪摄录乘务班组值乘作业的主要过程，并作为工作质量标准评价的主要依据。传统的作业视频人工分析，缺乏有效的技术支撑和评价管理体系，导致监督不力，乘务作业标准执行不到位。研究通过基于机器学习的人工智能算法，应用YOLOv4神经网络模型，提出一种高速铁路列车乘务作业视频分析方法，可以自动地识别列车内外作业要素，全面覆盖乘务组值乘周期，量化作业质量。该系统在算法结构上成熟稳定，满足各客运段多样化的训练需求和部署运行条件，具有配置灵活、荷载量大、评价准确的特点。现场应用以来，客运段高铁车队结合作业场景，横向内容分类，纵向流程梳理，形成作业规范闭环，在推进面向标准化、专业化、智能化的高速铁路客运乘务管理上取得了突破。

Abstract

The video recorder on high speed trains records the main process of the crew operation and serves as the primary basis for evaluating work quality standards. Traditional manual analysis of operation videos lacks effective technical support and evaluation management systems, resulting in ineffective supervision and inadequate implementation of crew operation standards. This research proposes a method for analyzing high speed train crew operation videos using a machine learning-based artificial intelligence algorithm, applying the YOLOv4 neural network model. It can automatically identify operation elements inside and outside the train, comprehensively cover the crew duty cycle, and quantify the quality of operations. The system has a mature and stable algorithm structure, meeting the diverse training needs and deployment conditions of various passenger transport sections. It is characterized by flexible configuration, high load capacity, and accurate evaluation. Since its on-site application, the high speed rail fleet in the passenger section has combined operation scenarios, horizontal content classification, and vertical process combing to form a closed loop of operational specifications, making a breakthrough in promoting standardized, professional, and intelligent high speed rail passenger crew management.

Graphical abstract

关键词

视频分析 / 神经网络 / 实时识别 / 乘务评价 / 智慧客运

Key words

Video Analysis / Neural Network / Real-time Recognition / Crew Work Evaluation / Intelligent Passenger Transportation

0　引言

目前视频监控记录在铁路应用十分广泛，视频识别技术亦随之展开^[1］。在细分专业上，机务领域开展的基于深度学习的机车乘务员值乘状态识别与应用研究^[2］，可以判断动车组司乘人员的驾驶状态，做出及时的记录和提醒；工务专业将视频分析用于线路侵限判别^[3]；在客运车站^[4]，有基于深度学习的客流密度估计^[5]与扶梯、站台等咽喉位置安全预警等。

然而在高速铁路列车的作业和服务中，客运段一直缺乏高效的手段掌握乘务班组的值乘状况^[6]。一是客运段客运车队管辖班组多，流动性大，列车音视频记录的收集和管理环节多，人工依赖性强，监督评价难以全面覆盖；二是列车内部作业环境复杂，相对于车站和司机室固定机位的识别，车厢内部的场景变化多，光线、遮挡等因素影响大，视频批量分析难度高。因此，本研究基于YOLOv4视频分析算法，率先提出了高速铁路列车乘务作业分析量化解决方案，进一步优化客运乘务管理流程。

1　客运段音视频记录仪管理现状

1.1　音视频记录仪使用场景

旅客列车乘务作业的音视频记录仪应用于日常作业和应急处置2方面场景记录。其中日常作业主要对照乘务、安全等基本作业流程和标准进行记录。应急处置主要针对处理旅客投诉、失信行为、伤害取证以及行包异常等场景进行记录。

针对不同车型和场景，高速铁路乘务作业场景通常可划分为6大类作业项：班前学习、收入作业、接车作业、途中巡视、终到(折返)巡视、站车交接，涵盖了乘务生产和服务的基本要素，串联起日常作业全过程各节点。

1.2　人工分析视频的困境

自乘务人员配备巡视仪以来，乘务作业视频一直由乘务科和各客运车队专人负责查阅。然而，人工抽查效果一直不理想，主要体现在以下几点。

（1）视频分析体量庞大。根据季度对标检查规定，各客运段需对班组作业完成全覆盖分析，仅2021年12月中国铁路上海局集团有限公司(以下简称“上海局集团公司”)各客运段平均产生作业视频文件3万余个，时长超过3 000 h，存储空间达到3.5 TB。但由于拍摄画面抖动严重，检查人员持续用眼时间长，容易出现头晕等不良反应，通常难以达到作业视频检查的数量和质量要求。

（2）缺少必要技术支持。各车长按自己的习惯存储视频文件，存放路径、文件命名的规则均不统一；且通过创建文件夹的简单管理形式，视频所属交路信息描述不清，内容难以与乘务管理的维度有效匹配。

（3）单点管理风险高。各车队独立设置专用计算机，不成网，检查周期内需多次通过移动存储介质去现场拷贝，耗费时间长，硬件损耗大，容易造成病毒的感染和传播，单点故障率高。

1.3　评价缺失带来的管理弊端

传统的客运服务工作评价，特别是对乘务工作质量的评价往往通过经验评价、模糊评价、局部评价等方法开展，缺乏科学性。且由于乘务作业检查方式单一，只能做到对部分重点车次以及其中班组的作业和处置情况进行抽查，无法对完整交路进行作业定量分析和评价。因评判标准不统一，不同检查人评价尺度不同，主观性较强。科学监督检查力度的缺失，导致车班作业标准执行不到位，工作质量下降。例如，在途中的巡视次数不达标或时长不足；厕所卫生检查次数达标，但质量不足，有时由保洁人员代签；人工作业漏项，收入、接车、备品等作业视频缺失，易形成作业安全风险隐患。

2　基于机器学习的乘务作业视频分析方法

2.1　系统总体设计方案

从一线生产管理实际出发，亟需一种自动化的视频分析方法，可以将视频中的作业及时准确地识别出来，实现客运段客运车队视频记录的智能管理^[7]。在实现方式上，核心算法选用了YOLOv4卷积神经网络架构，采用训练与运行分离的建设模式，训练部分采集图像素材，调整初始化参数，以适应不断拓展的识别要素和场景，迭代训练后可得到描述该模型各层级神经元的配置文件；运行部分为实际生产环境，读取训练模型参数，加载输入视频，批量完成自动化评分。系统总体设计方案如图1所示。

2.2　目标检测算法概述

对于目标检测算法，从网络结构上可分为一阶段和二阶段，其中二阶段网络由定位和分类2部分网络组成，区域选取网络(Region Proposal Network)将原图生成为前景映射(feature map)得到若干个候选区域，再通过全连接层等网络进行分类和回归，完成识别检测。代表算法有RCNN(区域卷积神经网络)、Faster-RCNN(快速区域卷积神经网络)等。而一阶段网络将前景和背景的区分作为全局任务，利用单一网络完成端到端的定位和分类推理，识别速度达到实时级别。代表算法有SSD(单次多边框检测)、YOLO系列、RetinaNet等。从目标检测定位手段上又可分为基于选择框(anchor-based)与无选择框(anchor-free)2种，基于选择框的算法如YOLOv4，SSD等，往往根据先验信息穷举出一些大小合适的候选框，采用非极大抑制(NMS)的方法选取满足交并比(IOU)阈值的结果。而无选择框的算法，如FCOS(全卷积一阶段目标检测)算法，网络学习每一个像素点离目标中心的远近来预测“中心度”；CenterNet算法，以热力图(heatmap)的峰值锚点为目标中心点，再预测该点对应目标的边界和偏移量等。

YOLOv4作为通用GPU上实时目标检测设计的算法，一阶段型的网络结构保证了较快的检测速度，满足高铁车队大量作业视频分析的实效性；基于选择框的预测手段具有收敛快的特点，构建网络训练质量相对更稳定；而通过扩展跨阶段局部网络^[8]，还可对于不同的应用规模和硬件环境，获得最佳的识别速度与精度的平衡。

2.3　YOLOv4算法原理

YOLOv4算法^[9]主要可以分为输入层、主干网络层、颈部网络层和输出层4个部分，YOLOv4算法原理及结构如图2所示^[10]。其中CMB和CBL为YOLOv4网络结构中的最小组件，均由CONV(卷积计算)、BN(批量归一化)与激活函数组成，区别在于激活函数分别取Mish(光滑非单调)函数和Leaky_Relu(非饱和激活)函数输出，BN的作用是使该组件中的输入数据的均值与方差都在一定范围内，各组件间得以解耦，保持独立学习，提高整体学习速度。CSPX表示由3个CMB组件和X个Res Unit结构Concat组成，Res Unit为残差结构，增加了跳跃映射，将多个CMB组合的输入端与输出端直接相加，补充卷积过程中损失的特征信息，可以减少因网络构建得较深而造成的过拟合。Concat表示张量拼接，维数相加，维度扩充；add表示张量按位相加，维度不变。上采样采用反卷积法，支持多尺度特征检测。

2.3.1　输入层

输入端应用了马赛克增强技术，马赛克数据增强可以丰富检测目标的背景。在训练时随机取出4张图像并随机缩放、剪裁、排布合成新图片，拼凑后的图像会强制按比例转化成608×608大小的3通道图像输送给神经网络训练。

2.3.2　主干网络层

主干网络层采用了CSPDarknet53^[11]残差卷积神经网络，包含5个CSP(跨阶段局部网络)模块，每个CSP模块前面的卷积核大小都是3×3，步长为2，起到下采样的作用，即将608×608的图像经过5次CSP模块得到19×19的特征图(长宽维度每次缩小1/2)，可以在更深的网络上，获得更好的收敛速度和效果。

2.3.3　颈部层

颈部层在主干网络层之后应用了SPP(空间金字塔池化)模块，采用最大池化的方式，再将不同尺度的特征进行Concat融合。池化操作可以使模型得以容忍特征的微小偏移，更多保留图像纹理信息；而借鉴了空间金字塔的思想，通过不同尺度特征张量的连接，SPP模块实现了局部特征和全局特征的融合。

2.3.4　输出层

输出层可以看作以3种大小尺度特征图将原图像划分成若干单元(cell)，每个单元负责判断中心落位于其中的预测框。小尺度特征图负责大物体特征的预测，大尺度特征图负责小物体特征的预测，满足多目标检测性能，且符合列车巡视过程中作业对象由远及近的跟踪识别，保证了有效得分项判别的科学性。YOLOv4算法改进了预测框的回归损失函数——CIOU_Loss(完整交并比损失函数)，同时考虑边界框的重合性、中心点距离信息、边界宽高尺度信息来构建回归损失函数，提高了预测框回归的速度和精确度；并采用DIOU_nms(距离交并比非极大抑制)方法筛选预测框，减少了候选对象筛选中的误差。

2.4　乘务作业训练样本库的建立

随着高速铁路列车谱系化产品^[12]的推出，上海局集团公司配属担当的动车组车型已有19种(不含动集)，不同车型的列车定员及上部设施和布局也存在差异。本系统需兼容不同动车组上的作业场景，初期建立了11种作业要素的图像样本库，作业对象标签化图像样本库如表1所示。同时添加了10余种辅助作业元素：灭火器、通过台、车顶行李架、大件行李架、显示屏、坐便器、蹲便器、防暴钢叉、应急梯等。

根据作业对象在视频文件中出现的大小、次数和分布，建立数量不等的样本库，其中尺度较小的目标(像素大小0×0~32×32)分配较多的样本空间，使得在整体训练集图片中，小、中、大目标的分布相对均匀。

作业对象在数据样本库中的位置信息由统一开发的标签工具标记，获得其在每一帧图像中对应的真实框(ground truth)，作为训练的输入数据，以(pt1_gt，pt2_gt，w_gt，h_gt)形式记录，其中pt1_gt指对象真实框的左上角的横坐标，pt2_gt指对象真实框的左上角的纵坐标，w_gt为真实框的宽，h_gt为真实框的高。对应了YOLOv4算法在预测时每个区域3个候选框(candidate)的表示形式：(pt1_can，pt2_can，w_can，h_can，P_can)，各候选框后接80位标记位，可至多表示80个种类的预测结果(0表示否，1表示是)，P_can表示该结果的概率。每一位均归一化至0—1区间内，设计成输出层255位的数据结果。

2.5　系统运行环境架构

系统在线识别部分运行于局域网中，形成总线型拓扑结构，分别由服务器、采集器、交换机、前端计算机组成，形成一套独立运行的网络服务环境。系统网络架构如图3所示。服务器部分包括CUDA(统一计算设备架构)，将训练得到的.cfg网络配置描述文件集成其中，硬件选用2块RTX3090显卡，软件配置CUDA11.4，CUDNN8.2.1(统一计算深度学习网络库)环境；应用服务为管理与分析WEB网页，管理人员可在前端计算机上设置评分标准，查看分析结果；数据库服务器存储采集器上传的视频文件，可以统一转码供在线调阅。成网运行后，车队的功能区域划分更为明确^[13]。

3　乘务作业标准化智能分析系统功能

3.1　评价规则管理功能

本系统综合专家意见，按照实际管理要求^[12]，对6类作业场景设定了以下作业项的评分标准。

（1）接车作业标准。时间判定为始发前推0.5 h，厕所识别数量为总数量的半数。

（2）途中作业标准。巡视时长原则上以短编5 min、长编10 min为准，不得低于所规定时长，厕所识别数量为厕所总数量的半数，商务座识别数量为两端各1个，司机室端门识别数量为1个。

（3）站车联控标准。站车联控数量为列车所经停站60%。

（4）终到作业标准。厕所识别数量为厕所总数量的半数，须有司机联控关门作业，呈现列车外部画面。

（5）收入作业标准。本交路执乘过程中的收入视频不少于4个。

（6）学习作业标准。时长不少于30 min。

在管理班组评分规则时，可综合值乘天数、列车等级、运行时长和停站数量等因素，按照以上评分标准分配得分点。

3.2　评价结果统计功能

系统记录各项作业类别对应的视频中识别到的作业对象，将各项作业的完成度(百分比)转变成分数之和(百分制)，作业统计功能设计分为“段、车队、班组”3个层面。

3.2.1　客运段统计界面设计

客运段层面关注的是下属各车队各项作业的综合评价，在页面设计时，采用了雷达图的表达方式。雷达图的6个顶点方向代表了6类作业大项，与中心点的距离为在该项上的得分，而不同的颜色代表了不同的车队，呈现了各车队间横向比较时的优劣。

3.2.2　客运车队统计界面设计

在客运车队层面，管理人员按照正序和倒序的方式，对本车队内所有列车长进行排序，包括了聚类排序(同交路的班组)和中位数辅助线功能，能在整体表现分布差异较大时更好地反映班组的作业水平。

3.2.3　客运班组统计界面设计

班组层面主要反映了列车长的历史得分情况。列车长根据上传作业的评价结果，督促车班提高作业标准。列车长评分页面如图4所示。

4　乘务作业标准化智能分析系统应用效果

4.1　标准化作业与管理流程

系统应用与工作管理流程如图5所示。首先，乘务管理人员通过管理用户账号导入本车队的交路信息，核对并设定各乘务交路的评分标准。其后，列车长到乘后需在采集器上完成视频拷贝，并登录列车长端管理系统，勾选本班组当前所执乘的交路，根据规定的作业场景分别绑定视频在采集器本地的视频文件。服务器将记录文件的URL(统一资源定位)路径，在网络空闲时，及时将视频文件获取至分析队列，节省了列车长上传视频文件的等待时间，提升了传输效率，避免了值乘班组集中到乘时乘务人员的积压，有效减少退乘作业时间。

当出现新的业务时，系统的功能性划分帮助车队厘清业务模块，可以快速适配新增作业场景，弥补管理缺口。如近期关注的应急措施检查，就是在当前识别模型的基础上继续扩充样本数据库训练，并在相应作业类别中设置评分标准，重新训练后车队可掌握各车班始发作业时对防护栏、药箱等备品的清点情况，及时发现并弥补安全保障不到位的风险。

4.2　智能分析系统实际性能

应用过程中，分别在6类作业视频中随机选取100个视频样本，计算乘务作业分析系统在不同作业场景下的表现。乘务作业标准化视频智能分析系统使用效果如表2所示。表2中前2项数值表示该作业场景平均每个视频的实际时长和分析时长，后2项为所选取视频样本应用YOLOv4算法识别与人工观察对照的总体准确率和召回率。

本系统构建的神经网络单线程平均每秒可识别44帧图像，快于视频25帧的播放帧率。本例开启14线程，可在GPU负载80%，CPU负载70%以下，平均以11.8 h(包括传输和转码时间)完成2个客运车队前一天值乘班组所有的作业视频分析。从执行的效率上看，系统可遍历分析所有的作业视频，且以较高的准确率保证了客运作业评价从模糊到量化、可视化的转变，乘务组织工作可针对作业的薄弱环节缩短整改周期，加速客运段内部管理，以适应高效的高速铁路运输。

5　结束语

本系统以视频记录仪管理为切入口，结合机器学习算法和乘务作业标准化评价，形成了完整的作业视频智能分析和应用解决方案，在客运资源管理、精准组织、智慧乘务等方面^[14]展开了初步的探索，大幅提升了铁路客运科学管理水平。下一步，还将结合音频分析，进一步还原现场作业过程。将标准化的作业口述、应急处置质量进行科学评价，提升乘务班组职业化专业化水准^[15]；还可以根据识别的对象序列，提取作业模式，加强作业习惯的分析，不再局限于简单的次数和时长作业统计要求，而是重点关注乘务人员的作业行为，以数据驱动管理再创新。

参考文献

[1] 熊　杰. 铁路视频模式识别技术应用研究[J]. 中国铁路，2018(9)：91-96.

[2] XIONG Jie. Application of Railway Video Pattern Recognition Technology[J]. China Railway，2018(9)：91-96.

[3] 王党雄. 基于深度学习的机车乘务员值乘状态识别与应用研究[D]. 兰州：兰州交通大学，2020.

[4] 刘　力，苟军年. 基于YOLO v4的铁道侵限障碍物检测方法研究[J]. 铁道科学与工程学报，2022，19(2)：528-536.

[5] LIU Li， GOU Junnian. Research on Detection Method of Railway Intrusion Obstacles Based on Yolo V4[J]. Journal of Railway Science and Engineering，2022，19(2)：528-536.

[6] 杨栋，张秋亮，吴兴华，等. 基于深度学习的客运站智能视频分析系统[C]//第十五届中国智能交通年会科技论文集(2). 深圳，2020：12-19.

[7] 李　瑞，李　平，王万齐，等. 铁路车站旅客密度自适应场景估计与应用研究[J]. 铁道运输与经济，2021，43(11)：19-26.

[8] LI Rui， LI Ping， WANG Wanqi，et al. Research on Estimation and Application of Crowd Counting under Self-Adaptive Scenario at Railway Stations[J]. Railway Transport and Economy，2021，43(11)：19-26.

[9] 刘金明，朱成波，周长义. 视频人脸识别技术在铁路人员管控中的应用[J]. 中国铁路，2019(4)：99-103.

[10] LIU Jinming， ZHU Chengbo， ZHOU Changyi. Application of Video Face Recognition Technology in Railway Staff Management[J]. China Railway，2019(4)：99-103.

[11] 俞振彬. 铁路客运乘务信息化建设及大数据分析运用的思考[J]. 上海铁道科技，2018(1)：9-11.

[12] WANG C Y， BOCHKOVSKIY A， LIAO H Y M. Scaled-YOLOv4：Scaling Cross Stage Partial Network[EB/OL].(2020-11-16)[2021-02-22].

[13] BOCHKOVSKIY A， WANG C Y， LIAO H Y M. YOLOv4：Optimal Speed and Accuracy of Object Detection[EB/OL].(2020-04-23).

[14] 李金波，刘雅薇，梁旭. 基于互联网的动车组乘务管理架构研究及设计[C]//第十二届中国智能交通年会大会论文集：2017年卷.常熟：电子工业出版社，2017：370-375.

[15] WANG C Y， MARK LIAO H Y， WU Y H， et al. CSPNet： a new backbone that can enhance learning capability of CNN[EB/OL].(2019-11-27) [2021-02-22].

[16] 朱文忠，颜　颖，聂　磊，等. 显性差异特征的铁路客运产品谱系设计研究[J]. 铁道运输与经济，2022，44(1)：36-43.

[17] ZHU Wenzhong， YAN Ying， NIE Lei，et al. Pedigree Design of Railway Passenger Transport Product with Dominant Differentiation Characteristics[J]. Railway Transport and Economy，2022，44(1)：36-43.

[18] 刘艳明. 南京客运段高铁标准化班组创建的思考[J]. 上海铁道科技，2017(2)：97，64.

[19] 杨国元，史天运，方　凯，等. 铁路客运管理信息系统总体架构及关键技术研究[J]. 铁路计算机应用，2016，25(3)：22-26，30.

[20] YANG Guoyuan， SHI Tianyun， FANG Kai，et al. General Framework and Key Technologies of Railway Passenger Transport Management Information System[J]. Railway Computer Application，2016，25(3)：22-26，30.

[21] 唐　雯，吴兴华，杨　栋. 冬奥背景下铁路旅客服务与生产管控平台适配提升研究及应用[J]. 铁道运输与经济，2022，44(9)：90-95.

[22] TANG Wen， WU Xinghua， YANG Dong. Adaptation and Improvement for Railway Passenger Service and Production Control Platform during the Beijing Winter Olympic Games[J]. Railway Transport and Economy，2022，44(9)：90-95.

基金资助

中国铁路上海局集团有限公司科研开发课题(2020016)