基于图像智能分析的在途列车作业视频智能化巡检方案研究

Intelligent Inspection Scheme for In-Transit Train Operation Video Based on Intelligent Image Analysis

摘要

旅客列车乘务人员执行岗位作业标准对铁路旅客运输安全至关重要。为了督促职工落实作业标准、提高作业视频巡检和安全管理效率，融合目标识别、视频智能分析等技术，提出并构建了基于图像智能分析的在途列车作业管控分析系统，对在途列车作业视频智能化巡检进行研究。该系统用于分析判断乘务人员岗位作业是否符合作业标准，对存在的问题进行智能识别和分析，自动汇总识别结果，为岗位作业考核、纠正违章、事后分析提供重要的依据。结果表明，相较于人工检索分析的方式，图像智能分析技术具有高效、准确、全面、统一等优点，有效解决人工检索方式存在大量的漏检和检查标准不统一、覆盖面小、效率低下等问题，加强客运班组对标准化、规范化作业的落实，为提高旅客运输服务质量和列车安全运行提供重要保障。

Abstract

The implementation of operating standards by passenger train attendants is crucial for the safety of railway passenger transportation. To supervise the implementation of job standards by employees and to enhance the efficiency of video inspection and safety management, a job standard control and analysis system based on image intelligent analysis was proposed and constructed by integrating technologies such as target recognition and image intelligent analysis. This system was studied for the intelligent inspection of in-transit train operations videos. This system was utilized to analyze and determine whether the operation of train attendants complies with the operating standards. It intelligently identified and analyzed existing problems, and automatically summarized the identification results. In addition, it provided an important basis for work assessment, correcting violations, and conducting post-analysis. The results show that compared to manual retrieval and analysis methods, image intelligent analysis technology has the advantages of efficiency, accuracy, comprehensiveness, and uniformity. It effectively solves the problems of many missed inspections, inconsistent inspection standards, small coverage, and low efficiency in manual retrieval methods. It strengthens the implementation of standardized and regulated operations by the passenger train attendants and provides important assurance for improving the quality of passenger transport services and ensuring safe train operation.

Graphical abstract

关键词

旅客运输安全 / 图像智能分析 / 作业标准管控 / 智能化巡检 / 标准化、规范化作业

Key words

Passenger Transportation Safety / Intelligent Image Analysis / Operation Standard Management and Control / Intelligent Inspection / Standardized and Regulated Operations

旅客列车现场标准化作业过程管控是铁路客运“标准化、规范化”建设的重要内容。为确保旅客运输安全、提升服务质量和落实职工作业标准，拍摄巡检作业视频以及对其进行检索分析成为旅客运输途中的重要工作。随着铁路客运的高速发展，对客运服务质量的要求也越来越高，在途班组巡检拍摄的视频内容大幅增加，人工检测的弊端尤为凸显，作业视频巡检的智能化水平有待进一步提升。因此迫切需要运用信息化手段强化客运站段的视频分析、管控能力，进一步提升客运安全管理和现场作业行为的控制^[1-2]。图像智能分析技术是利用计算机视觉和模式识别技术，对旅客运输过程中采集到的图像数据进行智能分析和处理，从而实现自动化、智能化和高效化，为“标准化、规范化”建设提供新的解决方案^[3-4]。

1　兰州客运段在途列车作业视频巡检现状及存在问题

视频拍摄巡检是近年来中国铁路兰州局集团有限公司兰州客运段为保障旅客运输安全、落实作业标准、提升服务质量所采取的重要手段。根据《兰州客运段影音资料检索检查办法》，旅客列车运行途中，列车长、列车值班员、行李员、安全员需要对重点时段、重点作业区段、易发生问题作业环节、风险作业项目、设备设施状态、车门安全卡控等进行巡视检查并拍摄视频，记录巡检过程。值乘班组一趟乘务结束后，由班组指派专人负责将音视频记录仪内视频资料，按要求上载至指定设备备查(注明：录入日期、车次、班组、录入人姓名)^[5]。由视频监控分析员、各科室、车队值班人员再对上载的视频内容进行检索、回放检查班组基础管理、岗位作业标准落实、安全卡控、服务质量等情况，并形成检索、回放记录，分析现场存在的问题，同时对检查存在问题按考核录入安全信息管理系统，作为督促职工按标作业、纠正违章、事后分析的重要依据。从管理效果看，此方式有效解决了现场存在的一些顽疾问题，但存在以下弊端。

（1）工作量庞大，无法实现全覆盖梳理。目前，兰州客运段共担当旅客列车147.5对/d，日均退乘班组65个，录制的视频内容时长也相应较长(跨局旅客列车每班组日退乘时长均大于160 min，管内旅客列车每班组日退乘时长均大于60 min)^[5]。每天需要投入40余人次的人力(包括专职人员、各车队、科室值班人员以及段领导)对采集的视频内容进行检查、分析以及监管，庞大的工作量需消耗大量的时间和精力，并且抽查的方式无法实现全覆盖巡检，难以对现场班组作业标准化落实情况进行有效监控和监督。

（2）检索效率不高，结果易受干扰。人工检索视频过程中，监控人员需要逐帧回放视频进行查看和分析，劳动强度大并且效率低下。长时间浏览会导致视觉疲劳，从而影响操作规范性，易造成漏检、误检等情况，影响作业视频检查的质量。

（3）主观差异导致标准难以统一。受检索检查人员的情绪波动、业务水平、判断标准以及个体差异等因素影响，导致判定结果存在较大的差异，无法保证检查结果的稳定性和一致性，给分析和管理工作带来诸多不便。

（4）管理响应滞后。在途班组安全卡控和作业过程“标准化、规范化”监督完全依靠人工完成，难以有效规范并监督全部作业过程，导致管理响应滞后。此外，由于缺乏全面、系统的数据分析，管理部门难以对现场班组的作业行为进行精准监督和管理。

2　基于图像智能分析的在途列车作业视频智能化巡检应用研究

2.1　系统构建目的

兰州客运段构建基于图像智能分析的在途列车作业管控分析系统，采用目标识别算法、AI(Artificial Intelligence)视频分析技术以及深度学习算法^[6]，对在途列车作业巡检关注的诸如行李堵塞车门和通道，餐车刀具定位存放，移动硬质备品是否定位存放，全列车门锁闭状态检查拍摄等行为进行检测识别，通过技控代替人工，快速、准确地识别和判断乘务人员的岗位作业是否符合标准，减轻视频检测分析人员和干部跟车检查的工作量，提高作业巡检工作的质量和效率，减少管理成本和安全风险，增强管理和应用的精准性和及时性。

2.2　系统构建

2.2.1　总体结构

系统总体架构如图1所示，集管理、检测分析、展示、交互于一体^[7]。通过列车长、行李员、安全员、值班员将收集到的视频上传到人工智能服务器的指定目录，由视频监控分析员操作进行计算分析，分析结果经视频监控分析员二次确认后，上报给相关管理人员，管理人员下发对应的处理方案。系统工作流程如图2所示。

在途列车作业管控分析系统具有以下特点。

（1）模块化。系统模块化设计和软硬件平台的可扩展性，能够适应不同巡检作业场景的需求，同时有利于后期软硬件平台的更新以及扩展，保持系统的稳定性和可靠性。

（2）智能化。系统采用成熟的目标识别算法以及图像视频分析技术对在途列车作业过程进行巡检，对存在的问题进行智能识别和分析，自动汇总识别结果，实现高效、准确的作业视频智能化巡检。

（3）标准化。系统按照客运段提供的“标准化、规范化”作业过程，制定详细的操作标准，包括视频采集、数据处理、识别过程等方面的规范，明确各个环节的具体操作方法和要求，确保对巡检视频中作业人员是否按标准作业，拍摄目标是否存在异常，作业异常视频精准筛选，归档结果无差异，由技术统一结果标准，实现“标准化、规范化”作业全过程管控的目标。

（4）数字化。系统可以对视频进行智能筛选、分析、汇总，自动记录作业检测情况，并可以按照指定的时间段、车次、车队等方式生成报表，分析结果通过数据可视化的方式直观呈现，方便管理人员对识别结果分析和对比，以便加强对在途列车作业标准落实情况的监督。

2.2.2　系统功能

在途列车作业管控分析系统共设置了前台用户(列车员、行李员、安全员、值班员)、后台用户(视频监控分析员)及超级用户(平台管理员)3种角色，不同角色用户拥有相应的权限与功能。前台用户除登录及个人信息维护外，还具有列车车次、巡检人员信息、巡检时间、录入时间以及作业视频上载等功能权限。后台用户可以对前台用户录入的信息和上载的作业视频检测分析结果进行查看、处理，包括识别结果以及报警信息的处理，并对检测目标名称、检测数量、报警车次、报警类型、报警时间、风险视频进行编辑、删除(可批量)、查看详情以及处理等操作。对于出现的报警提示，系统会对所有报警信息进行记录，可在系统内查询报警记录，亦可通过设定条件搜索功能查询报警记录和导出报警记录，方便后台用户核实处理并反馈，与平台进行交互。超级用户主要负责用户管理以及系统运行维护，包括列车信息管理、巡检任务参数管理、报警参数管理等。系统功能如图3所示。

2.3　关键技术

在途列车作业管控分析系统的视频来源于作业人员随身佩戴的音视频记录仪，列车上拍摄的视频图像复杂多变，待检测的目标具有多种不同的表现形式，同时会伴随检测目标移动、角度、大小、光线等条件变化导致检测识别效果不佳。该系统采用新型数据采集设备、多任务资源规划以及模型持续优化与迭代等方法，实现对列车作业视频的高质量巡检。

2.3.1　数据采集

系统采用配置高清摄像头的新型音视频采集设备，该设备重量轻，体积小，速度快，具备防抖动防震抗摔能力，同时内置红外灯在光线不足的条件下依然能够保证图像的清晰拍摄，便于工作人员在各种作业环境中使用。为了保证视频截取的图像帧内有清晰的待识别目标，保证采集到的视频清晰程度和可靠程度，数据采集时需确保检查的作业内容举平拍摄，并且停留时间至少1 s，配合视频高压缩编码技术，保证视频画面清晰度的同时减小视频文件的体积^[8-9]，实现在列车复杂环境下的视频高度精准采集和存储。

2.3.2　语音识别

为了最大限度实现智能化，在巡检视频的归档工作中使用目前发展很成熟的语音识别技术。工作人员在巡检开始前，使用音视频记录仪面对镜头自我介绍，重点信息包含列车车次信息、巡检人员信息、巡检时间等完整信息。系统选用OpenAI开源的Whisper语音识别模型，对视频中的语音信息进行分析，将其转换为文本信息，并使用关键字分析以及自然语言处理相关算法对列车车次、巡检人员信息、巡检时间信息等内容进行提取，从而实现自动归档代替手工录入，减少工作量同时确保录入信息的准确率。

2.3.3　多项任务资源规划

针对巡检要解决行李堵塞车门和通道、餐车刀具定位存放、移动硬质备品是否定位存放、全列车门锁闭状态检查拍摄等问题，系统首先通过SSD (Single Shot Multi-Box Detector)^[10-12]算法对视频画面中的物体进行识别，针对被检测到的不同物品，调度不同的检测任务，例如检测到为行李，则进一步调用对应算法判断行李是否堵塞车门或通道；检测到移动硬质物品，则进一步判断该物品是不是在指定区域内。再经过系统软件对检测目标进一步判断识别，发送报警。基于AI检测的多任务调度流程图如图4所示。

2.3.4　识别检测

在途列车作业智能巡检涵盖检测项目较多，不同的任务逻辑处理方案不同。为了减少计算量，首先用目标检测算法在视频画面中准确地找出识别物体的位置和类别，再对目标位置进行综合判断，实现对巡检视频中巡检人员是否标准化作业、拍摄过程是否符合规范进行检测。针对铁路列车客运移动场景和待检测目标的多样性，在确保足够的训练数据用于训练和优化基础上，通过深度学习方法对待识别目标进行特征提取和分析，实现对作业过程中关注的待检测目标的识别、检测和提取。识别结果偏差通过用户反馈到训练数据集，对模型不断优化，提高系统性能。目标识别网络建模过程如图5所示。

（1）数据准备。神经网络建模样本数据来源于音视频记录仪拍摄的视频，使用ffmpeg对采集后的视频进行解码，每秒钟采集2张图片，采集完成后，将其中拍摄模糊、残缺以及没有目标物体的图像删除。

（2）数据标记。进行模型训练之前，训练样本需要进行标记。标记方法为使用开源的标记软件Lableme在图像中框选出目标物体，即标记出该目标的中心点和宽、高，并指定其类别。标记信息将以文本形式保存，每张图片对应一个文本文件。为了保证较好的识别效果，尽量保证各个类别的样本数量一致。

（3）模型训练。使用准备好的训练数据，通过训练SSD模型学习行李堵塞车门和通道、餐车刀具定位存放、移动硬质备品是否定位存放、全列车门锁闭状态检查拍摄等特征^[13-14]。在使用SSD进行识别时，需要确保样本数据的质量和数量足够，以及模型的训练过程充分，才能取得准确的识别结果。采用旋转、缩放、裁剪、图像拼接以及遮挡等方法增加训练数据的多样性，提高模型的泛化能力。此外，需要与实际作业场景匹配进行相应的训练参数调整和改进，以保证识别的准确性和实用性^[15]。训练参数如表1所示。

（4）模型推理。待模型训练好后，将训练好的参数部署至AI人工智能服务器上，再经过系统软件处理，即可对音视频记录仪采集到的视频进行分析。系统检测过程中，风险作业视频自动截取后存储到数据库，不断更新丰富问题作业视频数据库，为系统不断进行机器学习和人工智能分析提供有效的训练资源，进一步提高模型识别准确率。

2.4　实验结果

系统测试环境配置intel i9-10980XE CPU以及GeForce RTX 3090 GPU(图形处理器)、32 GB内存、512 GB固态硬盘以及8 TB机械硬盘，操作系统为Linux Ubuntu 20.04，使用CUDA 11.1加速库以及python 3.8编程语言。图像处理需要大量的计算和数据处理，而GPU具有高度并行的计算能力和大规模数据处理能力，能够同时处理多个数据流，使用GPU进行视频识别处理，减轻了CPU的负担，同时极大地提高了检测效率。系统测试数据集来自兰州客运段采集的全天在途列车作业视频内容。模型检测效果如图6所示。

系统为保证识别结果准确性，对作业视频每秒钟采集2张图片进行识别，即每小时采集7 200张图片，人工逐帧回放检索耗时1 h的视频量，系统只需200 s即可完成检测，加速效果达18倍，即机器每小时可检测人工检查18 h的视频量。目前，兰州客运段每天需要检测的视频量约330 h，按照视频检查人员每天工作8 h计算，原来每天40余人次的工作量，机器检测不分昼夜、无需休息，一台人工智能服务器约20 h即可完成每天40余人次的工作量，图像识别检测可将视频监控分析人员的工作量降低到5%以内，在保证准确率的同时，极大地提高了检测效率，降低检测成本。图像识别检测和人工检测效率对比如表2所示。

实验结果表明，系统大幅度提高作业巡检效率，实现每日在途列车作业视频全覆盖智能化巡检，自动记录检测情况。对不符合标准化作业内容及时报警，视频识别分析结果报警图如图7所示。

利用平台分析功能，综合统计分析识别结果、反馈信息和历史数据，建立统计分析模型，实现在地面对列车作业情况进行统计和分析，对现场作业进行情况实现盯控和检查，对在途列车作业过程中存在的问题进行分类，检查存在问题按考核录入安全信息管理系统，以便监管部门采取有效措施，为督促职工按标准作业、纠正违章、事后分析提供重要的依据，确保客运作业的各项工作符合标准。系统报警统计分析图如图8所示。

在识别效果验证以及评估过程中，采用平均检测精度mAP(mean Average Precision)以及帧率Fps(Frames Per Second)作为模型评估指标。mAP为AP(Average Precision)的平均值，mAP值越高，表明该目标检测模型在给定的数据集上的检测效果越好，其计算公式表示为

mAP=\frac{{\displaystyle \sum _{q=\mathrm{1}}^Q}AP(q)}{Q}⑴

式中：Q为检测类别个数，AP(q)为各个类别的检测精度。

以行李箱这一类识别分析为例，当边框中的目标为行李箱时属于正类，其他类别属于负类。检测精度计算表示为

AP=\frac{TP}{TP+FP}⑵

式中：TP表示实际为行李箱且被预测为行李箱的图像个数；FP表示实际为其他物体但被预测为行李箱的图像个数。

经测试验证，系统检测帧率Fps为36帧/s，系统识别耗时计算可表示为

T=\frac{N}{Fps}⑶

式中：T表示系统检测需要的时间，s；N表示需要识别的图像个数。

选取客运段某天全天客运作业视频进行测试，系统测试效果如表3所示。

系统巡检项目平均检测精度达到89%，相较于人工检测抽检比例不足20%，系统实现对每日作业视频全覆盖巡检，大幅度提高了作业巡检工作的质量和效率，减少管理成本和安全风险。

3　结束语

利用图像识别技术对在途客运作业智能化巡检进行研究，提高作业检索效率和准确率，加强乘务班组标准化落实的统一度，对作业视频巡检结果、反馈信息和历史数据进行数字化综合管理和应用，加强对客运过程的监督检查，提高客运段的管理水平和服务质量。利用系统识别作业过程中存在的问题，提高管理部门对现场作业行为的控制能力，增强管理和应用的灵活性和及时性，有效推进客运段的业务标准化和规范化建设。该项研究对图像分析技术实现作业巡检的智能监管进行全面的技术论证，用于在途列车作业的标准化管理，为客运段进一步加强管理工作提供直观有效的数据支撑，从而帮助客运段提升管理效率，也降低因作业不标准而产生的服务和安全风险，在提升客运服务水平和管理水平方面具有重要的应用前景和价值。

参考文献

[1] 伊益华. 铁路视频监控系统技术分析及应用[J]. 科技创新与应用，2014(11)：52.

[2] 付革民，王继柱. 机车视频智能监控系统功能设计探讨[J]. 铁道运输与经济，2022，44(1)：87-90，111.

[3] FU Gemin， WANG Jizhu. Research on Intelligent Video Surveillance Systems of Locomotive[J]. Railway Transport and Economy，2022，44(1)：87-90，111.

[4] 史天运. 中国高速铁路信息化现状及智能化发展[J]. 科技导报，2019，37(6)：53-59.

[5] SHI Tianyun. Present Situation of Wide Applications of Information and Intelligence in the Field of High Speed Railway in China[J]. Science & Technology Review，2019，37(6)：53-59.

[6] 娄　昆. 基于综合视频监控系统拓展图像智能识别功能的方案研究[J]. 铁路通信信号工程技术，2021，18(9)：31-37.

[7] LOU Kun. Schemes of Expand Intelligent Image Recognition Function Based on Integrated Video Surveillance System[J]. Railway Signalling & Communication Engineering，2021，18(9)：31-37.

[8] 中国铁路兰州局集团有限公司兰州客运段.兰州客运段影音资料检索检查办法[Z].兰州：中国铁路兰州局集团有限公司兰州客运段，2020.

[9] 傅荟瑾，史天运，王　瑞，等. 基于深度学习的京张高速铁路周界图像智能识别系统构建研究[J]. 铁道运输与经济，2022，44(5)：64-72.

[10] FU Huijin， SHI Tianyun， WANG Rui，et al. Research on Construction of Intelligent Image Recognition System for Beijing-Zhangjiakou High Speed Railway Perimeter Based on Deep Learning[J]. Railway Transport and Economy，2022，44(5)：64-72.

[11] 王成亮，葛　晖. 铁路安全视频监控和智能分析系统[J]. 中国铁路，2019(8)：98-102.

[12] WANG Chengliang， GE Hui. Video Surveillance and Intelligent Analysis System for Railway Safety[J]. China Railway，2019(8)：98-102.

[13] 李兴鑫，朱力强，余祖俊. 自适应铁路场景前景目标检测[J]. 交通运输系统工程与信息，2020，20(2)：83-90.

[14] LI Xingxin， ZHU Liqiang， YU Zujun. Adaptive Foreground Object Detection in Railway Scene[J]. Journal of Transportation Systems Engineering and Information Technology，2020，20(2)：83-90.

[15] 郭强亮，李 辉，闫晓宇，等.基于关键业务通信机制的铁路智能调度通信技术研究[J]. 铁道标准设计，2021，65(8)：144-149.

[16] GUO Qiangliang， LI Hui， YAN Xiaoyu，et al.Research on Intelligent Railway Dispatching Communication Technology Based on Mission Critical Services[J].Railway Standard Design，2021，65(8)：144-149.

[17] 张宏强，高红义. 图像自动识别技术在铁路的发展及运用[J]. 中国铁路，2015(5)：86-88.

[18] 陈春霖. 复杂场景下的目标检测算法研究[D]. 合肥：中国科学技术大学，2021.

[19] 赵　冰，李　平，代明睿，等. 基于深度学习的铁路图像场景分类优化研究[J]. 计算机系统应用，2019，28(6)：228-234.

[20] ZHAO Bing， LI Ping， DAI Mingrui，et al. Research on Optimization Method of Railway Image Scene Classification Based on Deep Learning Method[J]. Computer Systems & Applications，2019，28(6)：228-234.

[21] LIU W， ANGUELOV D， ERHAN D，et al. SSD：Single Shot MultiBox Detector[M]. Cham：Springer International Publishing，2016.

[22] 张雪艳. SSD算法及其在铁路场景异常目标检测中的应用研究[D]. 北京：北方工业大学，2019.

[23] 李　博，杨　欣. 基于AI边缘计算的铁路行车视频监控智能识别研究[J]. 科技与创新，2022(1)：62-65.

[24] LI Bo， YANG Xin.Research on Intelligent Recognition of Railway Traffic Video Surveillance Based on AI edge computing[J].Science and Technology & Innovation，2022(1)：62-65.

基金资助

中国铁路兰州局集团有限公司科技发展项目(LZJKY2021011-2)