基于智能视频分析的铁路客运站运营态势感知技术及应用

王雪

铁道运输与经济 ›› 2024, Vol. 46 ›› Issue (8) : 144 -152.

PDF (4725KB)
铁道运输与经济 ›› 2024, Vol. 46 ›› Issue (8) : 144 -152. DOI: 10.16668/j.cnki.issn.1003-1421.2024.08.15
信息化与智能化

基于智能视频分析的铁路客运站运营态势感知技术及应用

作者信息 +

Operational Situation Awareness Technology for Railway Passenger Stations Based on Intelligent Video Analysis

Author information +
文章历史 +
PDF (4838K)

摘要

人工监控铁路客运站极易出现视觉疲劳,降低时效性和准确性,为此提出一种基于智能视频分析的铁路客运站运营态势感知技术。该技术深度结合生产作业计划,基于AI人工智能算法,分别针对站台和候车厅提出站台异常行为检测模型和站厅客流运动态势分析模型。采用基于自适应特征金字塔的二级级联网络,提取站台上的游荡人员/行李并判断目标所处的位置及轨迹,实现站台越线、端部入侵、警戒区域徘徊、标准化作业、工作人员到岗等功能;采用基于跨域残差空间全卷积网络对远景的候车厅/通廊等场景自动生成人群热力密度图和移动态势图,对近景的进站口/检票口等场景自动评估排队及候检情况。根据站内的客流密度和异常态势,智能调配客运人员的作业计划,提高旅客出行体验和候车安全性。

Abstract

It is highly susceptible to visual fatigue for manual surveillance of railway passenger stations, leading to decreased timeliness and accuracy. Therefore, this paper proposed a technology for operational situation awareness of railway passenger stations based on intelligent video analysis. This technology based on an artificial intelligence algorithm that deeply combined production and operation plans. It provided abnormal behaviors detecting models on platforms and analyzed passenger flow movement patterns in waiting halls respectively. It extracted wandering personnel/luggage on the platform and determined the location and trajectory of the target based on the adaptive feature pyramid two-stage cascaded network, achieving functions such as platform crossing detection, end intrusion detection, wandering in restricted areas, standardized operations, and staff attendance verification. The technology automatically generated crowd density heatmaps and movement pattern maps based on the cross-domain residual spatial fully convolutional network in situations such as the waiting hall/corridor in the foreground. Additionally, it automatically assessed queuing and inspection situations for scenarios such as nearby entrances and ticket gates. The technology intelligently adjusts the operational plans of passenger service staff, enhancing both the travel experience and waiting safety for passengers, based on the passenger flow density and abnormal situations within the station.

Graphical abstract

关键词

铁路运输 / 运输组织 / 智能视频分析 / 客运站态势感知 / 站台越线

Key words

Railway Transportation / Transportation Organization / Intelligent Video Analysis / Passenger Station Situation Awareness / Platform Crossing

引用本文

引用格式 ▾
王雪. 基于智能视频分析的铁路客运站运营态势感知技术及应用[J]. 铁道运输与经济, 2024, 46(8): 144-152 DOI:10.16668/j.cnki.issn.1003-1421.2024.08.15

登录浏览全文

4963

注册一个新账户 忘记密码

0 引言

铁路客运站是服务旅客的重要设施,截至2023年底,全国铁路旅客发送量可达36.8亿人,其中高速铁路发送旅客约20.4亿人次。客运站内面积大、结构复杂,站内候车涉及区域多,对客运站进行全方位监控是保障旅客人身财产安全、提升客运站管理水平的重要手段。然而完全采用人工模式实时监控站内数以万计的视频监控画面,需要投入大量的人力,还极易出现工作人员疲倦,造成异常发现不及时或判断失误的情况[1-3]。因此,亟需引入智能视频分析技术,通过自动分析,筛选出有价值的视频数据,以降低工作人员劳动强度,加快异常事件响应速度。

随着人工智能、机器学习应用的日趋成熟,已有众多研究机构和企业涉足智能监控研究领域,然而这些智能分析产品并不能完全满足客运站现场需求,主要问题如下。①功能简单。功能设计的检测规则单一,场景简单,无法适应客运站复杂的环境和业务需求,误报率高。②行业适应性较差。智能分析产品没有考虑客运作业计划,只是简单地针对异常行为报警,造成大量误报和漏报,不但没有提升智能化水平,反而额外增加工作量。③硬件成本投入高。为了提升检测效率和精度,现有产品会以提高计算资源为代价,高昂的硬件成本制约了智能视频分析技术在铁路行业的推广。

鉴于此,基于客运生产作业计划,通过客运作业数据(如列车到发计划、检票数据等)优化算法模型[4-5],提出一套适用于铁路客运站的运营态势感知技术。该技术从根本上解决了智能分析产品在铁路领域应用的问题,具体分析如下。①功能设计全面。在站台层可以实现站台越线、端部入侵、遗留物和游荡人员徘徊、工作人员到岗及标准化作业检测等功能,在站厅层可以实现人群密度、排队检测等功能。②行业适应性高。深耕铁路行业,基于客运站业务需求指导AI人工智能算法的学习及训练,推理得到适应于铁路行业的智能感知技术。③投资成本节约。通过结合客运作业计划规避大量的误报,如列车停稳时的游荡人员越线问题,在不增加硬件成本的情况下,降低误报率。

本技术目前已在京张高速铁路(北京北—张家口)全线各站、郑州航空港站、昆明南站等多个客运站上线使用,在推动客运站业务智能化管理、提升智能化旅客服务水平、促进安全生产等方面取得了显著成效。

1 基于智能视频分析的铁路客运站运营态势感知技术

深度结合生产作业计划,基于AI人工智能算法,提出一套完整的基于智能视频分析的铁路客运站运营态势感知技术,实现站台越线、端部入侵、人群密度、遗留物和游荡人员徘徊、工作人员到岗及标准化作业、排队检测等功能,通过实时评估客运站内的运营态势,为工作人员提供精准的决策数据,保障旅客出行安全,提升客运管理水平和出行服务质量。铁路客运站运营态势感知技术架构如图1所示。利用视频分析服务器获取摄像头视频码流进行实时分析,发现异常行为并通过业务告警终端进行提醒,第一时间提醒旅客、工作人员可能存在的安全风险。

1.1 站台异常行为检测模型

全方位实时监控站台是保障旅客人身财产安全、规范工作人员作业的重要手段[6-8]。然而站台区域广、客运作业复杂、活动人员繁多,很难精准地实时监控站台上各类人员的行为举止。由于站台作业遵循客运作业计划,为此基于客运作业任务,分时域对站台上不同类型的活动目标进行异常行为检测。在站台有作业计划的时间段,对旅客越线行为、工作人员标准化作业行为进行实时检测;在站台空闲时间段,对站台上的可疑游荡人、遗留物等进行实时检测;全天候进行站台端部游荡人员入侵检测。分时域多类型全目标跨场景的站台异常行为检测模型示意图如图2所示。

1.1.1 基于特征金字塔网络的游荡人员检测算法

传统的游荡人员检测算法是基于人工提取的图像特征,通过特征匹配或机器学习算法实现的。然而客运站的场景复杂,候车人员姿态多样、遮挡严重,人工很难设计出鲁棒性较高的特征,为此,采用基于特征金字塔网络(Feature Pyramid Networks,FPN)的游荡人员检测算法[2],利用多尺寸特征提取卷积网络,通过简单的网络连接融合,提升对小尺寸目标的检测能力。FPN将提取网络的每个阶段定义为一个金字塔等级,仅使用每个等级最后一层的输出,通过卷积神经网络的前向传播计算,这样特征图的尺寸经过卷积层的计算会越来越小,但维度不变。然而卷积层Conv1的空间维度过高,对Conv1进行后续上采样会占用过多的显存,降低特征金字塔搭建效率,为此构建全新的特征金字塔网络。特征金字塔网络示意图如图3所示。

将初步构成的金字塔标记为C2C3C4C5,自顶向下通过上采样[2-3]构建高层特征图,随后与自下而上生成的同尺寸同维度特征图融合,将特征金字塔中其他每个尺度的特征Ci与上层特征层Pi+1的二采样逐个元素相加得到新的特征金字塔P2P3P4P5

Pi=2×upsamplePi+1+Cii=2,3,4Cii=5

总体损失函数Lpl公式为

Lpl=1n×αLloc(pl)

式中:n为样本数量;Lloc(pl)为位置损失函数;p为基于样本特征的锚框位置;l为样本真实框位置;α为权重变量。

位置损失函数Lloc(pl)公式定义为

Lloc(pl)=iPosmx,y,w,hndis(pi-li)

式中:Posm{xywh}为正样本;dis(pi-li)为正样本中标注框与真实框的距离差;pili分别为第i个样本的锚框位置和真实框位置。

1.1.2 基于客运作业计划的站台异常行为检测模型

依据列车到发作业计划,将时间轴分成若干个作业时间段和非作业时间段,并依据实时分析的列车运行状态,进一步将作业时间段分成列车即将到站、列车停稳、列车发车3个区间段。基于客运作业计划的站台异常行为检测模型时间轴如图4所示。

(1)作业时间段。在列车即将到站和列车发车2个区间段内,基于迁移学习策略自适应站台环境的特征差异与光线变化,采用一阶段特征金字塔网络提取站台上的游荡人员和行李。随后结合时空关联二级分类网络DenseNet[9]捕捉旅客/行李的轨迹动态,及时预测并预警潜在的越线风险,如旅客越白线、行李脱落/遗失、游荡人员奔跑等异常事件。在列车停稳区间段内,暂停越线监测报警。基于DenseNet的二级级联分类网络如图5所示,需要每个层的特征图大小相同,采用密集连接机制,即互相连接所有的层,每个层都与前面所有层的特征图级联起来实现特征重用,作为下一层的输入。

(2)非作业时间段。首先采用一阶段自适应特征金字塔网络提取站台上的游荡人员和行李,随后采用二阶段DenseNet分类网络,在全站台判断游荡人员和行李的位置和轨迹,及时发现可疑游荡人、遗留物,防止遗留物坠落股道、游荡人员翻越股道等异常行为发生。

(3)全天候。针对站台端部区域,进行全天候24小时监控。站台工作人员主要包括施工人员、客运人员、机械师、司机、保洁人员等,按规定身着反光马甲、路服、上水工服、安全帽等工作制服。为此在一阶段游荡人员检测的基础上,构建服饰细粒度数据集,形成不同游荡人员的服饰属性画像,得到端部区域内游荡人员的服饰信息,将符合工作服饰穿着的游荡人员标识为工作人员,不作异常检测,避免出现误报。

综上,站台异常行为检测模型,根据不同的作业时间,针对不同的目标(如人、行李),检测不同的异常行为。该模型提升了站台游荡人员异常行为的检出率,通过不断优化,持续训练现场样本模型,使风险预判更准确。所有的异常行为自动关联相应站台的小区广播和工作人员的手持机,实现正常不盯控,重点、异常才盯控,无关信息不干扰,紧急信息强提醒,保障旅客出行安全,提升客运管理水平和出行服务质量。

1.2 站厅客流运动态势分析模型

站厅客流运动态势分析模型采用跨域残差空间全卷积网络(Fully Convolutional Network,FCN),对远景的候车厅/通廊等场景自动生成人群热力密度图和移动态势图,对近景的进站口/检票口等场景自动评估排队及候检情况,根据整个站厅内的客流密度和运动态势,智能调配票务设备的使用情况和客运工作人员的排班规划,提高旅客出行体验和候车安全性[9-11]

1.2.1 改进的FCN

FCN是在卷积神经网络CNN的基础上,将特征提取网络中的全连接层改为卷积层,使其可以接受任意尺寸的输入图像。FCN网络图如图6所示,该模型分为编码、解码和输出3部分。输入1张大小为H×W的图像,首先通过4阶段的卷积池化编码,每个阶段由2个卷积层和1个最大池层组成,分别是H2×W2H4×W4H8×W8H16×W16,随后进行4阶段的解码,每个阶段由1个卷积层和1个反卷积层组成。解码阶段的特征映射将与编码阶段的特征映射连接起来,以重用低级特征。

由于FCN生成的密度图可能会高估头部数量,为此采用头部计数回归方法对FCN模型的输出值进行正则化,即针对FCN生成的人群密度图进行基于头肩模型的人数统计,将该结果反馈给人群密度图,通过对人群密度图不断回归调整,最后生成1张结合头肩模型的人群密度图。密度图回归及计数回归相结合流程图如图7所示。

基于头肩模型的人数回归法,将头部模型Hi(x)设定为二维高斯分布函数如下。

Hi(x)=j=1NiG(x| μijσ)

式中:G为二维高斯分布函数;x为密度图上的位置;Ni为第i张人群图像上的头部数量;μi,j为第i个人群图像上第j个头部的位置;σ为高斯分布的标准差。

为了更好地降低FCN对人群密度的高估,设定密度图回归的代价函数ED(W)如下。

ED(W)=12i=1NFxSM(xFi|W)-Hi(x)2

式中:NF为训练图像片段的个数;S为人群图像片段上的位置空间;M(xFi|W)基于FCN估计的人群密度图估计模型;Fi为第i个人群图像片段。

通过缩小头部数量估计值和真实值之间的差异校准密度图估计值[12-13]。计数回归的代价函数EC(W)表示如下。

EC(W)=12i=1NFCountigt-xSM(x,Fi|W)2

式中:Countigt为头部数量标注的真实值。

结合密度图回归和计数回归的总的代价函数表示如下。

EW=αEDW+βECW(αβ)(0.1100)

式中:αβ为用来规范化训练的超参数。

1.2.2 站厅客流态势感知模型

在获得站厅图像后,针对不同的场景区域进行客流态势感知,站厅客流态势感知算法流程图如图8所示。首先对输入图像进行预处理,包括去噪、增强等操作,以改善图像的质量,提高后续处理的效果;随后使用FCN基于景深注意力图像编码器对预处理后的图像进行处理,编码图像中的景深信息,自适应矫正全景摄像头畸变,得到密度图[14-16];接着进行景深分割,根据图像的清晰度、模糊度等视觉效果提取景深特征;最后依据获取的不同景深特征,结合头肩模型进行客流态势感知。

(1)进站口/检票口等近景场景。深度结合近景游荡人员头肩特征Hi(x)进行正则化调整,即通过识别和跟踪每个人的头部和肩膀特征,实时检测站内候车人员在安检口、售/检票口、自助票务设备等近景密集场景区域的排队情况,并据此提供票务设备和工作人员的智能调配方案和实时处置模型。例如,当某个检票口排队人数过多时,系统可以自动调配工作人员或增加自助票务设备,以减少等待时间并提高效率;当出现突发情况或异常行为时,实时处置模型也会快速提醒工作人员注意,并启动应急预案。

(2)候车厅/通廊等远景场景。由于该场景人群密度大,近景头肩特征误报率较高,为此提取远景游荡人员头肩特征Hi(x),结合基于景深注意力估计的人群密度图,估算大场景下的人群密度分布和移动态势。通过热力图及时提醒客运人员站内人群运动危险区域,为旅客安全候车和生产管理优化提供辅助决策支持,持续提升客运站智能化水平。

2 铁路客运站运营态势感知技术应用

铁路客运站运营态势感知技术目前已在京张高速铁路全线各站、郑州航空港站、昆明南站上线使用,在推动客运站智能化管理、提升智能化旅客服务水平、促进安全生产等方面取得显著成效。基于郑州航空港站视频数据,验证该技术的功能和性能。自郑州航空港站2022年6月20日开站至2023年底,共上线站台越线、端部防侵入、空闲站台遗留物和游荡人员徘徊检测、工作人员到岗及标准化作业检测、站厅客流量统计和检票口/安检区域排队检测等6项功能。在郑州航空港站内1 300多路高清摄像机中,选取站台和站厅内共97路视频,测试验证上述6项功能。

2.1 功能验证

在站台区域,选择1个站台面(2个站台)对站台越线、端部入侵、工作人员到岗及标准化作业检测、遗留物和游荡人员徘徊检测4项功能进行测试;在站厅区域,对整个候车室进行人群密度估计分析,选取1个检票口和进站区域进行排队检测验证。

2.1.1 站台区域

(1)站台越线。通过算法对站台白线内设置布防区域,并对布防区域进行识别检测,在列车进站并停稳前到列车离站后5分钟内,检测到布防区域内出现人体进入时,自动产生报警和警告;当列车停稳时,旅客正常上下车不触发告警。

(2)端部入侵。全天候对入侵站台端部的游荡人员进行身份识别,实现技术告警时排除工作人员的干扰。目前通过特殊服饰样本的训练,如识别黄绿马甲等服饰特征,区分出保洁人员、施工人员等。

(3)工作人员到岗及标准化作业检测。对接车组人员、保洁人员等进行到岗和标准化作业检测,判断其是否在指定时间内抵达规定位置,以及完成作业的标准化程度。

(4)遗留物和游荡人员徘徊检测。在站台空闲时间段(即列车离站5 min后,到下趟列车进站5min前),对全站台遗留物和游荡人员进行徘徊检测,并及时报警提示。

2.1.2 站厅区域

(1)客流密度。将整个站厅内的摄像头进行仿射变化、裁剪拼接形成一幅完整的人群密度图。根据事先设定的阈值,通过颜色反映人群密集程度,提醒工作人员进行核查,采取应急预案。

(2)排队检测。当售票窗口、闸机区域、安检区域排队旅客长度超过设定的阈值后,技术自动报警,提醒工作人员增加窗口,智能调配售检票设备,保障旅客出行舒适度。

经过功能测试验证,6项功能均可实现报警功能,同时报警信息及时关联手持机和小区广播,提升工作人员的工作效率,实现减员增效。标准化、规范化、多元化的服务手段,为旅客出行提供安全保障和便捷服务。站台异常行为检测模型现场报警图如图9所示,站厅客流运动态势分析模型现场报警图如图10所示。

2.2 性能验证

为了更好地分析模型性能,在测试视频中着重考虑影响模型性能的2个主要因素,人群密度和光照变化,根据人群密集程度及早、中、晚3个时间段,交叉构建不同场景,如早上人群密度高的场景、早上人群密度低的场景等,验证时采用误报率(False Positive Rate,FPR)和漏报率(False Negative Rate,FNR)评估2个模型的性能。

误报=实际为负样本被预测为正样本的数量实际为负样本的数×100%
漏报=实际为正样本被预测为负样本的数量实际为正样本的数×100%

性能测试结果如表1所示。各项功能的报警误报率和漏报率均低于5%,平均响应时间控制在毫秒级内。其中,工作人员到岗及标准化作业检测的误报率最低,主要原因是该功能检测区域较小,因此受到环境干扰因素较小,误报率较低,但是由于工作人员有时不完全按照作业计划进行作业,因此存在一定的漏报率;此外站台越线和端部防侵入检测漏报率最低,主要原因是这2项功能与旅客的候车安全息息相关,为此本技术将降低漏报率作为核心目标,因此在一定程度上误报率有所提升。

为了更好地验证“客运生产作业计划”对降低误报率的性能影响,通过客运生产计划对误报率的影响对照图进行对比验证。客运生产计划对误报率的影响对照图如图11所示。由图11可以看出,在不增加任何硬件成本投入的同时,与客运生产作业计划的结合确实降低了误报率。尤其是对于工作人员到岗及标准化作业检测功能,由于站台上的摄像头距离较远,成像的工作人员像素少、干扰因素多,如果不结合客运作业计划,该项功能几乎很难实现,即使增加硬件成本也很难达到预期效果。同理,站台越线、遗留物和游荡人员徘徊检测的性能提升,也与客运作业有密切关系。站台越线功能,结合生产作业计划,可全部消除列车停靠时的越线误报情况,让工作人员更好地关注列车到发前后的越线报警。遗留物和游荡人员徘徊检测,通过结合生产作业计划,在无作业的站台上完成检测工作,从业务的角度更好地区分了游荡人员和候车旅客、遗留物和旅客携带行李等,从而降低误报率,使得报警信息更有针对性。其他功能虽然性能提升不多,但是该数据的引入并未降低任何性能,因此结合“客运生产作业计划”在不增加硬件成本投入的基础上,保障了各项功能的性能提升。

3 结束语

基于智能视频分析的铁路客运站运营态势感知技术目前已在京张高速铁路全线各站、郑州航空港站、昆明南站等多个客运站上线应用,通过深度结合生产作业计划,基于AI人工智能算法,分别针对站台和候车厅,提出分时域多类型全目标跨场景的站台异常行为检测模型和基于跨域残差空间全卷积网络的站厅客流运动态势分析模型,实现站台越线、端部入侵、警戒区域徘徊、标准化作业、工作人员到岗、客流密度、排队等检测功能。未来,将继续深入研究智能视频算法,不断提升异常行为检测精度,实现视频分析结果与具体业务联动,使风险提示更及时。

参考文献

[1]

杜启亮,黄理广,田联房,. 基于视频监控的手扶电梯乘客异常行为识别[J]. 华南理工大学学报(自然科学版)202048(8):10-21.

[2]

DU QiliangHUANG LiguangTIAN Lianfanget al. Recognition of Passengers' Abnormal Behavior on Escalator Based on Video Monitoring[J]. Journal of South China University of Technology (Natural Science Edition)202048(8):10-21.

[3]

冯婷婷,葛华勇,孙家慧. 一种基于SSD与FRN相结合的密集连接行人检测算法[J]. 信息技术与网络安全202039(12):56-60,66.

[4]

FENG TingtingGE HuayongSUN Jiahui. A Densely Connected Pedestrian Detection Algorithm Based on the Combination of SSD and FRN[J]. Information Technology and Network Security202039(12):56-60,66.

[5]

杨 捷,成明盛. 视频分析技术在铁路视频监控工程中的应用探讨[J]. 通信与信息技术2010(6):82-85.

[6]

方 凯,刘玉鑫,杨恩泽,. 基于人群运动变化规律的异常行为检测算法[J]. 铁路计算机应用202130(7):39-43.

[7]

FANG KaiLIU YuxinYANG Enzeet al. Abnormal Behavior Detection Algorithm Based on Crowd Movement Change Rules[J]. Railway Computer Application202130(7):39-43.

[8]

李 瑞,李 平,马小宁,. 5G 环境下铁路视频图像智能化应用云边协同技术架构研究[J]. 铁道运输与经济202244(5):57-63.

[9]

LI RuiLI PingMA Xiaoninget al. Cloud-Edge Collaboration Technology Architecture of Intelligent Analysis with Railway Videos and Images in 5G Network[J]. Railway Transport and Economy202244(5):57-63.

[10]

SUN XZHU S HWU S Set al. Weak Supervised Learning Based Abnormal Behavior Detection[C/OL]. (2018-11-29)[2023-05-01].

[11]

王 军,夏利民. 基于深度学习特征的异常行为检测[J]. 湖南大学学报(自然科学版)201744(10):130-138.

[12]

WANG JunXIA Limin. Abnormal Behavior Detection Based on Deep-Learned Features[J]. Journal of Hunan University (Natural Sciences)201744(10):130-138.

[13]

LI W XMAHADEVAN VVASCONCELOS N. Anomaly Detection and Localization in Crowded Scenes[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence201436(1):18-32.

[14]

SRIVASTAVA NSALAKHUTDINOV R. Multimodal Learning with Deep Boltzmann Machines[C/OL]. (2014-01-01)[2023-05-01].

[15]

LIU PHAN S ZMENG Z Bet al. Facial Expression Recognition via a Boosted Deep Belief Network[C/OL]. (2014-09-25)[2023-05-01].

[16]

HE K MSUN J. Convolutional Neural Networks at Constrained Time Cost[C/OL]. (2015-10-15)[2023-05-01].

[17]

FEICHTENHOFER CPINZ AWILDES R P. Spatio-Temporal Multiplier Networks for Video Action Recognition[C/OL]. (2017-11-09)[2023-05-01].

[18]

HARA KKATAOKA HSATOH Y. Learning Spatio-Temporal Features with 3D Residual Networks for Action Recognition[C/OL]. (2018-01-22)[2023-05-01].

[19]

QIU Z FYAO TMEI T. Learning Spatio-Temporal Representation with Pseudo-3D Residual Networks[C/OL]. (2017-12-25)[2023-05-01].

[20]

DENG LYU D. Deep Learning:Methods and Applications[J]. Foundations and Trends® in Signal Processing20147(3):197-387.

[21]

PHILIP CHEN C L. Deep Learning for Pattern Learning and Recognition[C/OL]. (2015-08-20)[2023-05-01].

基金资助

中国国家铁路集团有限公司科技研究开发计划课题(K2023T003)

AI Summary AI Mindmap
PDF (4725KB)

0

访问

0

被引

详细

导航
相关文章

AI思维导图

/