基于违禁品检测和人脸表情识别的铁路客运站安检风险评估技术研究

Risk Assessment Mechanism of Security Inspection in Railway Passenger Station Based on Prohibited Substance Detection and Facial Expression Recognition

摘要

随着我国高速铁路的快速发展和客流量日益增长，铁路客运安全风险事件发生的概率逐年升高，仅靠安检值机人员辨识风险已无法满足需求。为了更好地评估车站安全风险，降低车站安全评估对人力的依赖，提出基于深度学习的旅客及物品安检风险评估机制。首先采用训练好的YOLOv5s模型对安检X光照片中的违禁品进行检测；其次使用训练好的ResNet50模型对车站安检机出口的人脸表情进行识别；最后建立了违禁品检测和人脸表情识别相结合的旅客及其所携物品风险评估机制。仿真结果表明，所采用的方法可以较准确地检测和识别出违禁品以及人脸表情，所提出的风险评估机制降低了安检过程对人力的依赖，可以帮助车站工作人员预防安检风险。

Abstract

With the rapid development of high speed rail and the flow of people in railway stations increasing, the probability of risk events in the railway system is also increasing. It is no longer sufficient to rely on security personnel to identify risks. To better assess station safety risks and reduce the dependence of station safety assessment on manpower, this paper proposed a risk assessment mechanism for station personnel and items based on deep learning. First, the trained YOLOv5s model was adopted to detect dangerous goods in security X-ray photos. Secondly, the trained ResNet50 model was applied to recognize the facial expressions at the exit of the station security inspection machine. Finally, the paper established a risk assessment mechanism for station personnel and items that combined dangerous goods detection and facial expression recognition. The simulation results show that the adopted method can more accurately detect and recognize dangerous objects and facial expressions. The proposed risk assessment mechanism reduces the reliance on manpower in the security inspection. It can comprehensively help station staff prevent security inspection risks and provide a guarantee for the safety of the station.

Graphical abstract

关键词

智能交通 / 风险评估 / 目标检测 / 违禁品 / 铁路运输 / 表情识别

Key words

Intelligent Transportation / Risk Assessment / Target Detection / Dangerous Goods / Railway Transportation / Facial Expression Recognition

0　引言

近年来，我国高速铁路迅速发展，铁路已经成为旅客出行的主要交通方式，铁路客流量日益增加，铁路客运站的管理越来越困难，车站安全风险发生的概率越来越大，因此需要通过科学的方法预估铁路车站安全风险，确保旅客出行安全^[1]。

目前已有大量学者对安全风险的评估以及模型的构建进行研究。李德龙等^[2]构建了基于白名单制度的防爆博弈模型，对推进安检系统白名单制度的实施具有一定的启发；史天运等^[3]模拟了安检的真实场景，优化了风险阈值以及安检通道配置数，有效提高了安检效率；杨益兴等^[4]使用AnyLogic软件建立了安检系统仿真模型，并优化了安检尾部拥挤等问题；罗跃等^[5]采用层次分析法分析风险权重，采用可拓理论安全风险评价方法，较为准确地分析了车站安全等级。庄艳辉等^[6]将模糊petri网理论与动态权重相结合，更加合理地评估了车站的安全风险。

以上方法多数以安检设备状态、配备质量来评估铁路安检风险，缺少违禁品风险等级和旅客个人风险的分析。伴随着新一代科技与铁路业务结合，在智能铁路客运站发展目标下，铁路安检系统智能化有待提高^[7]，通过与人工智能结合来强化安检违禁品智能识别、人员风险评估等功能，有助于提高安检查处效率，是铁路安检发展的重要趋势之一^[8-9]。针对以上问题，构建基于YOLOv5s的安检违禁品模型，实现6种违禁品的自动识别；在安检仪出口采集旅客人脸表情，设计基于ResNet50的旅客表情识别模型，提出违禁品检测和人脸表情相结合的车站人员物品风险评估机制；仿真结果表明，所提出的车站人员物品风险评估机制可以准确、综合地协助车站工作人员发现安检风险。

1　安检过程危险物品检测

1.1　YOLOv5算法

目前，最主流的目标检测算法主要包括2种，一种是基于检测帧和分类器的两阶段算法，如RCNN^[8]，Fast RCNN^[9]和Faster RCNN with RPN^[10]等，它们的主要问题是网络结构太复杂，检测速度太慢。另一种是基于回归的一步算法，如SSD^[11]，YOLOv4^[12]和YOLOv5^[13]等。其中YOLOv5模型凭借其定位准确、模型结构精简及运行速度快的特点，表现出明显超出其他算法的性能优势和检测效果。

所研究的目标测试算法面向铁路安全检查环境下的X光安检图像，并要求建模轻量、检测速率快、并且能应用于线上或嵌入式的系统开发。因此，选用YOLOv5系列中最轻量化、深度最小、特征图宽度最小的YOLOv5s来进行危险物品检测。YOLOv5s模型结构如图1所示^[14]，该结构分为4个部分：输入、主干网络(Backbone)、Neck网络和输出(Prediction)。

1.2　安检物品数据集

基于铁路安检背景，采用SIXray数据集，该数据集中共有1 059 231张X射线照片，这些X射线照片采集于多个铁路客运站，并包含6种类别的危险物品：枪、刀、扳手、钳子、剪刀和锤子^[15]。这些危险物品的分布与真实的铁路安检现场一致。根据该数据集的统计数据，得到危险物品类别统计如图2所示。将数据集中8 000多张已标注的危险物品照片进行训练测试，数据以7∶3的比率随机分为训练集和测试集。每张照片都通过安检仪扫描获得，安检仪对不同材料的物品分配以不一样的颜色。所有的照片均为JPG格式，平均每张照片大小为200 K像素。

1.3　危险物品检测仿真结果

危险物品识别模型选用YOLOv5s算法，模型采用随机梯度下降法训练(SGD)，学习率为0.01，YOLOv5s模型参数如表1所示。

在目标检测任务的训练过程中常常选用目标函数损失(Objectness Loss)和广义交集损失(GIOU)作为评价指标，通过损失函数整体地评价危险物品检测模型检测结果与实际标签的差距。目标函数损失为YOLOv5s目标检测损失均值，其值越小则危险物品识别越准确。广义交集损失可以度量预测框和真实框之间的重叠程度，是一种位置损失，其公式如下。

L_{GIOU}=\mathrm{1}-IOU(A,B)+|C-A\bigcup B|/|C|⑴

式中：L_{GLOU}为广义交集损失；A为预测的框；B为真实的框；IOU为A和B之间交并比之差；C为A，B两框的最小外框。

YOLOv5s模型在训练过程中的危险物品检测损失函数收敛曲线如图3所示，从图3中可以看出，当迭代达到150次时，广义交集损失趋于稳定在0.025左右，目标函数损失趋于0.014左右。从分析结果可以看出，网络在训练阶段表现良好。将训练好的YOLOv5s模型与常用的目标检测算法：SSD算法和Fast RCNN算法进行对比实验，YOLOv5s的均值平均精度(mean Average Precision，map)可达93.45%，而SSD算法的map为69.79%，Fast RCNN算法的map为74.78%。测试集部分图片检测结果如图4所示。从图4中可以看出，所采用的模型可以准确地识别出X光照片中的危险物品。仿真结果表明YOLOv5s模型整体定位准确，识别效果理想，可用于风险评估系统中进行危险物品检测。

2　铁路系统人脸表情识别

2.1　ResNet50算法

随着人工智能的不断发展，深度学习算法结构的深度不断增加，但其性能反而没有随着层数的增加获得很大的提升。何恺明于2015年提出ResNet^[16]，通过残差块中的捷径链接，弥补了网络层数加深造成的危害，为深度神经网络层数的进一步加深提供了可能。

研究使用ResNet50对表情进行识别。ResNet50分别由输入端、阶段1至阶段5的残差层和输出端组成，ResNet50模型结构如图5所示^[17]。卷积层作用为归一化并加速收敛；激活函数采用线性整流激活函数；池化层使信息传输得更为完整；全连接层作用为降维，负责卷积层至全连接层之间的过渡。

2.2　人脸表情数据集

扩展Cohn Kanade (CK+)数据集是人脸表情识别研究中最常用的数据集之一^[18]。根据铁路安检时可能发生的从坏到好的各种情绪，从中选取了8 197张表情图片，包括害怕、愤怒、悲伤、惊讶、平静、高兴6种表情，并将数据以7∶3的比率随机分为训练集和测试集，其中数据库中6种表情示意图如图6所示。

2.3　表情识别仿真结果

表情识别部分使用ResNet50模型对危险表情进行识别。ResNet50模型训练采用Adam优化器，学习率为0.001，ResNet50模型参数如表2所示。

本实验选择交叉熵损失函数作为模型训练过程的损失函数。交叉熵损失函数是表情分类中广泛应用的损失函数，常与softmax函数结合，具体计算公式如下。

L_{CE}=\frac{\mathrm{1}}{N}{\displaystyle \sum _i^{}}-\left[y_i\cdot \mathrm{l}\mathrm{g}\left(p_i\right)+\left(\mathrm{1}-y_i\right)\cdot \mathrm{l}\mathrm{g}\left(\mathrm{1}-p_i\right)\right]⑵

式中：L_{CE}为交叉熵损失函数；y_i为真实样本标签；p_i为预测输出；i为轮次。

利用ResNet50模型训练的表情识别损失函数收敛曲线如图7所示。可以看出，训练过程结束时交叉熵损失函数趋于稳定，损失值趋于0.086左右，表明模型在训练过程表现较好。将所采用的方法与表情分类常用的GoogLeNet算法和AlexNet算法进行对比：ResNet50模型准确率为96.7%，GoogLeNet算法的准确率为87.88%，AlexNet算法的准确率为87.31%，仿真结果表明ResNet50模型准确率高于其他2种算法，分类效果较好，可以稳定准确地识别出人脸表情，这有助于准确地预估铁路系统未知的风险，可以将此训练好的ResNet50模型用于风险评估系统中对危险表情进行识别。

3　车站人员物品风险评估机制

为了更加全面地评估铁路安检系统风险，车站人员物品风险评估系统结构设计参照《铁路安全管理条例》规定：“旅客应当接受并配合铁路运输企业在车站、列车实施的安全检查，不得违法携带、夹带管制器具，不得携带、托运烟花爆竹、枪支弹药等危险物品或者其他违禁物品”。利器、钝器是确定性的指标，然而威胁旅客安全却是一个较为模糊的概念。为了更加科学地判断铁路安检过程威胁旅客安全风险的程度，将危险表情识别与危险物品检测相结合纳入铁路安检风险评估考察范围内。风险评估机制系统流程如图8所示。在铁路风险评估系统中，枪、刀和剪刀对旅客有着极大的危险性，是绝不允许带进车站的，一旦检测出立刻发出A级风险预警；若检测出扳手、钳子、锤子这些工具类的钝器，同时在安检机出口拿包处附近的摄像头拍下人脸照片并识别出害怕、愤怒、悲伤、惊讶4类危险表情时，这些物品威胁旅客安全的概率大大提高，系统同样发出A级风险预警，同时通过安检仪放取包摄像头记录旅客放取包动作，通过时间戳将旅客放取包图像与X光图像进行关联。当未识别出危险表情则发出B级风险预警；若未检测出任何危险物品，但安检机出口人员的脸部表情识别出害怕、愤怒、悲伤、惊讶4类危险表情，则发出C级风险预警；若未检测出危险物品以及危险表情，则为无风险，按照正常流程进行安检。车站安保人员根据风险预警程度和车站的实际情况采取相应的措施。此风险评估机制减少了人力的消耗，对车站工作人员预防未知的安检风险起到一定的帮助作用。

4　结束语

针对安检查处对人力依赖大的问题，采用YOLOv5s模型对安检X光照片中违禁品自动检测，协助安检作业人员发现行李中的违禁品，为了更加快捷地判断铁路安检过程旅客威胁安全风险的程度，构建了基于ResNet50模型的旅客表情识别模型对车站安检仪出口的人脸表情进行识别，建立了基于YOLOv5s模型的X光违禁品物品检测和人脸表情识别相结合的车站人员物品风险评估机制。仿真结果表明，所采用的方法可以较准确地检测和识别出违禁品和旅客面部表情。所提出的基于深度学习的旅客及物品安检风险评估机制可以准确识别出安检查处过程中存在的风险，有效地帮助车站工作人员预防安检风险，降低车站安全评估对人力的依赖，为车站安全保障提供支持。

参考文献

[1] 戴贤春，焦志恒，李子华，等. 铁路旅客安检系统现状及发展研究[J]. 铁道技术监督，2016，44(1)：1-5，9.

[2] DAI Xianchun， JIAO Zhiheng， LI Zihua，et al. Study on Status Quo and Development of Railway Passenger Security Inspection System[J]. Railway Quality Control，2016，44(1)：1-5，9.

[3] 李德龙，刘德海. 基于白名单的地铁涉恐防爆安检序贯博弈模型[J]. 系统工程理论与实践，2021，41(11)：2975-2991.

[4] LI Delong， LIU Dehai. Sequential Game Model of Subway Security Inspection in Terrorism Related Explosion Protection Based on White List[J]. Systems Engineering-Theory & Practice，2021，41(11)：2975-2991.

[5] 彭凯贝，史天运，伍柳伊，等. 基于旅客风险分类的安检流程研究[J]. 中国安全生产科学技术，2020，16(5)：143-149.

[6] PENG Kaibei， SHI Tianyun， WU Liuyi，et al. Study on Security Inspection Procedures Based on Risk Classification of Passengers[J]. Journal of Safety Science and Technology，2020，16(5)：143-149.

[7] 杨益兴，张　瑞，宋　霖. 考虑旅客携带行李的高铁站安检系统仿真优化[J]. 山东交通学院学报，2021，29(3)：39-49.

[8] YANG Yixing， ZHANG Rui， SONG Lin. Simulation Optimization of Security Inspection System of High-Speed Railway Station Based on Passengers' Luggage[J]. Journal of Shandong Jiaotong University，2021，29(3)：39-49.

[9] 罗　跃. 广州地铁典型车站客流特征分析与客流安全控制方法研究[D]. 广州：华南理工大学，2020.

[10] 庄艳辉. 基于模糊Petri网的高铁客运站客运安全风险评估及控制优化研究[D]. 北京：北京交通大学，2018.

[11] 张春家，史天运，吕晓军，等. 铁路智能客运车站总体框架研究[J]. 交通运输系统工程与信息，2018，18(2)：40-44，59.

[12] ZHANG Chunjia， SHI Tianyun， LV Xiaojun，et al. A General Framework for Intelligent Railway Passenger Station[J]. Journal of Transportation Systems Engineering and Information Technology，2018，18(2)：40-44，59.

[13] 史天运，彭凯贝. 增强型智能铁路客运车站架构及关键技术[J]. 铁道运输与经济，2021，43(4)：72-79.

[14] SHI Tianyun， PENG Kaibei. Overall Architecture and Key Technologies of Enhanced Intelligent Railway Station[J]. Railway Transport and Economy，2021，43(4)：72-79

[15] 李　超，陈庚荣，左才为. 物联网在高速铁路智能客站中的应用研究[J]. 铁道运输与经济，2021，43(10)：48-54，89.

[16] LI Chao， CHEN Gengrong， ZUO Caiwei. Applications of Internet of Things to Intelligent Railway Passenger Stations[J]. Railway Transport and Economy，2021，43(10)：48-54，89.

[17] CHEN C Y， LIU M Y， TUZEL O，et al. R-CNN for Small Object Detection[C]//Computer Vision-ACCV 2016. Cham：Springer International Publishing，2017：214-230.

[18] GUO M H， XU T X， LIU J J，et al.Attention Mechanisms in Computer Vision：A Survey[J].Computational Visual Media，2022，8(3)：331-368.

[19] FATTAL A K， KARG M， SCHARFENBERGER C，et al. Saliency-Guided Region Proposal Network for CNN Based Object Detection[C]//2017 IEEE 20th International Conference on Intelligent Transportation Systems (ITSC). October 16-19，2017，Yokohama，Japan. IEEE，2018：1-8.

[20] LIU W， ANGUELOV D， ERHAN D，et al. SSD：Single Shot MultiBox Detector[C]//European Conference on Computer Vision. Cham：Springer，2016：21-37.

[21] TAN L， LV X Y， LIAN X F，et al. YOLOv4_Drone：UAV Image Target Detection Based on an Improved YOLOv4 Algorithm[J]. Computers & Electrical Engineering，2021，93：107261.

[22] 于　娟，罗　舜.基于YOLOv5的违章建筑检测方法[J]. 计算机工程与应用，2021，57(20)：236-244.

[23] YU Juan， LUO Shun. Detection Method of Illegal Building Based on YOLOv5[J]. Computer Engineering and Applications，2021，57(20)：236-244.

[24] 廖 强，王 宇.基于迁移学习ResNet50的表情识别[J].中国科技信息，2023(9)：89-92.

[25] YAN B， FAN P， LEI X，et al.A Real-Time Apple Targets Detection Method for Picking Robot Based on Improved Yolov5[J].Remote Sensing，2021，13(9)：1619.

[26] HE K M， ZHANG X Y， REN S Q，et al. Deep Residual Learning for Image Recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).June 27-30，2016，Las Vegas，NV，USA. IEEE，2016：770-778.

[27] 王文成，蒋　慧，乔　倩，等. 基于ResNet50网络的十种鱼类图像分类识别研究[J]. 农村经济与科技，2019，30(19)：60-62.

[28] LUCEY P， COHN J F， KANADE T，et al. The Extended Cohn-Kanade Dataset(CK)：A Complete Dataset for Action Unit and Emotion-Specified Expression[C]//2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition-Workshops. June 13-18，2010，San Francisco，CA，USA. IEEE，2010：94-101.

基金资助

国家自然科学基金项目(61972016)

北京经纬信息技术有限公司科研项目(DZYF23-30)