集装箱正面吊人机安全防撞行人智能检测算法研究

杨广全 ,  杨旭 ,  史村

铁道运输与经济 ›› 2024, Vol. 46 ›› Issue (10) : 215 -222.

PDF (2732KB)
铁道运输与经济 ›› 2024, Vol. 46 ›› Issue (10) : 215 -222. DOI: 10.16668/j.cnki.issn.1003-1421.2024.10.24
运输安全

集装箱正面吊人机安全防撞行人智能检测算法研究

作者信息 +

Intelligent Pedestrian Detection Algorithm for Human-Machine Safety and Collision Avoidance of Container Reach Stacker

Author information +
文章历史 +
PDF (2796K)

摘要

针对集装箱装卸作业环境行人小目标检测精度较低以及行人检测易受背景干扰问题,提出了一种融合行人掩模的多尺度人机安全防撞行人智能检测模型。该模型以VGG-16作为主干网络,通过构建行人注意力模块和特征融合模块,将像素级行人注意力掩模与主干网络特征进行特征融合,增强小尺度行人的特征识别,显著减少了背景干扰,并将行人智能检测信息作为参数,提出基于标定法的人机距离测量方法,设计集装箱正面吊自动刹车执行机构,研发集装箱正面吊人机安全防撞行人智能预警系统,实际应用验证了集装箱正面吊人机安全防撞行人智能检测算法的有效性和可靠性,满足铁路货场行人小目标实时准确检测要求,能有效防止集装箱正面吊与行人相撞,避免人身伤亡事故发生。

Abstract

In view of the low accuracy of small pedestrian target detection in container loading and unloading operation environments and the susceptibility of pedestrian detection to background interference, an intelligent pedestrian detection model for multi-scale human-machine safety and collision avoidance integrating pedestrian masks was proposed. This model used VGG-16 as the backbone network and constructed pedestrian attention modules and feature fusion modules to fuse pixel-level pedestrian attention masks with the backbone network features. As a result, it enhanced the feature recognition of small-scale pedestrians, significantly reducing background interference. Intelligent pedestrian detection information was used as a parameter, and a human-machine distance measurement method based on the calibration method was proposed. The automatic brake actuator of the container reach stacker was designed, and an intelligent pedestrian warning system for human-machine safety and collision avoidance of the container reach stacker was developed. The practical application verified the effectiveness and reliability of the intelligent pedestrian detection model for human-machine safety and collision avoidance of container reach stackers, which met the real-time and accurate detection requirements of small pedestrian targets in railway freight yards, effectively prevented collisions between container reach stackers and pedestrians, and avoided personal injury accidents.

Graphical abstract

关键词

集装箱正面吊 / 人机安全 / 防撞 / 实时行人检测 / 卷积神经网络

Key words

Container Reach Stacker / Human-Machine Safety / Collision Avoidance / Real-Time Pedestrian Detection / Convolutional Neural Networks

引用本文

引用格式 ▾
杨广全,杨旭,史村. 集装箱正面吊人机安全防撞行人智能检测算法研究[J]. 铁道运输与经济, 2024, 46(10): 215-222 DOI:10.16668/j.cnki.issn.1003-1421.2024.10.24

登录浏览全文

4963

注册一个新账户 忘记密码

0 引言

集装箱装卸作业是一种动态、系统的作业过程,人机混合、立体交叉,气候、环境、设备、设施经常变化,存在着各种不安全因素,易发生人身伤亡事故[1-2]。集装箱正面吊是集装箱装卸的主型设备,特别在倒车、转弯作业时,由于司机视野盲区、疲劳驾驶、盲目追求效率及作业防护不到位、作业人员自我保护意识不强等复杂因素影响,造成人机相撞,轻则重伤,重则死亡[3-4]。因此,在集装箱正面吊装卸作业过程中如何通过技术手段避免人机碰撞伤亡,是铁路货运安全管理亟待解决的难题。

行人检测和识别是采用科技手段避免人机碰撞的基础。为保障港口地面作业人员的人身安全,李益琴提出了基于RFID技术的港口装卸作业人机安全预警系统,该系统要求地面作业人员随身配备预警设备,但对于进入装卸机械作业区域的其他人员不能起到保护作用[5]。随着机器视觉和智能技术的发展,利用计算视觉技术判断图像或视频流中是否存在行人并给予精确定位。由于行人兼具刚性和柔性,外观易受穿着、遮挡、姿态、光线和视角等影响,使得行人检测成为计算机视觉领域既具研究价值又极具挑战性的热门课题[6-7]

行人检测方法主要可分为基于手工制作特征的方法和基于深度学习获取特征的方法。基于手工制作特征的方法主要根据行人和背景的特征,应用Haar小波、方向梯度直方图等方法提取行人特征[8],最后利用支持向量机或增强分类器等方法判断是否存在行人,但这些传统方法鲁棒性不够,检测精度较低。基于深度学习获取特征的方法从图像原始像素中学习高级语义特征,在复杂背景下识别具有复杂姿态的行人时具有更强的辨别能力,显著提升了行人检测性能,如Faster R-CNN、YOLO系列算法、SSD系列算法等[9-12]

随着机器视觉发展和GPU计算能力提升[13],研究应用基于深度学习的集装箱正面吊人机安全防撞智能预警技术成为可能,也为人机防撞精准预警、防止装卸机械与人员相撞、避免人身伤亡事故发生提供了可靠技术手段。在集装箱装卸作业场景下,通过高清工业摄像机获取的作业场景图像,行人尺寸相对较小,行人目标尺度多,且相似度较高,特征提取难度较大,容易发生漏检、误检的可能。针对以上问题,提出一种融合行人掩模的多尺度人机安全防撞行人检测模型,其采用VGG-16骨干网络,构建行人注意力模块和特征融合模块,增强了行人的特征,显著减少了背景干扰,实现了行人识别定位的实时性和准确性。在此基础上,提出了人机距离测量方法,设计了集装箱正面吊自动刹车执行机构,研发了集装箱正面吊人机安全防撞行人智能预警系统。

1 图像采集标注

集装箱正面吊在露天环境中进行装卸作业,具有作业场景多变、背景复杂多样、光线明暗不均、视线遮挡等特点,均会对行人的检测和识别产生较大的影响。正面吊在铁路货场装卸集装箱时,为了保证集装箱装卸作业安全,按照《铁路货物装卸安全技术规则》的规定[14],要求辅助作业人员不得少于2人,辅助作业人员在集装箱正面吊作业区域内频繁交叉作业。集卡司机在集装箱装卸作业区域排队等待取送箱时,可能中途下车,也会暴露在集装箱装卸作业环境下。另外,与集装箱作业的无关人员也可能以步行、骑行等方式穿越集装箱作业区域,都可能形成人机碰撞安全隐患。有的货场集装箱装卸区域狭窄,集装箱堆存密集,全天光照不断变化,摄像机拍摄到的环境和行人存在光线过强或过暗问题,都会对行人识别造成影响。

为了获取装卸作业区域全天候的视频图像数据,在正面吊的车身尾部、侧方安装高清工业摄像机,覆盖正面吊后方和侧方的作业区域,采集保存正面吊全天候作业区域视频图像。该高清工业摄像机安装高度距地面约1.2 m,俯视角约80°,镜头焦距2.8 mm,镜头光圈F1.0,最小照度满足0.002 Lux,视频帧率25 f/s,分辨率为1 280像素×720像素。采集后的视频输入计算机进行处理,采用OpenCV函数将采集的装卸作业区域视频按帧提取,使用LabelImg工具标注行人边界框,标注时目标框应尽量紧贴目标,避免过大或者过小;标注的类别应准确,避免混淆或遗漏,最后形成铁路货场装卸作业环境行人标注数据集,并按照7∶2∶1划分训练集、验证集和测试集。

2 集装箱正面吊人机安全防撞智能预警技术方案

集装箱正面吊人机安全防撞智能预警技术方案包括视频采集模块、行人智能识别模块、测距模块、主控制器、刹车执行机构、报警显示模块和远程监测中心,集装箱正面吊人机安全防撞智能预警系统功能模块如图1所示。视频采集模块采集集装箱正面吊现场作业区域的视频流,所采集的视频流输入行人智能识别模块自动实时识别行人,输出行人边界框坐标,并在报警显示模块上高亮显示;同时将行人边界框坐标输入测距模块,测量人机距离;当人机距离小于报警距离时,报警显示模块预警提示司机注意行人安全,当人机距离小于停机距离时,主控制器自动发送停机指令,触发刹车执行机构刹车停机。该技术方案实现了装卸机械作业范围内行人智能预警,在司机未及时采取应急措施的情况下,实施装卸机械自动紧急制动,避免人机碰撞事故发生。

3 集装箱正面吊人机安全防撞行人检测算法

3.1 行人智能识别模型

在铁路集装箱装卸作业环境中,人多且杂,行人在图像中多呈现出小目标特征,行人尺寸和外貌变化较大。行人检测模型采用深度卷积神经网络,深度卷积神经网络的不同特征层可提取不同程度的语义信息,一般来说,高分辨率的浅层特征适用于小目标行人检测,而深层特征具有更大的感受野,包含更全局的语义信息,适用于大目标行人检测。为了保证行人检测的实时性和准确性,行人智能识别模型由卷积神经网络主网络、行人注意力模块和特征融合模块(Feature Fusion Module,FFM)组成。行人智能识别模型网络如图2所示,它以VGG-16模型作为主网络结构,删除了全连接层6和所有的分类层,将全连接层7改为卷积层,并随后增加1个卷积层,用来覆盖大尺度目标。行人检测模型的主网络结构共16层卷积,由卷积层1_2,卷积层2_2,卷积层3_3,卷积层4_3,卷积层5_3,代替全连接层7的卷积层6_1,卷积层7_2组成。由于所建立的主网络结构得到的特征图无法有效定位小尺度行人和识别人体部位,为此在主网络结构基础上,增加了行人注意力模块和特征融合模块,用于增强行人识别的准确性。

3.2 行人注意力模块

行人注意力模块为一个比例感知行人注意力模块,该模块更关注小尺度的行人,并通过像素注意力图引导特征图聚焦于特定比例的目标,生成细密的注意力掩模,将该掩模编码到卷积特征图中,增强了行人的特征,显著减少了背景干扰[15]。行人注意力模块以卷积层3_3和卷积层4_3为基础建立。首先卷积层4_3特征经一个最大池化层和3个卷积层,得到分辨率高、感受野大的卷积掩模层。然后卷积层3_3特征通过膨胀率为4的空洞卷积放大4倍、卷积层4_3特征通过膨胀率为8的空洞卷积放大8倍和所产生的卷积掩模层一起被缩减为3通道映射,再将3通道向上采样到图像大小后连接起来,通过3个1×1卷积层后,用softmax层分出小尺度行人掩模MSRW×H×1和大尺度行人掩模MLRW×H×1WH为输入图像的大小。

将小尺度行人掩模MS和大尺度行人掩模MLR通过点积编码到主网络的卷积层4_3、卷积层5_3、卷积层6_1、卷积层7_2的特征图中,形成多尺度行人纹理感知特征图。

F˜i=FiRMS,iiconv4_3conv5_3
F˜j=FjRML,jjconv6_1conv7_2

式中:RMS,iRML,j分别是将掩模MS、掩模ML调整为第ij层大小的掩模变换函数;是通道元素的卷积运算符。

3.3 特征融合模块

特征融合模块示意图如图3所示,它融合卷积层3_3、卷积层4_3和卷积层5_3的特征信息,不仅提升了模型的特征提取能力,而且增强了特征层之间的关联度,利用卷积层5_3获取周围信息的能力更强、而卷积层3_3获取局部细节的能力更强的特点,增强小尺度行人识别能力。卷积层3_3的特征图F3通过1×1核卷积选择特征,采用最大池化和双线性插值的下采样操作来协调特征图空间大小,再通过注意力掩模RMS,3生成特征图F˜3';卷积层5_3的特征图F5通过1×1核卷积选择特征,通过最大池化和双线性插值的上采样操作来协调特征图空间大小,再通过注意力掩模RMS,5生成特征图F˜5';卷积层4_3通过注意力掩模RMS,4生成特征图F˜4'。使用L2范数将特征图F˜3'F˜4'F˜5'规范化后连接起来,将连接后的特征图通过1×1卷积核进行降维和特征重组,形成专注于小尺度行人检测的特征图F˜4

卷积层5_3的特征图F5通过小尺度注意力掩模RMS,5生成特征图F˜5,卷积层6_1的特征图F6通过大尺度注意力掩模RML,6生成特征图F˜6,卷积层7_2的特征图F7通过大尺度注意力掩模RML,7生成特征图F˜7。最后,所生成的多尺度特征图F˜4F˜5F˜6F˜7用于行人检测,采用非最大抑制(NMS)与交叉比(IoU)阈值0.5过滤冗余检测,检测行人并标注行人位置。

3.4 损失函数设计

损失函数是有效训练行人检测模型,影响行人识别和行人定位准确性的关键因素。损失函数L表示为

L=Lconf+λlLloc+λmLmask

式中:Lconf为分类损失;Lloc为定位损失;Lmask为行人注意力掩模损失;设置λl=2λm=1Lconf分类损失采用二分类损失计算,Lmask采用softmax损失计算。而定位损失函数是衡量行人检测模型定位精度的指标,综合定位损失计算的研究成果,采用CIoU损失函数作为模型定位损失函数,它考虑了预测框和真实框的重叠区域面积、中心点欧式距离和长宽比,其表示为

Lloc=1-IoU+ρ2b,bgtc2+αυ

式中:IoU为预测框与真实框的交并比;bbgt分别为预测框和真实框的中心点;ρ2b,bgt为预测框与真实框中心点之间的欧式距离;c表示能够同时覆盖预测框与真实框的最小矩形的对角线距离;α=υ1-IoU+υ表示权重系数;υ=4π2arctanwgthgt-arctanwh2是衡量预测框与真实框长宽比的一致性。计算定位损失时,只计算正样本的定位损失。

3.5 行人智能识别模型训练与验证

行人智能识别模型采用工作站进行训练,操作系统采用Ubuntu18.04,显卡采用NVDIA RTX 3060,显存大小为24 GB,训练过程中设置Batch-size为16,初始学习率设置为0.000 1,使用SGD优化器调整网络的学习率,采用Mosaic数据增强将训练图像尺寸统一为1 280像素×1 280像素,训练时直到损失值不再变化,终止训练。

为了应用行人智能识别模型有效识别行人,需要对行人智能识别网络模型进行训练,训练的步骤如下。

(1)建立行人智能识别模型,并对网络参数初始化。

(2)选择训练样本,图像正负样本的比例为3∶1,输入图像大小为1 280像素×1 280像素。

(3)计算损失函数值,采用随机梯度下降算法(SGD)对行人识别网络模型进行端到端的训练,更新网络参数。

(4)将训练好的深度卷积神经网络模型作为行人智能识别模型,用于行人检测识别和定位,输出行人边界框坐标。

通过验证集和测试集对行人检测模型进行验证,结果表明,行人识别精度为98.1%,召回率为98.6%,平均精度均值mAP0.5为98.2%,单张图像的识别时间约10 ms左右。嵌入式环境下部署时,将工作站环境下训练好的行人智能识别模型权重文件输出为ONNX格式,再在节能小巧的英伟达NVIDIA Jetson TX2图像处理器环境下加速和优化处理,形成TensorRT引擎,提升模型的推理速度,推理速度小于300 ms,满足实时性识别要求。

3.6 人机距离测量

基于行人智能识别模型确定的行人边界框坐标,采用标定法测量行人与正面吊之间的距离。首先,在行人与正面吊等距处设置标定点,标定点设置如图4所示,标定点越密,等距曲线越准确;然后高清工业摄像机获取等距标定点在报警显示器上映射的坐标值;再采用3次B样条曲线对等距标定点进行插值,得到行人距离机械的等距曲线S1(x)和S2(x);最后行人边界框坐标代入等距曲线,判断行人所处的人机距离范围。集装箱正面吊的人机等距标定点一般设为10 m,15 m,也可以根据需求设置等距标定点,满足现场人机距离测量判断的需要。

测距模块以行人智能识别模块检测的行人i边界框坐标xmini,ymini,xmaxi,ymaxi为参数,代入报警等距曲线函数S1(x)和停机等距曲线函数S2(x),判断行人与正面吊之间的距离范围。人机距离判断示意图如图5所示,当ymaxi<S1xminiymaxi<S1xmaxi时,行人在预警区域之外;当S1xmini<ymaxi<S2xminiS1xmaxi<ymaxi<S2xmaxi时,行人进入报警区域,报警显示器进行二级报警;当S2xmini<ymaxiS2xmaxi<ymaxi,行人进入停机区域,报警显示器进行一级预警,并向主控制器发送停机指令,主控制器控制集装箱正面吊停机。

刹车执行机构由拉线电机、定滑轮、钢丝绳组成,钢丝绳经定滑轮改变运动方向,其一端系固在正面吊的制动踏板上,另一端系固环绕在拉线电机上,当主控制器收到停机信号后,发送指令给拉线电机,拉线电机动作,拉下制动踏板,正面吊被刹停,起到保护行人人身安全的目的。当人工踩下制动踏板,解除制动状态。刹车执行机构示意图及现场安装图如图6所示。

4 应用实例

利用集装箱正面吊人机安全防撞智能检测算法,采用嵌入式设计,研究设计了集装箱正面吊人机安全防撞智能预警系统,该系统由高清工业摄像机、图像处理器、报警显示器、远程传输单元、远程监测中心、卫星车载定位模块和自动刹车执行机构等组成。在实际应用时,考虑到辅助作业人员为确保作业安全,经常处于集装箱作业区域内辅助作业,为了避免正面吊频繁自动刹车,影响作业顺畅性和设备安全,设定正面吊侧方2 m以内、后方3 m以内为一级预警区域,正面吊侧方2~15 m、正面吊后方3~15 m为二级预警区域,当正面吊在倒挡条件下且处于一级预警时,刹车控制器立即执行刹车,当司机踩踏板时自动刹车解除。行人识别和报警显示如图7所示,其为从远程监测中心调用的集装箱正面吊装卸作业人机冲突照片,由4台高清工业摄像机拍摄集装箱正面吊两侧和后方图像,图7中黄线表示15 m等距曲线,红线表示正面吊侧方2 m、后方3 m等距曲线,黄线和红线之间包络的区域为一级报警区域,红线以内的区域为二级报警区域,行人由红色边界矩形框定位。图7a为行人处于集装箱正面吊左后方的二级报警区域,图7b为行人处于集装箱正面吊左侧一级报警区域。经现场验证,行人识别实时准确,自动刹车执行机构动作迅速可靠。

5 结束语

针对集装箱装卸作业环境行人小目标检测精度较低以及行人检测易受背景干扰问题,提出了一种融合行人掩模的多尺度人机安全防撞行人检测模型。该模型以VGG-16作为骨干网络,引入行人注意力模块和特征融合模块,将像素级行人注意力掩模与主干网络特征进行特征融合,增强了小尺度行人的特征识别,显著减少了背景干扰,并将行人检测识别信息作为参数,提出人机距离测量方法,设计正面吊自动刹车执行机构,研发了集装箱正面吊人机安全防撞行人智能预警系统,实际应用验证了人机安全防撞行人智能检测算法的有效性和可靠性,满足铁路货场行人小目标实时准确检测要求,能有效防止集装箱正面吊与行人相撞,避免人身伤亡事故发生。

参考文献

[1]

张铁钢.铁路货运安全风险管理体系优化探讨[J].铁道货运202139(3):1-5.

[2]

ZAHNG Tiegang.Discussion on Optimization of Risk Management System for Railway Freight Safety [J].Railway Freight Transport202139(3):1-5.

[3]

李思佳,孔德顺,姜会增.基于正面吊计量检测的集装箱装卸作业信息化研究与应用[J].铁道运输与经济202345(3):103-110.

[4]

LI SijiaKONG DeshunJIANG Huizeng.Research and Application of Container Handling Information Based on Measurement and Detection of Reach Stacker[J].Railway Transport and Economy202345(3):103-110.

[5]

杨广全,杨旭,史村.铁路货物装卸机械人机安全防撞智能预警系统设计[J].铁道货运202442(1):26-30.

[6]

YANG GuangquanYANG XuSHI Cun. Design of the Human Machine Safety and Collision Avoidance Intelligent Warning System for Railway Freight Loading and Unloading Machinery[J].Railway Freight Transport202442(1):26-30.

[7]

杨广全,杨 旭.铁路集装箱正面吊技术发展方向研究[J].铁道货运202139(3):32-36,41.

[8]

YANG GuangquanYANG Xu. Technical Development of Direction of Reach Stacker for Railway Container[J]. Railway Freight Transport202139(3):32-36,41.

[9]

李益琴. 基于RFID技术的港口装卸作业安全预警系统[J].集装箱化201526(11):24-26.

[10]

潘晓英,贾凝心,穆元震,. 小目标检测研究综述[J].中国图像图形学报202328(9):2587-2615.

[11]

PAN XiaoyingJIA NingxinMU Yuanzhenet al. Survey of Small Object Detection[J]. Journal of Image and Graphics202328(9):2587-2615.

[12]

耿艺宁,刘帅师,刘泰廷,. 基于计算机视觉的行人检测技术综述[J].计算机应用202141(S1):43-50.

[13]

GENG YiningLIU ShuaishiLIU Taitinget al. Survey of Pedestrian Detection Technology Based on Computer Vision[J]. Journal of Computer Applications202141(S1):43-50.

[14]

DALAL NTRIGGS B. Histograms of Oriented Gradients for Human Detection[C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway:IEEE,2005:886-893.

[15]

REN SHE KGIRSHICK Ret al. Faster R-CNN:Towards Real-time Object Detection with Region Proposal Networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence201639(6):1137-1149.

[16]

REDMON JDIVVALA S,GIRSHICK,et al. You Only Look Once: Unified,Real-Time Object Detection[C]//Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway,N.J.:IEEE Press,2016:779-788.

[17]

LIN CLU JZHOU J. Multi-Grained Deep Feature Learning for Robust Pedestrian Detection[J]. IEEE Transactions on Circuits and Systems for Video Technology201929(12):3608-3621.

[18]

LIU WANGUELOV DERHAN Det al. SSD:Single Shot Multibox Detector[C]//The 14th European Conference on Computer Vision. Amsterdam:Springer,2016:21-37.

[19]

傅荟瑾,史天运,王 瑞,. 基于深度学习的京张高速铁路周界图像智能识别系统构建研究[J].铁道运输与经济202244(5):64-72.

[20]

FU HuijinSHI TianyunWANG Rui. Research on Construction of Intelligent Image Recognition System for Beijing-Zhangjiakou High Speed Railway Perimeter Based on Deep Learning[J].Railway Transport and Economy202244(5):64-72.

[21]

中国铁路总公司. 铁路货物装卸安全技术规则 [S]. 北京:中国铁道出版社,2016:48-50.

[22]

CHEN L CPAPANDREOU GKOKKINOUS Iet al. Deeplab:Semantic Image Segmentation with Deep Convolutional Nets,Atrous Convolution,and Fully Connected CRFs[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence201840(4):834-848.

基金资助

中国铁道科学研究院集团有限公司科研项目(2022YJ314)

AI Summary AI Mindmap
PDF (2732KB)

0

访问

0

被引

详细

导航
相关文章

AI思维导图

/