铁路车站信号平面布置图是用于详细展示车站内信号系统布局和配置的专业技术图纸,是开发、施工和运维计算机联锁系统的必备数据
[1]。然而,不同单位遵循的设计规范不同,导致图纸内设备图元形态各异,目前,对于JPG,PDF格式或纸质版图纸通常依赖人工方法来测算信号设备的位置,以获取联锁配置数据,这种做法限制了联锁软件在信息获取方面的通用性和效率。此外,与铁路异物入侵检测和轨道疲劳识别等任务相比,信号平面布置图的图像识别面临更多挑战。图纸中的设备虽纹理相似,但类型多样,且以复杂的形式交错排列。为满足实际工程建设需求,要求识别系统不仅能准确识别纹理相似但用途不同的多种信号设备,还要采用有效的图像处理技术对图纸的细节特征进行充分提取。因此,开发1种能够自动化、高精度地从信号平面布置图中提取信号设备信息的技术,对于提升联锁软件搭建的效率和准确性具有重要意义。
近年来,随着计算机技术和深度学习技术的不断发展,国内外学者对信号平面布置图的识别及铁路领域内各种图像识别任务开展了研究。罗宏伟等
[2]搭建了1个从站前到站后集成了数据联动功能的一体化软件平台,实现了内部数据的规范化处理。张天祖等
[3]利用基于AutoCAD软件的Visual LISP工具,通过规则算法识别图形符号共性,实现了简易车站图形符号的信息识别。龙芳等
[4]通过数据挖掘方法对信号平面布置图进行信息提取,应用聚类算法获得图例分类数据,实现了从图纸端到软件端的信息标准化和规范化提取。王飞
[5]在对图像进行采集、降噪及位移校正等预处理后,利用HSV模型提取区域中的颜色特征并输入BP神经网络,获取了站场信号设备静态属性。
除此之外,图像识别技术在铁路中的应用也愈发成熟
[6]。周权等
[7]通过改进双阶段Faster RCNN目标检测算法实现建筑构件信息的自动提取。杨墨逸等
[8]提出1种优化的Cascade RCNN算法,并结合数字图像处理技术有效识别风管平面图纸中的设备类别和位置信息。Kashevnik等
[9]使用单阶段YOLOv5模型,通过在初次卷积结果上添加下采样层,解决了高分辨率图像输入卷积窗口的难题。王卫东等
[10]提出基于改进Faster RCNN的无砟轨道板表面裂缝图像检测方法,实现了对板面裂缝的高速、高精度和动态性检测。Staino
[11]通过YOLOv5算法对路边信号灯图像进行自动检测,为复杂线路环境下的自动驾驶研究提供了技术支持。吴永军等
[12]结合基于傅里叶变换的图像语义增广方法和YOLOv8算法,构建了针对钢轨表面缺陷实例分割的高效检测模型。总体而言,车站信号平面布置图的信息提取技术目前仍处于发展阶段,现有技术在两个方面存在局限:一是尚未完全实现智能化检测,二是在处理包含高密度、多种类信号设备的复杂图纸时,识别的精确率较低。
针对车站信号平面布置图复杂信息的充分提取问题,本研究提出改进的YOLOv8s(SER-YOLOv8s)信息提取方法,通过多种数据增强算法,构建图纸增广数据集。鉴于复杂车站布置图的尺寸大且部分设备纹理相似但分布集中的特点,利用空间及通道重建卷积(Spatial and Channel Reconstruction Convolution,SCConv)
[13]改进C2f单元,筛选空间和通道内有代表性的特征,进而提高识图效率,并引入高效多尺度注意力模块(Efficient Multi-Scale Attention, EMA)
[14],增强图纸特征的多尺度融合,同时结合感受野注意力卷积(Receptive-Field Attention Convolution,RFAConv)
[15],对每个感受野生成特有的注意力图,提高对图内密集设备的信息提取能力,实现图纸内信号设备的自动识别及区域定位。
1 YOLOv8算法原理
YOLOv8是1种基于神经网络的目标检测算法,其架构由主干网络、颈部网络和输出3个核心部分组成,其算法结构如
图1所示。主干网络负责从输入图像中提取特征并转换为高级别特征表示,其由跨阶段网络单元(CSP1_
X)和空间金字塔池化模块(Spatial Pyramid Pooling Fast,SPPF)组成(其中
X为Resunint模块的数目),CSP1_
X由多个残差结构的Bottleneck模块组成,以获得更多梯度流信息并提高检测精度。SPPF模块通过串联3个5×5的卷积进行池化处理,在通道维度上实现局部和全局特征的融合。颈部网络中绿色和红色部分分别为具有上采样模块的特征金字塔网络和自底向上的路径聚合网络,其强化了不同维度特征的融合,并通过跳跃连接实现了跨层级的特征整合,从而提高不同尺度目标的检测能力。输出端通过对3种不同尺度的输出特征进行损失计算和检测框筛选,以得到不同目标的置信度和位置坐标。YOLOv8的模型损失由分类和回归两部分组成,分类损失采用二元交叉熵损失函数,回归损失则结合了分布焦点损失
[16]和完全交并比损失
[17],YOLOv8根据3个损失函数加权的分数选择正样本,以确保检测结果的准确性。
所提方法采用YOLOv8s作为原始模型,以控制模型复杂度,并满足检测需求。为实现真实车站信号平面布置图的识别,结合图纸尺寸、信号设备相似性及分布等特点,对原始模型进行改进。
2 改进的YOLOv8s算法框架
2.1 引入SCConv模块
车站信号平面布置图的特征提取过程中,由于图纸内存在大量如双动道岔、调车信号机和绝缘节等重复出现的设备,卷积操作会提取出较多相似的特征图,导致冗余特征增多,增加了模型的训练时长和计算需求。因此,在原始模型中引入SCConv模块并与C2f模块结合形成SCC2f_
n单元(其中
n为SCConv模块的数目),以针对重复率高、特征图相似性大的信号设备识别,进而提高计算效率。SCC2f_
n单元结构如
图2所示,输入特征首先经1个CBS卷积块特征提取,随后按通道维度分离为2条分支的输入特征,1条分支经SCConv模块特征提取后与另一条分支特征跳层连接,以实现跨尺度卷积融合,并最终通过1个CBS卷积块获得SCC2f_
n残差单元的输出特征,该结构可进一步压缩模型并提取更多特征。
SCConv模块结构如
图3所示,由空间重构单元和通道重构单元两部分串联组成,能够在信号设备的特征提取中有效利用空间和通道冗余信息,减少冗余特征和模型参数的数量。图纸经先前卷积特征提取后,为增强空间特征表示,其特征
X先通过空间重构单元,应用组归一化的缩放因子对不同信息量的图纸特征进行分离,接着采用交叉重建的方法对不同特征进行融合,以对空间冗余特征进行筛选,进而在节省空间的同时,得到1组在空间维度上更为细化且信息量更丰富的空间细化特征
。随后,为减少通道间的冗余特征,
经通道重构单元从通道维度对特征进行分离,并采用分组卷积和逐点卷积模块进行特征提取,将权重向量与输出特征进行加权求和后,得到通道细化特征
Y。最终,细化后的特征经1×1卷积降低通道数,与原始特征
X通过卷积残差连接的方式逐元素求和,以增强模型对关键信号特征的捕捉能力。
2.2 嵌入EMA模块
在对车站信号平面布置图进行目标检测时,由于信号设备具有细粒度复杂性,包含大量形态相似的进站、出站和调车信号机,以及组成结构相同但岔尖朝向不同的单动和双动道岔,部分站场的弯股定位问题导致相关设备发生尺度、旋转变化,使得原始模型难以提取目标特征。为解决该问题,在主干网路和颈部网络中嵌入EMA注意力模块,该模块能够为重要特征分配更高的权重,使模型更好的处理重要特征与检测任务之间的关系,提高模型对信号设备的检测精度,EMA模块结构如
图4所示,图中
C,
H和
W代表通道数以及输入的高度和宽度。
首先,EMA模块沿通道方向将其分为G个分组,从而获得G个子特征。接着,设计了3条并行路线,分别使用1×1和3×3的卷积核,以提取这些分组特征的注意力权重。在1×1卷积分支中,沿高度和宽度方向利用2个一维全局平均池化层对通道进行编码,随后将编码后的特征利用1×1卷积核按2个方向输出2个向量,并利用非线性Sigmoid激活函数拟合卷积后的二维二项分布,为实现双通道之间的特征交互,通过重参数化模块来聚合两个注意力图;在3×3卷积分支中,采用3×3卷积核提取局部特征,以获得多尺度的特征表示。此外,在跨空间学习模块中,为提高计算效率,在二维全局平均池化输出处采用Softmax函数拟合线性变换,将2分支的输出进行全信息编码和激活,并与另一分支输出进行点积相乘运算,生成2个空间注意力图。最终,将两个空间注意力图聚合并通过Sigmoid函数激活及自适应特征选择处理,从而为不同类型的信号设备分配适当的特征权重,提高各种类型设备的检测精度。
2.3 改进特征提取网络
在图纸的咽喉区中部设备分布较为密集,且信号设备展现出独特的细粒度特征,因此,仅采用共享参数的标准卷积进行特征提取无法感知不同位置信息的差异,进而导致特征提取不充分。为解决这一问题,引入空间注意力机制以突出重点特征,生成特定的注意力权重。但是,在使用大尺度卷积核时,由于感受野特征的重叠导致注意力权重共享,进而使传统的注意力模块无法实现精确的像素级关注
[18]。因此,将YOLOv8s的主干网络中部分CBS模块改进为RFAConv模块,对每个感受野滑块进行精细化处理,以捕捉输入数据的特定特征,并彻底解决卷积核参数共享问题,RFAConv模块结构如
图5所示。
首先采用平均池化层来减少计算量,将原始特征图的全局特征进行聚合,使用1×1的卷积运算进行信息交互,通过Softmax函数为特征分配权重,以生成感受野注意力图。同时原特征图通过3×3的分组卷积生成展开特征,以提高提取速度并生成包含局部信号设备信息的感受野特征图。然后经过1个形状调整模块,对两部分特征进行重参数化乘积,进而得到由3×3感受野滑块组成的感受野空间特征图。最终,通过1个大小为3×3,步长为3的卷积操作,提取出最终的感受野注意力特征图。
感受野空间特征由互不重叠的滑动窗口组成,其特征提取示意图如
图6所示。该模块实现了注意力模块与卷积核的结合,对每个感受野进行更为精细的处理,从而有效解决了信号平面布置图尺寸过大,但设备分布过于集中而特征难以充分提取的问题,提高了模型性能和泛化能力。
2.4 SER-YOLOv8s算法
尽管YOLOv8s算法面向公共数据集的性能良好,但在铁路车站信号平面布置图尺寸大、设备类型繁多和细粒度特征复杂的情况下,存在识别精度下降、检测效率较低等问题。因此,为提高检测精度并降低训练成本,提出SER-YOLOv8s识别算法,模型架构如
图7所示。其相比于原始模型的主要改进在于:首先,从检测模型轻量化角度,神经网络在处理高分辨率图像时,计算量较大且训练时间较长,因此,引入SCConv模块替代C2f单元中的Bottleneck模块,形成SCC2f_
n单元,以增强模型对空间和通道冗余特征的筛选,提高计算效率;其次,从多尺度特征融合角度,信号设备细粒度特征的相似性使原始模型的检测精度下降,为提高检测精度,在主干及颈部网络嵌入EMA注意力模块,通过综合不同尺度信息,关注关键特征,以提高模型对信号设备周边上下文信息的获取能力;最后,从特征提取角度,为解决广泛存在的参数共享问题,进一步提高图纸细节信息的获取能力,在主干网络结合感受野注意力模块RFA与卷积运算,使用RFAConv模块替代主干网络的标准卷积,为每个滑动卷积窗口生成注意力图,以对咽喉区等密集区域的信号设备产生更精确的像素级关注。
3 试验及结果验证
为检验所提出方法处理图纸识别问题的效果,借助Pycharm平台,采用pytorch 1.12.1及cuda 11.6.0版本的编程软件,硬件配置如下:操作系统版本为Windows11;处理器(CPU)型号为Intel(R)i7-13620H;内存大小为16 G;显卡(GPU)型号为NVIDIA GeForce RTX4060 Laptop。
3.1 数据增强
基于神经网络的目标检测算法对数据依赖性强,面对目标资源稀缺等小样本问题时,其性能会受到影响,使得基于深度学习的目标检测算法效率降低
[19]。因此,通过数据增强技术来增加数据集的多样性,提高模型泛化能力,降低过拟合风险。
数据增强技术在对图像进行缩放和随机翻转等操作后,使用自适应直方图均衡算法,通过不同的变换函数调整局部直方图,使之趋于均匀分布,从而改善图像的局部对比度并获得更多细节信息。由于现场图纸通常以实际图册的形式存在,通过打印机等设备进行扫描和拍摄时可能会由于设备性能或操作误差产生模糊情况,因此,采用运动模糊和高斯噪声技术,提高模型对噪声环境的适应和泛化能力。针对部分数据阴影面积大、内容过于模糊而导致的细节信息丢失问题,使用零散粒图像降噪
[20]方法,通过1个轻量级网络对图纸进行降噪处理,以提升图像识别的精确性,具体效果如
图8所示。图中数字为设备编号,具体信号设备标识及数据分布见
表1和
表2。此外,针对数据亮度覆盖范围不足的问题,采用随机亮度增强技术增强图纸特征。综合以上方法构建信号平面布置图的数据增强库,该库具有生成速度快、数据总量大及数据多样性等优势,在应对数据偏斜和降低标注成本等方面具有显著作用。
3.2 试验数据集制作
试验所用数据来自铁路现场某真实线路车站信号平面布置图册,包含全线15个车站的信号平面布置图,总计检测目标两千多个,使用Labelimg工具对信号机、单动道岔和信号楼等图内设备进行标注,总计标注了14类,部分标注结果(以某车站咽喉区为例)如
图9所示。
此外,使用上述数据增强手段丰富数据集。增强后图像总数达到2 208张,并取某路局现场真实图册作为验证集,最终按照4∶1∶1的比例划分训练集、测试集和验证集。
3.3 模型训练
在原始图纸输入模型前,将像素从7 860×4 320缩放为640×640,训练过程采用迁移学习的方法,使用在VOC2007公开数据集上预训练完成的权重作为初始权值,并随迭代次数逐步更新。为满足实际环境下的机器性能,采用冻结训练和解冻训练交替进行的方式,以减少参数更新次数,提高训练速度。冻结阶段的特征提取网络保持不变,占用的显存较小,仅对模型进行微调,而解冻阶段占用的显存较大,模型所有参数均发生改变。
为优化模型的训练过程,选择自适应动量随机优化算法Adam作为模型的优化器,其中动量参数设置为0.937。模型损失值的变化趋势如
图10所示。情况1中,模型首先进行100轮的冻结训练,随后进行200轮的解冻训练,学习率的范围设置为1e-5至0.01,而情况2则包括50轮的冻结训练和250轮的解冻训练,学习率的范围调整为1e-4至0.1。由
图10可知:在进行400轮训练的过程中,所有模型的损失值均在第250轮之前达到收敛状态;在特定的参数设置下,SER-YOLOv8s模型展现出更低的损失值。因此,选择300轮作为最终模型的训练轮次,并依据情况2中的参数设置进行模型训练。
3.4 评价指标
为证明所提方法在车站信号平面布置图识别任务中的性能,采用精确率P、召回率R、平均精度AP、平均精度均值mAP和综合评价指标F1来评估SEF-YOLOv8s模型的性能表现。
精确率P为检测结果中预测正确的样本与实际正样本的比例,其取值范围为0~1,计算式为
式中:TP为检测出的正样本数;FP为将负样本预测为正样本的数量。
召回率R为正样本中模型预测正确的比例,其计算式为
式中:FN为未检测出的正样本数。
平均精度为单类别识别精确度对R的积分,表达式为
平均精度均值mAP为各类别的均值,反应模型在信号平面布置图识别上的综合性能,其表达式为
式中:C为总计标签分类数量,取值为14,为不同类别对应的平均精度。
由于P和R在检测任务中互相矛盾,因此引入综合评价指标F1对模型进行评价,具体为
3.5 消融试验
过度增加运动模糊效果会提升模型对细节纹理特征的识别难度,进而降低检测精度。通过对照真实扫描图纸图像,合理控制模糊效果强度,以应对现场图纸扫描时可能出现的像素漂移及图像模糊情况,并新建1个来自现场采集的车站信号平面布置图数据集,对2种不同数据增强方式下训练的模型进行验证,结果见
表3,其中“√”表示使用了该数据增强效果。由
表3可知:在图像总数不变的前提下,添加模糊处理技术的模型
mAP提高了3.3%,添加模糊效果后模型对真实图纸具有更好的识别能力。
各试验组
mAP随训练轮次增加的变化情况如
图11所示。由
图11可知:当3个改进点单独作用时,各模型的
mAP在第200轮后趋于稳定;当改进点同时作用时,由于RFAConv模块的存在,SER-YOLOv8s模型的
mAP值在第50轮后快速上升,在第120轮达到0.8左右,相较于原始模型上升了6.6%;其余模型的
mAP值大致在250轮之前趋于稳定,且最高值仍比SER-YOLOv8s模型低0.7%。
改进后的YOLOv8s模型消融试验结果见
表4,其中“√”表示在YOLOv8s模型的基础上使用了该模块。由
表4可知:3个改进方法均未使用的情况下,模型对图纸内信号设备细节特征的提取能力较弱,且所需计算量大;当EMA和RFAConv模块单独作用时,参数量基本保持不变,但模型对相似设备和咽喉区密集设备的识别表现更佳,此时模型的
mAP和
F1分数相较于原始模型分别上升了3.5%,2.3%和2.5,1.1;SCConv模块单独作用时,尽管识别精确率略有降低,但利用了重复特征和空白区域的冗余信息,模型权重参数减轻了16%,推理速度也得到大幅提升;当3个改进方法同时应用于模型时,SER-YOLOv8s模型的
mAP提高了6.6%,
F1分数提升6.1。表明其对复杂车站信号平面布置图的信号设备识别具有显著的性能优势,由于加入了SCConv模块,SER-YOLOv8s模型参数量、运算量和权重文件大小均有所下降,分别为9.48 M,24.52 G和36.20 MB,提高了检测效率。
3.6 对比试验分析
为验证所提模型对信号平面布置图的识别更具优势,针对分类标签选取Faster RCNN
[21],SSD
[22],YOLOv3
[23],YOLOv4
[24],YOLOv5,YOLOv7
[25]和YOLOX
[26]算法进行对比。
各算法在精度、训练时间和参数量等方面的差异见
表5。由
表5可知:Faster RCNN算法整体
mAP仅为48.5%,训练时间却达19.58 h,识别效率较低;SSD算法虽然在识别性能上不尽人意,但其总参数量较小、训练时间短;YOLOv3至YOLOv5的
mAP值为61.7%,54.2%和73.8%,且
F1分数为63.9,52.6和71.7,在精确性和训练时间方面与SER-YOLOv8s模型存在差距,但在某些特定任务上有优势;YOLOv7和YOLOX的
mAP相较SER-YOLOv8s模型低了9.0%和8.6%,且训练时间和参数量分别高出2.78 h,28.18 M和0.03 h,44.73 M,综合性能均低于SER-YOLOv8s模型。
为验证模型识别车站信号平面布置图的效果,利用Faster RCNN,YOLOv5和SER-YOLOv8s算法对3个不同车站进行检测,结果分别对应识别结果1,2和3。其中,车站1和车站2的检测区域为单个咽喉区,而车站3则选取包含开通弯股的特殊情况作为验证集,以评估模型对旋转和尺度变化的适应性,检测结果如
图12所示。由
图12可知:Faster RCNN算法可识别出大多数出站信号机,但在双动道岔和单开道岔的检测中存在精确度不足和识别不完整现象,同时个别调车信号机和交叉渡线存在错误推理情况;YOLOv5虽然能够识别部分堵头绝缘节,但在信号机和单动道岔的识别上仍有遗漏和误判;SER-YOLOv8s模型未出现误识别或遗漏展现了更为全面的识别能力,提供了更准确的回归定位。此外,SER-YOLOv8s对小目标如绝缘节的识别精度较高,检测速度较快,训练效率高,为车站信号平面布置图的自动化识别提供了有效的解决方案。
4 结论
(1)本研究提出1种基于SER-YOLOv8s的车站信号平面布置图识别方法。其在主干网络和颈部网络中使用EMA注意力模块融合多尺度的特征信息;在颈部网络中引入SCConv模块构建SCC2f_n单元,筛选具有代表性的特征,并实现模型的轻量化;此外,将标准卷积层替换为RFAConv模块,提高每个感受野的特征提取能力。
(2)采用多个铁路部门提供的沿线车站信号平面布置图册对所提方法进行验证。在检测性能方面,SER-YOLOv8s模型的平均精度均值达到92.5%,综合评价指标值达91.7,显著优于现有的其他方法和模型;在检测效率方面,该模型的参数量仅有9.48 M,平均检测时间缩短至0.957 s,满足复杂信号平面布置图的检测需求;在模型通用性方面,对不同单位、尺度和旋转变换等特殊情形下的车站信号平面布置图进行推理,进一步证实所提算法在实际应用中的有效性和实用性。
国家重点研发计划项目(2021YFB2300305-05)