智能识别与空间定位技术在高速铁路车站的应用研究

Application Research of Intelligent Recognition and Spatial Localization Technology in High Speed Railway Stations

摘要

针对目前高速铁路车站建筑结构复杂程度上升与智能化管理需求日益增进的情况，提出使用智能识别、空间定位技术和BIM运维技术相结合，应用到高速铁路车站运维管理信息化系统中，以辅助日常运维的应用方案。通过对比不同的图像识别模型和空间定位方法，并参考实际铁路运维场景中的监控相机覆盖范围，提出并验证了一种新的应用图像识别技术的空间定位方法来获取特定设备空间位置，用来提高运维管理数据获取的效率和质量。设计了一套完整的技术路线，包括设备特征采集、特征点选取、摄像头标定、空间坐标转换等关键环节，将检测方法和定位算法集成，得到特定设备设施定位的方法。最后对这套空间定位方法进行了总结和展望，讨论了机器视觉技术在铁路运维领域的多个应用场景。

Abstract

In response to the increasing complexity of high speed railway station structures and the growing demand for intelligent management, the combined use of intelligent recognition, spatial localization technology, and Building Information Modeling (BIM) operational techniques was proposed in this study. This aims to assist in the daily operation and maintenance. By comparing different image recognition models and spatial localization methods, and considering the coverage of surveillance cameras in actual railway maintenance scenarios, a new spatial localization method using image recognition technology was proposed and validated to obtain the specific spatial location of equipment. This method was designed to improve the efficiency and quality of operation and maintenance data acquisition. A comprehensive technical roadmap was designed, encompassing key processes such as equipment feature collection, feature point selection, camera calibration, and spatial coordinate transformation. The detection methods and positioning algorithms were integrated to formulate an approach for the spatial positioning of specific equipment and facilities. Finally, a summary and outlook of this spatial localization method were provided, discussing various application scenarios of machine vision technology in the railway maintenance field.

Graphical abstract

关键词

机器视觉 / 空间定位 / 运维管理 / 高速铁路车站 / 单目相机

Key words

Machine Vision / Spatial Localization / Operation and Maintenance Management / High Speed Railway Station / Monocular Camera

0　引言

设施设备管理是建筑全生命周期管理的重要组成部分，信息化已成为其发展趋势^[1-2]。其中智能识别与空间定位技术是设施设备管理信息化主要技术，室内定位技术是指在室内环境中实现位置定位，目前主要采用无线通信、基站定位、惯导定位、动作捕捉、图像识别等多种技术形成室内位置定位的依据，实现人员、物体等在室内空间的位置监控^[3-4]。

随着我国高速铁路快速发展，高速铁路车站的数量与规模不断扩大，各种应急情况也不可避免地会发生。根据高速铁路车站内流动性设施设备特点，需利用固定摄像头的空间定位算法，实现对特定设施、设备的空间位置信息自动化提取。传统的利用固定摄像头的单目测距方法有对焦测距法、散焦测距法，但这2种方法对于摄像设备的精度要求很高，测量的精度主要决定于测量仪器。而目前市场上使用固定式相机的空间定位方法，主要是通过定位系统中的对比数据库来进行定位，在对比数据库中记录着特定物体到固定式相机的相对距离以及在该位置时相机成像数据中的该物体的像素尺寸，两者之间为一一对应关系。当需要进行目标定位时，通过比对数据库中的物体像素尺寸和待测图像中物体像素尺寸，找到符合的大小，来进行近似的距离的判定。如果数据库中没有与物体在摄像机平面内的实时状态完全对应的数据，在估算距离的时候会产生大量误差，精确度不是很高，并且每一个摄像机都需要连接1个单独的控制器(数据库)，无法做到数据的统一管理。

上述定位方式由于成本较大、需重新施工等因素使其难以实现，传统运维管理方法已逐渐不能满足高速铁路车站复杂环境下的需要，基于智能识别与空间定位技术的运维管理方法，作为一种新思路，具有广泛的应用前景，故研究设计一种基于单目摄像机的特定设备设施空间定位系统，利用人工智能深度学习的方式来解决特定设备设施空间定位的问题。

1　基于单目相机的特定设备设施空间定位技术研究

1.1　单目相机特定设备设施空间定位方法设计

监测设备设施是否发生位移，需要对所监测的物体进行实时测距，测距的首要任务是目标检测，车站场景下受外界环境因素(光照、阴影、天气和噪声等)的干扰，并存在行人与物体之间、物体与物体之间的遮挡等问题，都极大地增加了各类目标检测的难度。当前的目标检测都是基于区域级信息的，但距离测量需要精确的像素级信息，因此提高目标检测的精度至关重要。随着深度学习技术的不断发展，图像识别技术的研究成果包括RCNN系列、YOLO、SSD系列等，在检测的精度和速度上获得了较大的提升。基于此，设计一种基于深度学习的单目相机场地内特定设备识别定位方法，使用深度学习的方法来进行物体监测，对特定物体的锚框定位做到像素级，用图像像素坐标还原的方式进行精准定位。

高速铁路车站BIM运维管理系统与单目相机空间定位技术融合如图1所示，通过图像智能识别和特定空间定位模块，实现设备空间位置信息的获取，能够帮助基于BIM技术的车站运营管理系统实现特定设备、设施的实时位置监测，配合模型自动更新技术能够实现运维模型与现实世界的实时统一，保持运维模型信息的实时有效性。

1.2　图像识别技术

图像识别技术包括R-CNN，Fast R-CNN，Mask R-CNN，只看一次的快速检测网络（You Only Look Once，YOLO）和BoderDet等经典的目标检测算法，根据高速铁路车站现场情况和实际需求，选定YOLO和BoderDet检测速度快、适合实时应用的模型来进行特定设备设施的识别。

（1）YOLO。YOLO是一种经典的单阶检测器，其将检测目标的任务变成对目标区域预测及对类别预测的回归问题，该方法利用单个神经网络直接预测物品边界和类别概率，从而实现端到端的物品检测^[5]，实现快速地对标定目标进行检测，并且能够达到较高的准确率。YOLO可分为YOLO V1，YOLO V2，YOLO V3，YOLO V4，YOLO V5，YOLOX等，本研究主要参考了YOLO V5和YOLOX模型。①YOLO V5为一种单阶目标检测模型^[6]，是基于YOLO V4做了部分新的改进，使得预测速度和精度都得到了极大的提升；②YOLOX是一种高性能检测器^[7]，是将解耦头、数据增强、无锚点以及标签分类等目标检测领域的新进展与YOLO进行了有效的组合，从而使其平均精度(AP)、预测速度都得到提升。

（2）BoderDet。大量的研究结果发现对于只使用1个点的特征去预测框的分类和回归是不够的，通常的做法是确定物体边界框上的4个极限点来确定，边界极限点特征对物体定位确实有非常重要的作用。BoderDet是基于无锚框目标检测算法(Fully Constitutional One-Stage Object Detection，FCOS)检测架构^[8-9]，在特征金字塔的预测中加入BAM模块。首先进行初步bbox预测和初步分类预测，然后将初步bbox预测输入到BAM模块得到Border分类预测和Border bbox预测，预测使用1×1卷积，最后统一2种结果进行输出。BoderDet提供了一套简单、通用的方法来获取极限点的特征，为目标检测领域中检测框特征表达提供了一个全新的思路。

1.3　单目相机空间定位技术

单目相机空间定位是一种利用单个摄像头获取场景信息并通过计算机视觉算法来估计相机位置的技术。在计算机视觉和机器人领域，单目相机空间定位被广泛应用于无人驾驶、增强现实、机器人导航等领域。单目相机空间定位技术主要分为相机标定和坐标还原2个步骤。

（1）相机标定。为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，需要建立相机成像的几何模型，几何模型参数就是相机参数^[10]。进行摄像机标定的目的就是求出相机的内、外参数，以及畸变参数。采用棋盘格标定板完成相机标定，得到相机的内参矩阵，并建立以地面为平面的真实坐标系。棋盘格标定板是最常见的相机标定方法，它由黑白相间的正方形组成，棋盘格的对角线交点形成一个共用角点。使用棋盘格标定板，可以通过拍摄多张带有棋盘格的图像，并在图像中标记棋盘格的角点，从而计算相机的内、外参数。

（2）坐标还原。通过标定板获得相机的内、外参数，根据内外参数通过公式从像素坐标转换为世界坐标。坐标还原流程如图2所示，通过平移、尺寸伸缩、投影等方法完成坐标映射，将视频照片中的物体的像素坐标还原为世界坐标下的真实坐标。

2　图像识别技术应用实验

通过在高速铁路车站现场调研，获取车站内部流动性设备设施种类、位置、尺寸数据，确认现场摄像头数量、分布密度、朝向、种类等信息。获取现场车站空间大小、空间排布、三维结构等相关数据，根据这些数据制作检测识别数据集，实现特定设备设施的识别。

2.1　数据集制作流程及类别统计

从某高速铁路车站监控系统中获取候车室监控的视频数据，并按照视频抽帧、视频转成图片、图片去重、光影去噪、图像标注的流程进行数据整理，构建高速铁路车站候车室内特定流动性设备设施的数据集。数据集中总共标注了1 704张图片，使用水平检测框进行标注，参考现场环境设备的实际流动性，共标注座椅、花盆、广告牌、充电箱4类设备设施，数据集中各类设备设施的样本标记数量如表1所示。

2.2　检测及识别结果

参考YOLOX训练的数据集，得到候车室流动性设备设施的数据集训练AP结果如图3所示。从图3显示的结果中可以看出YOLO的训练模型在迭代23~30次后，座椅、广告牌、充电箱3种设备的AP收敛很快，而花盆仍然处于0.6左右，除了现场样本数量不均衡因素以外，考虑是由于花盆在图像中所占的像素点太少造成的检测精度过小，故考虑采用BorderDet进行训练，利用其能够加强特征点的识别率来解决现场存在大量小体积、少像素点的待检测物体的识别问题。

更换BorderDet为训练模型，得到候车室流动性设备设施的检测及识别结果如图4所示，对于体积小、外轮廓形状规则的待监测物体(如花盆等)，以及体积大、外轮廓形状复杂的被监测物体(如座椅)都能够很好地被识别出来。实际运营场景中会发生人员遮挡待监测物体，基于此进行检测，得到候车室座椅有遮挡情况下的检测识别结果如图5所示，可以看出，即使在有人员或物体遮挡的情况下，检测识别模型仍然能够有效预测出所有的待检测物体特征点，能够准确地识别出物体的种类和数量，并且完好地用检测框圈定待检测物体。

3　空间定位技术应用

3.1　实验结果与误差分析

为了在车站候车室现场取样实验之前证实空间定位方法的有效性，在开阔的室内模拟环境中，进行了被监测物体特征点回归世界坐标的实验，待检测物体设定为一个20 cm×20 cm的纸箱子，模拟定位实验如图6所示。实验中一共取样15个点，监测点为纸箱正面左下角角点。模拟定位实验结果如表2所示。由表2可知，如果预测点在标定板上面以及2 m以内的附近，能够比较精准地从图片中预测出被测物体在现实坐标系下的位置信息，误差平均能够控制在10 cm以内；反之如果预测点距离标定板越远，预测结果的误差就越大。

因此，若对整个候车室的场景进行标定时，需将1个相机视野进行空间划分，进行多次标定，在不同的标定网格内的空间位置预测都是通过该网格的坐标体系来进行表达，再通过每一次标定时标定板原点之间的实际相对位置关系复原整个相机视野空间并统一坐标体系，用这种多次标定的方法来减小统一相机视野内的误差。

3.2　车站候车室内的标定工作

以某高速铁路车站为例，对其候车室内的标定工作主要分为2部分，即对车站内候车室进行相机标定和不同相机视野的空间坐标系建立。①对车站候车室建立13个不同的相机视野，每个视野内进行2次标定，每一次标定可以覆盖周围6组座椅，并且对每次标定板的原点位置进行了测量与记录；②不同相机视野的空间坐标系建立中，分别建立对应的以地面为平面的现实世界坐标系，将所有单独坐标系根据其原点的相对位置整合成一个完整的以地面为平面的候车室世界坐标系，将每个被测目标所得到的对应相机世界坐标系的坐标通过该坐标系原点与统一坐标系原点之间的向量，可以获得被测目标在候车室统一坐标系下的精准定位。

3.3　标定及定位结果

基于标定结果，对候车室统一坐标系原点。①取纵坐标为10~15 m距离处的2组座椅进行定位，定位点均为座椅的接地角点，根据预先测量好的座椅尺寸，定位数据接地点之间定位坐标的差值与预先测量的座椅长度、宽度数值的误差分别为1 cm和4 cm；②取纵坐标为20~25 m距离处的2组座椅进行定位，定位点均为座椅的接地角点，根据预先测量好的座椅尺寸，定位数据接地点之间定位坐标的差值与预先测量的座椅长度、宽度数值的误差分别为3 cm和1 cm；③取纵坐标为40~45 m距离处的2组座椅进行定位，定位点均为座椅的接地角点，根据预先测量好的座椅尺寸，定位数据接地点之间定位坐标的差值与预先测量的座椅长度、宽度数值的误差分别为1 cm和4 cm。因此所有2 m内范围的标定误差都在5 cm以内。

对于所有的标定结果进行完定位测试后发现，由于在标定时标定板及其周围2 m以内的空间将相机视野完全覆盖，而所有相机视野又能够完整覆盖整个候车室，因此整个候车室的空间定位误差应控制在5 cm以内，能够满足日常运维的模型定位误差需求。

4　基于单目相机的特定设备设施空间定位系统

研究如何实现基于单目相机特定设备设施的空间定位，整个过程分为5个阶段：①进行图像数据的获取以及预处理，得到关键帧数据，将全部关键帧数据经行标注并训练；②经过目标检测阶段，通过已经训练好的数据集，利用目标检测特征库进行目标检测，得到目标检测结果；③根据已得到的检测结果进行特定设备的空间定位。在前期进行了定位标定分区、世界坐标校准，根据检测到的特定设备接地特征点的像素点信息转化后即可得到空间坐标；④进行数据异常预测，根据时序数据库获取目标历史位置，根据相邻帧的对比，判断检测目标是否发生位移；⑤将检测框、检测信息、定位信息等数据渲染到结果视频画面中，并输出数据表单。根据上述5个阶段，设计基于单目相机的特定设备设施空间定位系统。

系统的架构设计使用成熟的MVC三层架构，系统分为前端展示层、业务逻辑层和数据层，系统架构如图7所示。前端展示层包括对目标的检测、识别和定位结果显示等；业务逻辑层包括视频数据预处理、深度学习模型训练、深度学习模型构建、特定设备目标定位、特定设备目标识别、特定设备目标检测，以及数据接口等；数据层包括训练模型使用的样本数据和监控摄像头传输的实时数据。其中最核心的模块就是目标检测模块和目标定位模块，目标检测模块可判定待检测设备，目标定位模块可获取待检测设备的空间坐标，基于2个模块可实现特定设备设施的空间定位。

（1）目标检测模块。目标检测的算法流程主要分为模型训练阶段和目标实时检测阶段2部分。在模型训练阶段，利用已有的特定设备训练样本的数据，通过样本预处理，利用高效率模型进行训练建模，获取各种特定设备的目标检测特征库，提供给实时目标检测阶段使用。实时检测阶段主要完成实时监控视频的视频分割、视频预处理、目标实时检测等。

（2）目标定位模块。目标定位算法流程分为2个阶段，前期对每个单目摄像头对应目标的物理坐标进行计算和存储，并建立物理坐标和像素坐标的映射关系。根据目标定位算法结果，实时计算该目标在视频中的像素坐标，再根据目标检测算法检测到目标的面积变化，通过像素坐标和物理坐标可以得到目标的三维物理坐标，实现目标实时定位。

5　结束语

通过实验方法对智能目标识别与空间定位技术在高速铁路车站的应用进行了验证，结果表明其与现有技术相比，具有改造成本低、匹配正确率高、定位准确等优点。铁路BIM综合运维管理系统中引入智能识别与空间定位技术^[14-15]，有助于实现铁路设备设施BIM模型位置自动实时更新，保持运维模型实时与现实场景一致。未来仍需继续改进检测识别以及空间定位性能，同时扩大该方法使用场景，提升基于BIM模型运维管理的实用性。

参考文献

[1] 杨子玉. BIM技术在设施管理中的应用研究[D]. 重庆：重庆大学，2014.

[2] 邱　超. BIM技术在地铁车站设施设备运维管理中的应用及其经济效益研究[D]. 石家庄：石家庄铁道大学，2018.

[3] 路兴昌，宫辉力，赵文吉，等. 基于激光扫描数据的三维可视化建模[J]. 系统仿真学报，2007，19(7)：1624-1629.

[4] LU Xingchang， GONG Huili， ZHAO Wenji，et al. 3D Visualization Modelling Based on Laser Scanning Data[J]. Journal of System Simulation，2007，19(7)：1624-1629.

[5] 黄同愿，杨雪姣，向国徽，等. 基于单目视觉的小目标行人检测与测距研究[J]. 计算机科学，2020，47(11)：205-211.

[6] HUANG Tongyuan， YANG Xuejiao， XIANG Guohui，et al. Study on Small Target Pedestrian Detection and Ranging Based on Monocular Vision[J]. Computer Science，2020，47(11)：205-211.

[7] 赵俊清，边　原，刘　寅，等. 图像识别技术在BIM运维管理中的应用研究[J]. 铁路计算机应用，2021，30(7)：76-79.

[8] ZHAO Junqing， BIAN Yuan， LIU Yin，et al. Image Recognition Technology Applied to BIM Operation and Maintenance Management[J]. Railway Computer Application，2021，30(7)：76-79.

[9] 江大白.深入浅出Yolo系列之Yolov5核心基础知识完整讲解[EB/OL].(2023-03-22)[2023-12-20].

[10] 江大白.深入浅出Yolo系列之Yolox核心基础完整讲解.[EB/OL].(2023-03-22)[2023-12-20].

[11] TIAN Z， SHEN C H， CHEN H，et al. FCOS：Fully Convolutional One-Stage Object Detection[EB/OL].(2019-04-02)[2023-12-20].

[12] QIU H， MA Y C， LI Z M，et al. BorderDet：Border Feature for Dense Object Detection[EB/OL].(2023-07-21)[2023-12-20].

[13] 黎　明，于　音，关大力. 基于Matlab GUI框架下激光选区熔化成形铺粉质量检测系统研究[J]. 现代制造工程，2021(7)：96-102，116.

[14] LI Ming， YU Yin， GUAN Dali. Research on Selective Laser Melting Powder Spreading Quality Detection System Based on Matlab GUI[J]. Modern Manufacturing Engineering，2021(7)：96-102，116.

[15] ZHANG Z Y. Flexible Camera Calibration by Viewing a Plane from Unknown Orientations[C]//Proceedings of the Seventh IEEE International Conference on Computer Vision. September 20-27，1999，Kerkyra，Greece. IEEE，2002：666-673.

[16] 赵佳星. 地图匹配辅助的Wi-Fi/iBeacon/PDR室内融合定位算法研究[D]. 淮南：安徽理工大学，2021.

[17] 于　岩. 基于单目视觉的目标识别与定位[D]. 哈尔滨：哈尔滨工程大学，2017.

[18] 宋宗莹，张红亮. 重载铁路智慧车站架构与功能设计研究[J]. 铁道运输与经济，2020，42(10)：74-78.

[19] SONG Zongying， ZHANG Hongliang. A Study on the Architecture and Function Design of Smart Station of Heavy-Haul Railway[J]. Railway Transport and Economy，2020，42(10)：74-78.

[20] 李志鹏，张志国，张雅琴.朔黄铁路基础设施运维智能决策技术研发及应用[J].铁道运输与经济，2023，45(11)：22-29，47.

[21] LI Zhipeng， ZHANG Zhiguo， ZHANG Yaqin.Research and Application of Intelligent Decision-Making Technology for Operation and Maintenance of Shuohuang Railway Infrastructure[J]. Railway Transport and Economy，2023，45(11)：22-29，47.

基金资助

国家重点研发计划项目(2020YFF0304105)