基于命名实体识别的铁路应急预案智能管理方法

Intelligent Management Method for Railway Emergency Plan Based on Named Entity Recognition

摘要

铁路应急预案是应对自然灾害、事故灾难、社会安全等突发事件，快速做出科学决策、组织救援的行动指南。由于应急预案多以非结构化文档存储，针对其结构化及检索过程中信息损失的问题，提出基于命名实体识别的铁路应急预案智能管理方法。首先，应用排版样式、编辑语义、文本语义等信息，实现流式文档结构的智能解析、附件识别及时序文档的信息综合；然后，以运维知识图谱中实体及其类别构建实体类别集，嵌入实体类别信息并与字符嵌入拼接生成增强特征，对文本进行实体的命名标识及段属性标识；最后，采用递归神经网络并引入注意力机制构建命名实体层次表达，融合结构和语义因素实现检索结果的智能排序。实验证明，该方法能准确解析文档结构并在低标注下识别命名实体，实现应急预案的智能检索与排序，可有效提高铁路应急预案管理的智能化水平。

Abstract

A railway emergency plan serves as an action guide for making fast efforts in scientific decision making and rescue organizing in response to emergencies such as natural disasters, accident disasters and social security events. As emergency plans are usually stored in non-structured documents, which are vulnerable to information loss in its structuring and retrieval process, an intelligent management method for railway emergency plans based on named entity recognition was proposed to solve the problem. Firstly, the intelligent analysis of the flow document structure, recognition of attachments, and information integration of the time-sequence documents were realized by applying information such as formatting style, editing semantics and text semantics. Then, an entity category set was constructed with entities and their categories in the knowledge graph, with the entity category information spliced with the character embedding to construct the enhanced feature vectors, and the entities extracted from texts were named and given paragraph attributes. Finally, a hierarchical expression of named entities was constructed by using a recursive neural network and an attention mechanism, with the document structure and semantics factors integrated to realize the retrieval and results ranking. The experimental results show that this method can accurately analyze the document structures and recognize named entities under low annotation conditions, which makes the emergency plans retrieved and sorted intelligently, thus improving the intelligent level of railway emergency plan management.

Graphical abstract

关键词

铁路 / 应急预案 / 命名实体识别 / 文档结构解析 / 知识图谱

Key words

Railway / Emergency Plan / Named Entity Recognition / Document Structure Analysis / Knowledge Graph

1　概述

应急预案在铁路应急管理体系至关重要，是应对自然灾害、事故灾难、社会安全等突发事件，快速做出科学决策、组织救援的行动指南^[1]。但由于应急预案多以非结构化文档存储，查询效率低、检索困难、关联性差，管理的智能化水平有待提高^[2-3]。

应急预案智能化管理对应急预案进行数字化、结构化处理，可根据突发事件快速检索信息，为管理人员提供辅助。孟川舒^[4]构建铁路应急知识管理系统，以智能交互和智能知识库2项技术创新实现应急预案形象化展示、信息快速汇聚及自动关联；李欣等^[5]基于专家知识构建铁路调度应急预案知识图谱，研究数据抽取、融合及知识存储方法，实现应急预案规范、有序存储；杨卿涛等^[6]基于双向-长短期记忆-注意力机制-条件随机场(Bi-LSTM-Attention-CRF)网络和极致梯度提升树(XGBoost)模型抽取响应任务及其关系，构建应急响应过程业务流程建模符号(BPMN)模型，并开发应急响应过程自动抽取原型系统；王普等^[7]通过深度学习算法提取突发事件消息文本中的关键信息，应用本体构建高速铁路应急预案数字模型，基于目标树的语义查询智能生成应急处置流程；刘彤等^[8]基于平滑逆频率-Fasttext(SIF-Fasttext)算法提取突发事件问题描述，通过计算突发事件与应急预案的相似度快速生成应急处置措施；Zheng等^[9]考虑案例变化趋势计算案例相似性，提出基于主观偏好和客观信息的动态案例检索方法。

综上，在应急预案的数字化、结构化方面主要集中于以专家知识为引导的知识模型构建，以及基于深度学习的领域知识提取，前者需要消耗大量人力且通常难以满足知识库完备性需求，后者模型的实体及实体关联训练均依赖人工标记数据，提取准确率受训练集的大小和质量影响，在低资源集上测试时，F1值平均为87%^[10]；在信息检索方面主要集中于基于案例及规则推理的应急处置措施生成与评估，然而以某铁路局集团公司应急预案为例，其中应急处置措施仅占24.38%，存在组织机构、应急保障、附件等低结构化、低逻辑关联信息缺失的问题。

针对应急预案结构化及检索过程中信息损失的问题，研究提出一种基于命名实体识别(Named Entity Recognition，NER)的应急预案智能管理方法。首先，应用排版样式、编辑语义、文本语义等信息，实现流式文档逻辑结构的智能解析、图表等附件识别及时序文档的信息综合；其次，以运维知识图谱中实体及其类别构建实体类别集，采用词嵌入方法嵌入实体类别信息并与文本字符嵌入拼接生成增强特征，将增强特征输入双向-长短期记忆模型(Bi-LSTM)和条件随机场(CRF)层，对各应急预案段落中文本进行实体的命名标识及段属性标识；最后，采用递归神经网络构建命名实体的层次表达，引入注意力机制为层次表达赋权，融合结构和语义因素实现段落检索及检索结果的智能排序。

2　应急预案文档结构的智能解析

根据《中华人民共和国突发事件应对法》《国家突发公共事件总体应急预案》等法律、法规和相关规定，铁路运输各专业部门积极开展应急预案体系建设，逐步建立了中国国家铁路集团有限公司—铁路局集团公司基层组织—站段岗位处置办法等多级铁路应急预案体系，在铁路突发事件应急管理过程中发挥了重要作用。但由于大量应急预案以流式电子文档的方式存储，文档格式多变、排版差异性大、无固定版式，导致计算机难以自动理解其结构。与版式文档相比，流式文档结构更为复杂且通常带有排版错误，传统的版面分析方法不再适用，而现有的流式文档结构识别主要应用规则化方法或机器学习方法，泛化能力有限，识别效果不够理想^[11]。

研究充分应用排版样式(如字体、字号、对齐方式等)，编辑语义(如编号、大纲级别、段落、题注等)，文本语义(如“参见”“如下”“图”“表”等)信息，智能解析流式文档的逻辑结构，样式及语义分析相结合检测文档中图片、表格等附件，形成单流式文档的结构解析流程，并基于单文档解析流程实现时序文档的解析与信息综合。

以某铁路局集团公司连续两年防洪应急预案为例，时序应急预案文档结构解析如图1所示。点击图1左侧结构树节点可查询该节点对应段落的文字内容；经文档语义及表结构分析，可实现多期附表数据的自动综合与时间排序。

3　领域知识图谱引导的命名实体识别

命名实体识别(NER)指识别文本中具有特定语义的实体并将其划分为预定义类型，广泛应用于本体识别、关系抽取、知识图谱构建等，主流NER方法可分为基于规则和词典的方法、基于统计机器学习的方法和基于深度学习的方法^[10]。其中，基于机器学习的方法能够克服基于规则和词典方法的局限性，成为自然语言处理研究的热点，但其模型训练依赖大量标记数据，而铁路应急预案集为专业领域有限低资源集，基于知识图谱中实体类别信息增强的NER方法更为适用^[12]。

铁路运维管理知识图谱如图2所示，该图谱由某铁路局集团公司的铁路运维管理数据库经数据清洗、语义转换、噪声处理、内部对齐等操作后，抽取实体、属性及关系生成。

命名实体识别的模型架构如图3所示。研究在文档结构解析的基础上，首先，将应急预案划分为不同的功能段落，对每个段落文字使用“结巴”(Jieba)分词工具搜索模式分词，构建完整的训练词表；然后，以运维知识图谱实体及其类别构建实体类别集，采用词嵌入方法嵌入类别信息并与字符嵌入拼接，形成高维增强特征集；最后，将增强特征输入Bi-LSTM和CRF层，进行实体的命名标识及段属性标识。

具体为：将输入的字符序列记为C=｛c₁，c₂，...，c_n ｝，输出标签记为L=｛l₁，l₂，...，l_n ｝，其中，l_i ∈｛B，I，E，O｝，B，I，E分别表示字符在命名实体的首部、中部、尾部，O表示字符未被识别为命名实体。采用Jieba全分词模式构建候选词集，例如，“调度指挥中心”划分为｛“调度”，“指挥”，“中心”，“调度指挥中心”｝。以Soft-lexicon(Simplify the Usage of Lexicon in Chinese，NER)^[13]方法根据与字符相关的词语为字符划分Begin，Middle，End，Single集合，记为｛B，M，E，S｝。以字符“中”为例，对应的词语及其类别构成的二元组分别为｛B：“中心”，NONE｝、｛M：“调度指挥中心”，“部门”｝、｛E：NONE，NONE｝、｛S：NONE，NONE｝。将类别信息与字符嵌入融合，转换为高维增强向量集，并输入编码层与解码层。最后，为识别的命名实体附加段落标识，包括段标题的命名实体类型及当前文档所在的解析路径。

4　基于多层次命名实体的智能检索

给定一个或多个查询词时，可根据查询词与命名实体的匹配程度来检索段落并对检索结果进行排序，但这种方式仅考虑文字的相关度，忽略了文档结构信息的作用。

针对铁路应急预案文档具有较为明确的层次结构的特点，首先，基于命名实体的段属性标识构建多层次命名实体模型，采用递归神经网络构建命名实体的层次表达；然后，引入注意力机制为层次表达赋权；最后，使用LambdaRank排序算法实现检索结果的智能排序。

4.1　命名实体结构建模

应急预案层级示例如图4所示。其中“隧道仰拱上移的应急处置措施”对应的层次表达为“应急预案>灾害类型及抢险办法>隧道仰拱上移”。

多层次命名实体模型结构图如图5所示，为了捕捉层级变化规律，选用适合长期记忆的门控循环单元（Gated Recurrent Unit，GRU)建立模型，由于检索过程中较短路径应具备较高的优先级，故按照层级由大到小输入结构S=(s₁，s₂，...，s_n )和其对应的段落集合D=(d₁，d₂，...，d_n )。从S与D中抽取命名实体，并生成单词嵌入矩阵，以TF-IDF计算命名实体的权重，则每个结构s_n 和文档d_n 的输入向量表示为实体向量的加权平均。每个状态节点计算如公式⑴所示。

h_n=f(h_{n-\mathrm{1}},s_n,d_n)⑴

式中：h_n 为当前状态结点；h_n-1为上一状态结点；s _n 与d_n 为其对应的输入结构及文档集合。

GRU模型函数计算如公式⑵所示。

\begin{array}{l}{r}_n=\sigma ({\mathrm{W}}_r[q_n,d_n]+V_r{h}_{n-\mathrm{1}})\\ z_n=\sigma ({\mathrm{W}}_z[q_n,d_n]+V_z{h}_{n-\mathrm{1}})\\ c_n=\mathrm{t}\mathrm{a}\mathrm{n}\mathrm{h}(W_c[q_n,d_n]+V_c(r_n·h_{n-\mathrm{1}})\\ h_n=(\mathrm{1}-z_n)·h_{n-\mathrm{1}}^{}+z_n·c_n\end{array}⑵

式中：r_n 为重置门；z_n 为更新门；σ()为sigmoid函数；W_r，W_z，W_c，V_r，V_z，V_c 为训练过程中调整参数，输出记为H=(H₁，H₂，...，H_n )。

4.2　注意力机制

当待检索的命名实体与层次结构中命名实体的相关性越大，该层次结构应占越大的权重。例如，当以天气预报触发“降雨”检索时，“防洪预案”应具有较高的权重；当检索完全命中某个层次结构时，该层次结构应位于排序的最顶端。注意力机制即为解决此类问题的有效方案之一，通过计算当前查询意图与文档结构及命名实体的相似度，提高检索及排序的智能化程度。

注意力机制最早被用于图像分类，2014年首次被应用于文本处理，在权重学习方面取得了突破性进展，使得模型的自适应性得到了增强^[14]。将H=(H₁，H₂，...，H_n )和查询q作为注意力层输入，计算当前查询q下，每个H_i 所对应的权重，计算如公式⑶所示。

e_i={\rm O}(q,H_i),{\alpha }_i=\frac{\mathrm{e}\mathrm{x}\mathrm{p}(e_i)}{{\displaystyle \sum _{j=\mathrm{1}}^n}\mathrm{e}\mathrm{x}\mathrm{p}(e_j)}⑶

式中：e_i 为第i层感知机的输出；O()为多层感知机(Multilayer Perception，MLP)，与余弦相似度等相比，MLP可识别更全面的语义特征。

4.3　排序结果生成

随着数据量的增加及排序决定因素的日趋复杂，基于人工策略组合的排序方法逐渐被基于机器学习的搜索引擎排序方法(Learning to Rank，LTR)所取代，LambdaRank为LTR的一种常用算法。研究采用LambdaRank排序算法，以成对样本(pairwise)交换排序，计算交换文档排序对结果的影响，为影响较大的文档赋更高的权重，其中，损失函数为预测值与实际值之间的交叉熵，计算如公式⑷所示。

\begin{array}{l}{p}_{ij}=\frac{\mathrm{1}}{\mathrm{1}+\mathrm{e}\mathrm{x}\mathrm{p}(-Score(d_i)-Score(d_j))}\\ Loss(RankNet)=-q_{ij}\mathrm{l}\mathrm{o}\mathrm{g}(p_{ij})-q_{ji}\mathrm{l}\mathrm{o}\mathrm{g}(p_{ji})\\ Loss(LambdaRank)=\mathrm{\Delta }Loss(RankNet)\end{array}⑷

式中：Score()为文档得分函数；p_ij，q_ij 表示文档d_i 与d_j 的预测概率及实际概率。

5　案例分析

以某铁路局集团公司2017—2018年订立的应急预案为例，共12份文档，总字数为59 361。由运维知识图谱导出实体(｛类别，实体名称｝)共474 271个，去除以ID或编号为名称的实体，共剩余82类16 410个。

5.1　文档结构解析

应急预案文档为3~7层结构，人工解析得到172个段落，以WPS Office的智能识别目录功能为对比，以精确率、召回率为评价指标，结构解析正确率如表1所示。在不规则小标题及附表、附图的识别上，本研究方法明显优于WPS；因缺乏特殊字符库，部分标题出现编号错误的问题，但由于编号不参与后续命名实体识别，解析结果基本满足层次建模需求。

5.2　命名实体识别

利用资源丰富的标注数据辅助低资源集进行深度学习训练是解决人工标注不足的有效途径^[15]。研究采用基于模型迁移的方法，源语料库选用MSRA，该数据集来自新闻领域，标注了人名、地名、机构3类共5万多条中文命名实体。引入Bi-LSTM+CRF模型作为对比，命名实体识别正确率如表2所示。由于缺乏铁路行业的专有词典，源语料库在长实体中误识率很高，结果表明以运维知识图谱为引导能有效提高识别的正确率。

5.3　多层次智能检索

智能检索示例如图6所示，为验证本研究方法的有效性，分别以天气、关键词、附件作为查询条件，如图6a所示，以开放的WebAPI查询某工务段范围内一周天气预报，从天气预报中识别灾害类实体作为搜索条件，检索符合条件的段落，并采用LambdaRank排序算法在下拉框中排序；图6b为输入关键词“仰拱上移的抢险办法”的检索结果，综合考虑层次结构信息与实体相似度对搜索结果进行排序；如图6c所示，提取文档中的附表、附图单独存储，并对附件类实体进行特殊标记，管理人员在查看段落时即可点击实体标记打开相应的附件，实现了信息的关联管理。

6　结束语

随着信息化技术的不断发展，以非结构化文档存储的应急预案查询效率低、检索困难、关联性差，难以满足应急管理信息化需求。应急预案结构化及智能检索方法成为数字化、智能化应急管理的研究热点。为解决应急预案结构化及检索过程中信息损失的问题，研究提出一种基于命名实体识别的应急预案智能管理方法，以某铁路局集团公司应急预案为实例，实验结果表明该方法能够准确解析文档结构并在低标注条件下识别命名实体，融合文档结构与实体信息实现应急预案的智能检索与排序，可有效提高应急预案管理的智能化水平。研究主要针对应急预案的内容检索与信息关联查询，下一步将对检索结果中应急处置措施进行语义与逻辑的智能分析，采用深度学习的方法抽取处置措施及其搭接关系，自动生成应急处置流程，并基于多智能体的仿真与建模方法，实现应急处置流程在虚拟场景中的自适应仿真。

参考文献

[1] 王 普.大数据分析驱动的高速铁路应急管理关键技术研究[D].北京：中国铁道科学研究院，2019.

[2] WANG Pu.Research on Key Technologies of High Speed Railway Emergency Management Driven by Big Data Analysis[D].Beijing：China Academy of Railway Sciences，2019.

[3] 杨国柱.高速铁路应急处置现状分析及优化策略[J].铁道运输与经济，2022，44(7)：90-95.

[4] YANG Guozhu.Analysis and Optimization Strategies of Emergency Disposal for High Speed Railway[J].Railway Transport and Economy，2022，44(7)：90-95.

[5] 刘重亮.广州局集团公司高速铁路应急管理优化研究[J].铁道运输与经济，2021，43(1)：89-95.

[6] LIU Chongliang.Optimization of High Speed Railway Emergency Management of Guangzhou Railway Group[J].Railway Transport and Economy，2021，43(1)：89-95.

[7] 孟川舒.铁路运输生产应急知识管理系统构建的研究[J].铁道运输与经济，2016，38(5)：69-73.

[8] MENG Chuanshu.Study on Establishment of Emergency Knowledge Management System of Railway Transport Production[J].Railway Transport and Economy，2016，38(5)：69-73.

[9] 李 欣，冯小芳，金福才.铁路调度应急预案知识图谱构建[J].铁路计算机应用，2021(6)：21-26.

[10] LI Xin， FENG Xiaofang， JIN Fucai.Construction of Knowledge Graph of Railway Dispatching Emergency Plan[J].Railway Computer Application，2021(6)：21-26.

[11] 杨卿涛，郭文艳，倪维健，等.应急预案响应过程的BPMN模型自动抽取方法及实现[J].计算机集成制造系统，2022，28(10)：3212-3224.

[12] YANG Qingtao， GUO Wenyan， NI Weijian，et al.Automatic Extraction Method and Implementation of BPMN Model for Emergency Plan Response Process[J].Computer Integrated Manufacturing Systems，2022，28(10)：3212-3224.

[13] 王 普，李 平，阿茹娜，等.融合本体和深度学习的高速铁路应急预案数字化方法研究[J].铁道学报，2020，42(8)：29-36.

[14] WANG Pu， LI Ping， Ru'na A， YANG Lianbao.Method of Digitization of High Speed Railway Emergency Plan Integrating Ontology and Deep Learning[J].Journal of the China Railway Society，2020，42(8)：29-36.

[15] 刘 彤，陈思源，倪维健.基于SIF-Fasttext算法的应急预案快速生成[J].中国科技论文，2020，15(11)：1270-1276.

[16] LIU Tong， CHEN Siyuan， NI Weijian.Rapid Generation of Emergency Plan Based on SIF-Fasttext Algorithm[J].China Science Paper，2020，15(11)：1270-1276.

[17] ZHENG J， WANG Y M， CHEN S Q.Dynamic Case Retrieval Method with Subjective Preferences and Objective Information for Emergency Decision Making[J].IEEE/CAA Journal of Automatic Sinica，2018，5(3)：749-757.

[18] 李冬梅，罗斯斯，张小平，等.命名实体识别方法研究综述[J].计算机科学与探索，2022，16(9)：1954-1968.

[19] LI Dongmei， LUO Sisi， ZHANG Xiaoping，et al.Review on Named Entity Recognition[J].Journal of Frontiers of Computer Science and Technology，2022，16(9)：1954-1968.

[20] 张 真，李 宁，田英爱.基于双向LSTM网络的流式文档结构识别[J].计算机工程，2020，46(1)：60-66.

[21] ZHANG Zhen， LI Ning， TIAN Ying’ai.Stream Document Structure Recognition Based on Bidirectional LSTM Network[J].Computer Engineering，2020，46(1)：60-66.

[22] 刘明辉，唐望径，许 斌，等.实体类别信息增强的命名实体识别算法[J].应用学报，2023，41(1)：1-9.

[23] LIU Minghui， TANG Wangjing， XU Bin，et al.Named Entity Recognition Algorithm Enhanced with Entity Category Information[J］.Journal of Applied Sciences，2023，41(1)：1-9.

[24] MA R T， PENG M L， ZHANG Q，et al.Simplify the Usage of Lexicon in Chinese NER[C]// The Association for Computational Linguistics，2020ACL 2020.arXiv：

[25] 周雨佳，窦志成，葛松玮，等.基于递归神经网络与注意力机制的动态个性化搜索算法[J].计算机学报，2020，43(5)：812-826.

[26] ZHOU Yujia， DOU Zhicheng， GE Songwei，et al.Dynamic Personalized Search Based on RNN with Attention Mechanism[J].Chinese Journal of Computers，2020，43(5)：812-826.

[27] 邓依依，邬昌兴，魏永丰，等.基于深度学习的命名实体识别综述[J].中文信息学报，2021，35(9)：30-45.

[28] DENG Yiyi， WU Changxing， WEI Yongfeng，et al.A Survey on Named Entity Recognition Based on Deep Learning[J].Journal of Chinese Information Processing，2021，35(9)：30-45.

基金资助

国家自然科学基金青年科学基金项目(2201445)

天津市科技支撑计划重点项目(20YFZCGX00710)

中国国家铁路集团有限公司科技研究开发计划实验室基础研究项目(L2022G013)

中国铁路设计集团有限公司重点课题(2023A0253818)