基于DeBERTa语言模型的铁路通信应急文本的信息抽取方法

摘要

针对当前铁路应急文本信息抽取多依赖传统规则或基础机器学习方法，在结构化数据不足、专业术语密集、语义关联复杂的场景下存在泛化能力弱、抽取精度不足、对上下文语义理解欠缺，难以满足应急处置实时性与可靠性需求的问题，本研究提出一种基于解耦注意力BERT(DeBERTa)语言模型的铁路通信应急文本信息抽取技术。该技术首先利用DeBERTa语言模型将铁路通信应急文本数据表征为动态词向量。其次，通过双向长短期记忆(BiLSTM)网络学习文本中的长距离依存关系以提升长文本实体识别效果。再次，将BiLSMT网络处理后的向量传入多头注意力层进一步捕获文本间依赖关系。最后，通过条件随机场(CRF)层对结果序列进行约束。实验结果表明：该方法可有效提升铁路通信应急文本中事故类型、处置主体、处置措施等关键信息的抽取效率与精度，能更好适配应急文本的特性，为提升应急救援响应速度、保障铁路运输安全提供有力支撑，弥补了传统方法的不足。

关键词

DeBERTa模型 / 预训练语言模型 / 深度学习 / 铁路通信