高铁应急调度处置方案的大语言模型检索增强生成方法

高辉 ,  陈历泉 ,  鲁工圆

铁道运输与经济 ›› 2025, Vol. 47 ›› Issue (8) : 157 -166.

PDF (1379KB)
铁道运输与经济 ›› 2025, Vol. 47 ›› Issue (8) : 157 -166. DOI: 10.16668/j.cnki.issn.1003-1421.2025.08.16
信息化与智能化

高铁应急调度处置方案的大语言模型检索增强生成方法

作者信息 +

Large Language Model Retrieval-Augmented Generation Method for High Speed Railway Emergency Dispatch and Response Solutions

Author information +
文章历史 +
PDF (1411K)

摘要

既有的高速铁路应急调度处置方案决策方法,依赖铁路局调度所的高速铁路行车调度台,由列车调度员或成立专门小组根据规章制度和现场情况选择方案,通过与现场交互解决问题。为提高决策效率,提出高铁应急调度处置方案的大语言模型检索增强生成方法。首先,分析决策流程,提出高铁应急调度处置方案的大语言模型检索增强生成问题;其次,基于高速铁路列车调度员应急处置指导书,建立本地知识库;然后,构建大语言模型提示词模板,设计本地知识库的检索方法;最后,提出高铁应急调度处置方案的修正方法。实验结果显示,该方法在BLEU、ROUGE-1、ROUGE-2、ROUGE-L指标上达到了0.912 2,0.987 8,0.978 6,0.987 8,且纠错正确率达到了89.77%。结果表明,该方法不仅在生成高质量长文本方面表现出显著的有效性,还具备文本纠错能力。同时,在小参数规模的大语言模型chatglm2-6b下,该方法在相同指标上达到了0.862 3,0.957 9,0.936 0,0.955 9,依然保持了较高性能,进一步验证了其在小参数大语言模型下的有效性。

Abstract

Existing methods for high speed railway emergency dispatch and response solutions rely on the high speed railway traffic dispatching console at the railway bureau dispatching office. Dispatchers or dedicated teams select solutions based on regulations and on-site conditions and resolve issues through interaction with the site. To improve decision-making efficiency, a large language model retrieval-augmented generation method for high speed railway emergency dispatch and response solutions was proposed. Firstly, the decision-making process was analyzed to identify the problem of large language model retrieval-augmented generation for high speed railway emergency dispatch and response solutions. Secondly, a local knowledge base was established based on the emergency response guidelines for high speed railway train dispatchers. Then, a prompt template for the large language model was constructed, and a retrieval method for the local knowledge base was designed. Finally, a method for correcting emergency dispatch and response solutions was proposed. Experimental results demonstrate that this method achieves high scores of 0.912 2, 0.987 8, 0.978 6, and 0.987 8 in the BLEU, ROUGE-1, ROUGE-2, and ROUGE-L metrics, respectively, with a correction accuracy of 89.77%. These results indicate that the method not only shows significant effectiveness in generating high-quality long texts but also possesses strong text correction capabilities. Additionally, under the small-parameter-scale large language model chatglm2-6b, the method achieves scores of 0.862 3, 0.957 9, 0.936 0, and 0.955 9 in the same metrics, maintaining high performance and further validating its effectiveness in small-parameter-scale large language models.

Graphical abstract

关键词

高铁应急调度处置方案 / 大语言模型 / 检索增强生成 / 本地知识库 / 决策

Key words

High Speed Railway Emergency Dispatch and Response Solution / Large Language Model / Retrieval-Augmented Generation / Local Knowledge Base / Decision-Making

引用本文

引用格式 ▾
高辉,陈历泉,鲁工圆. 高铁应急调度处置方案的大语言模型检索增强生成方法[J]. 铁道运输与经济, 2025, 47(8): 157-166 DOI:10.16668/j.cnki.issn.1003-1421.2025.08.16

登录浏览全文

4963

注册一个新账户 忘记密码

0 引言

高速铁路作为轨道交通系统的重要组成部分,在面临突发事件、设备故障或自然灾害等应急情况时,铁路局集团公司调度所的决策主体会基于规章制度匹配适宜场景的处置方案指导调度指挥工作,这一过程被称为高铁应急调度处置方案决策[1]。随着人工智能的快速发展,智能决策技术在高铁应急调度领域的应用日益受到关注。利用大语言模型(Large Language Model,LLM)的检索增强生成技术(Retrieval-Augmented Generation,RAG)[2],研究高铁应急调度处置方案的生成,旨在提供高效的决策支持。

在早期,应急处置方案决策方法主要依赖于基于案例的推理(Case-Based Reasoning,CBR)和基于规则的推理(Rule-Based Reasoning,RBR)[3]方法。随后,研究者们结合了神经网络的方法,如李小平[4]提出的基于粒子群优化-反向传播神经网络(Particle Swarm Optimization-Back Propagation Neural Network,PSO-BP)的案例检索算法,以及基于BP神经网络的案例学习算法。左静等[5]基于案例态势信息,结合云模型和贝叶斯网络构建了铁路突发事件应急决策模型。刘晓琴[6]提出了多种多属性群决策方法,包括基于云模型和TOPSIS的方法等。近年来,Maalel等[7]利用信息检索技术搜集应急预案和历史案例,进行适应性修订,以制定当前情景的处置方案。张贤淼[8]提出了以应急效用最大和应急成本最小为目标的多目标应急处置方案选择模型。张志博等[1]基于铁路规章对高速铁路应急调度处置流程进行了流程分解与重构,并建立了多工种协同处置流程模型。

人工智能领域的持续进步,特别是大语言模型的快速发展,为智能决策技术的应用提供了广阔的空间。2018年OpenAI推出具有1.17亿参数的生成式预训练变换器(Generative Pre-trained Transformer,GPT),2020年GPT-3模型参数达1 750亿,而后又推出了专门用于对话的ChatGPT和支持多模态输入的GPT-4[9-10]。此外,清华大学团队提出了一种基于自回归空白填充的通用语言模型GLM[11]。国内外大语言模型不断地更新迭代,使其在金融[12]、政务[13]、医学[14-16]、通信[17]等领域得到了广泛的应用。

但是大语言模型依旧存在一定的可解释性和可信度问题,对此研究者们将检索增强生成技术和大语言模型相结合。通过向大语言型模型提供额外知识实现对外部信息的整合,可以增强模型的决策和创造能力,并提供决策信息支撑的条件[18]

综上所述,针对高铁应急调度处置方案决策问题,主要是通过案例推理、多属性决策、信息检索、神经网络算法等技术进行决策方法的研究。研究高铁应急调度处置方案的大语言模型检索增强生成方法,为高铁应急调度处置方案的智能决策提供支持。

1 问题分析

针对高铁应急调度处置方案决策问题,以决策主体的决策请求为输入,基于大语言模型的文本生成能力,结合RAG和正则表达式技术,输出结构化的高铁应急调度处置方案。

1.1 高铁应急调度处置方案决策流程分析

高铁应急调度处置方案的决策流程涉及多个层面的信息交互,包括铁路局集团公司调度所、基层站段、中国国家铁路集团有限公司(以下简称“国铁集团”)运输调度指挥中心和路外单位[119]。高铁应急调度处置方案决策流程如图1所示。

《高速铁路列车调度员应急处置指导书》是应对突发应急事件时的关键决策依据,由各铁路局集团公司调度所制定,包括参与应急处置的各部门、工种、岗位及其相应的操作步骤,具有流程化和结构化的特点。

高铁应急调度处置方案决策流程的现有决策主体是调度员或者应急决策小组,整个流程主要涉及高速铁路基层站段和调度所之间的信息交互,核心在于调度所要快速准确地形成一份处置方案。突发应急事件发生时会对调度员产生巨大的考验,完全依赖人工决策不仅影响高速铁路正常运行的效率,而且难以应对复杂多变的情况。

通过将大语言模型与高铁应急调度领域的专业知识相结合,进行高铁应急调度处置方案的生成来辅助决策,可以更好地应对复杂多变的情况,促进应急处置工作的高效与规范进行,改善高铁系统的运行效率。

1.2 基于RAG技术的高铁应急调度处置方案生成分析

大语言模型通过预训练阶段来掌握自然语言的丰富性和复杂性,进而生成流畅且自然的文本。模型通常基于Transformer架构构建,该架构以自注意力机制为核心,使得模型能够同时处理输入序列中的每个元素,并捕捉它们之间的复杂关系[20]

为了将大语言模型应用于生成高铁应急调度处置方案,采用RAG和正则表达式技术来增强模型在该专业领域的能力。高铁应急调度处置方案的大语言模型检索增强生成流程如图2所示。

语义表示和语义检索是RAG最关键的2个步骤,使用文本嵌入模型将问题向量化,再结合知识向量数据库和近似最近邻搜索算法进行检索,这些检索结果与用户问题一同输入大模型,将带参数记忆的大模型与非参数记忆的外部知识库相融合,可以得到更为准确的文本生成[18]。此外,正则表达式技术能够优化大语言模型在专业领域生成的长文本输出,提高其清晰度和结构化程度,从而为调度员提供更易于理解和快速响应的处置方案。

该技术显著提高了通用大型语言模型在专业领域的性能,具体表现在以下几个方面。

(1)专业性和可解释性。通过利用知识库的内容来生成答案,模型的专业性得到了显著增强。并且RAG技术确保了输出文本基于可靠的文档,这不仅提高了结果的可解释性,也增强了其可信度,便于用户溯源查证。

(2)灵活性和成本效益。支持本地部署,使得知识库能够根据最新信息进行灵活更新。这种灵活性提高了模型的适应性和扩展性,同时降低了部署和维护成本,确保了数据隐私和安全性。

(3)提升输出的清晰度。优化后的模型输出更加清晰和结构化,使得调度员能够快速理解并采取行动,从而提高了应急响应的效率。

2 高铁应急调度处置方案的大语言模型检索增强生成方法

2.1 高铁应急调度处置方案的大语言模型检索增强生成方法架构

高铁应急调度处置方案的大语言模型检索增强生成方法架构如图3所示。

高铁应急调度处置方案的大语言模型检索增强生成方法由本地知识库、大语言模型、处置方案修正3个主要模块构成。

(1)本地知识库模块。将高铁应急调度处置方案用语义表示技术转化为向量,然后存储到本地向量数据库中。

(2)大语言模型模块。调度员输入的方案决策请求通过语义表示技术转化为向量,在本地知识库中通过语义检索技术检索出相关的向量,相关向量的文本和提问内容文本一起构建为大语言模型的提示词模板,作为提示词输入给大语言模型,得到初步的处置方案。

(3)处置方案修正模块。将大语言模型生成的初步处置方案利用正则表达式进行修正,最终输出结构化的处置方案。

2.2 高铁应急调度处置方案本地知识库

高铁应急调度处置方案本地知识库的构建,主要包括2个步骤,首先对整个文本的知识库进行数据预处理,按一定规则对文本进行切分;然后对切分好的文本块,用文本嵌入模型转化为向量,存储到高铁应急调度处置方案向量数据库中。

2.2.1 文本预处理与切分

在进行文本预处理和切分时,现有算法主要是基于固定长度和重叠长度的策略,以保持文本的语义连续性。

文本块的切分可以通过以下公式计算。

n=LtL+O

式中:Lt 为原始文本的长度;L为每个文本块的基础长度;O为保持上下文连贯性的重叠部分长度;n为文本的切分数量。

每个文本块Ti 的起始和结束位置可以通过以下公式确定。

starti=(i-1)×(L+O)

式中:starti 表示每个文本块Ti 的起始位置。

endi=min(Lt,starti+L)

式中:endi 表示每个文本块Ti 的结束位置。

本研究的对象是高铁应急调度处置方案的决策,根据M铁路局集团公司调度所编制的《高速铁路列车调度员应急处置指导书》,每一种事件类别对应一种处置方案,每一种处置方案的长度不一、差距过大,如果按照基于固定长度和重叠长度的策略会造成语义一定程度的丢失,因此结合场景特点对每一条处置方案单独进行切块,确保处置方案的完整性。

2.2.2 文本向量化

文本向量化旨在将文本转化为固定维度的数值向量。采用经过预训练的文本嵌入模型,相比独热编码(One-Hot Encoding)这种传统方法能够将语义上相似的词在向量空间中表示为接近的向量,同时捕捉词的上下文信息和序列关系[21]。文本向量化公式表示如下。

v=E(t)

式中:t为一个文本块;v为该文本在文本嵌入模型E中的嵌入向量。

为了衡量不同文本向量之间的相似性,使用余弦相似度作为度量标准。文本块的切分可以通过以下公式计算。

cosθ=<v1v2>v1v2

式中:cosθ为余弦距离;v1v2分别代表2个文本的向量。

文本向量化原理如图4所示。

不同文本经过文本嵌入模型转化为向量,如果语义更相近,那么向量之间的距离就更小。最终将向量存储到本地向量数据库中,便于快速检索和查询。

2.3 基于高铁应急调度处置方案知识库的大语言模型

在知识库层面,采用文本嵌入模型,将《高速铁路列车调度员应急处置指导书》以向量形式存储于向量数据库中,从而实现了数据的即时更新与调整。此外,结合本地知识库的检索能力和大型语言模型的提示词模板,构建了一个专门针对高铁应急调度处置方案知识库的大语言模型,旨在提升应急调度处置方案的生成效率和质量。

2.3.1 大语言模型提示词模板构建

当用户输入确定之后,经过在本地知识库的检索,可以得到与用户输入相关的文本。为了引导大语言模型生成准确的应急调度处置方案,需要设计严谨的高铁应急调度处置方案提示词模板,作为大语言模型的输入内容,大语言模型根据提示词模板的内容以及自己在预训练中得到的文本生成能力进行回答。

提示词模板构建公式如下。

T=f(RQK)

式中:T为最终生成的提示词模板;R为对大语言模型的具体要求;Q为用户的提问;K为从知识库检索出来的知识。

Topt=argmaxTScore(TLM)

式中:Topt 为经过优化的最终模板;Score(T,LM)为一个评分函数,用于评估模板T与大语言模型LM的适配度。

根据提示词模板中所有的内容可以生成初步的高铁应急调度处置方案,为决策主体提供智能辅助决策的作用。

2.3.2 本地知识库检索

本地知识库检索方式主要包括2种,分别为关键字检索和向量检索。

(1)关键字检索。此方法没有基于2.2.2节的文本向量化,而是直接匹配用户查询中的关键字与知识库中的文本内容,找出包含这些关键字的文档或信息,容易忽略词序和语义。

(2)向量检索。将文本转换为向量形式,并在高维空间中进行相似度计算,从而考虑词序和上下文,提供更准确的语义匹配[22]。向量之间的相对距离可以反映语义相似度的大小,计算相似度的2种常用方法是欧式距离和余弦距离。

deuclidean(v1v2)=i=1D(v1i-v2i)2

式中:deuclidean为欧式距离;v1v2分别为2个文本的向量;D为向量的维度。

dcosine(v1v2)=1-v1·v2v1v2

式中:dcosine为余弦距离。

大语言模型基于内部的语言理解能力,并整合从本地知识库中检索到的相关信息。这些信息与用户的输入相结合,根据2.3.1节构建的提示词模板,作为输入提供给模型。这种设计使得模型在生成文本时,能够融合自身的语言知识和与查询紧密相关的外部知识,从而显著提高了生成文本的相关性和准确性。

2.4 高铁应急调度处置方案修正

高铁应急调度处置方案具备结构化和流程化的特征。然而,大型语言模型生成的文本往往是连续的段落,缺乏必要的清晰度和条理性,这使得调度员难以迅速把握和传达方案的核心内容。

为了解决这一问题,采用正则表达式技术,对基于高铁应急调度处置方案知识库的大型语言模型生成的初步文本进行优化。

          Result=L1:"description":T1,"subsections":L2:"description":T2"subsections":L3:T3

式中:Result表示最终结构化的高铁应急调度处置方案;Ln 表示第n层级的标题或编号;Tn 表示Ln 的文本内容,n = 1,2,3。

通过这一方法,能够输出更加结构化、流程化且易于理解的处置方案,确保调度员能够迅速、准确地执行应急操作,从而提高高铁应急调度的效率和安全性。

3 实验

以大语言模型、文本嵌入模型、TOP-K(相关文本匹配数量)为变量进行实验。大语言模型选择gpt3.5-turbo和chatglm2-6b,文本嵌入模型选择Bge-large-zh-v1.5和Text2vec-base-chinese。TOP-K是指在本地知识库检索时检索出相关性排名前K的处置方案文本,将TOP-K值分别设置为1,2,3。大语言模型参数Temperature设置为0,表示在输出时随机性最小。实验的输入查询为“某种类别的应急处置方案步骤是什么”。实验的输出是高铁应急调度处置方案。

3.1 实验环境及数据集

实验环境配置如表1所示。

实验数据为M铁路局集团公司调度所《高速铁路列车调度员应急处置指导书》,其中包含7章内容,共88条应急处置类别。最短的一种应急处置方案包含44个字,最长的一种应急处置方案包含1 458个字,平均每一种应急处置方案包含549个字,共约48 000字。

3.2 评价指标

评价指标选择BLEU、ROUGE-1、ROUGE-2、ROUGE-L。其中,BLEU和ROUGE指标都是衡量生成文本与参考文本之间的重叠程度。ROUGE-1评估的是一元词组的重叠;ROUGE-2评估的是二元词组的重叠;ROUGE-L评估的是最长公共子序列的长度,更注重保持原文的顺序和结构;BLEU则是分别计算了一元词组、二元词组、三元词组和四元词组的重叠程度,最后取平均值,以此评估生成文本与参考文本词组之间的平均重叠程度。

各个评价指标计算公式为

ROUGE-n=S{Reforders}gramsSCmatchgramnS{Reforders}gramsSCgramn

式中:Cmatch (gramn )为生成文本与参考文本共有的n元词数目,个;C(gramn )为参考文本的n元词数目,本文取n = 1,2,个。ROUGE-1和ROUGE-2可以从词汇级别对文本生成结果进行评价,取值在0到1之间,数值越大表示相似度越高。

ROUGE-n=S{Reforders}gramsSCmatchgramnS{Reforders}gramsSCgramn

式中:LCS(X,Y)为生成文本和参考文本连续最长公共子序列的长度;m为参考文本的长度。ROUGE-L可以从句子级别对文本生成结果进行评价,取值在0到1之间,数值越大表示相似度越高。

BLEU=BP×expn=1NWn×logPn

式中:N = 4,代表分别计算了一元词组、二元词组、三元词组和四元词组的BLEU值;Wn 为权重,本文设置为1/4;BP为惩罚因子。平均BLEU值可以表示文本生成的流畅程度,取值在0到1之间,数值越大表示相似度越高。

BP=1lclrexp(1-lrlc)lc<lr

式中:lc为生成文本的长度;lr为参考文本的长度。

3.3 高铁应急调度处置方案生成效果实验

3.3.1 处置方案整体生成效果实验

实验过程中大语言模型选择chatglm2-6b,文本嵌入模型选择Bge-large-zh-v1.5,TOP-K设置为2,文本生成结果示例如表2所示。

表2中的生成结果示例与实际的处置方案文本内容完全一致。

将88种应急处置方案类别分别提问,共12组、88 × 12次提问实验,处置方案文本整体生成评价如表3所示。

由实验结果可知,对于gpt3.5-turbo,随着TOP-K值的增加,文本生成质量持续提升。相比之下,chatglm2-6b在TOP-K值为2时达到最高文本生成质量。在TOP-K值为1时,2种模型的文本生成质量相近,但在TOP-K值为2或3时,gpt3.5-turbo的性能已超越chatglm2-6b。单条高铁应急调度处置方案文本长度最高可以达到1 458个字,TOP-K值增加时长度更大。这一现象表明,gpt3.5-turbo在处理更大量提示词时,仍能保持处置方案的生成质量,而chatglm2-6b在面对过多提示词时,虽然其性能有所下降,但是依然具备较高的处置方案生成准确性。

3.3.2 处置方案生成精确性实验

实验过程中大语言模型选择chatglm2-6b,文本嵌入模型选择Bge-large-zh-v1.5,输入查询设置“站内列车占用丢失的步骤是什么”,文本生成结果对比示例如表4所示。

表4所示,TOP-K = 1时,模型生成的处置方案与标准方案完全匹配,当TOP-K增至2时,模型在第7步的二级步骤上有所遗漏。但是表3显示,在TOP-K为2时,文本生成的整体质量优于TOP-K为1的情况。这表明,较高的TOP-K值能够提升检索的准确性,从而为大语言模型提供更准确的处置方案提示。

为了进一步探究在文本嵌入模型准确检索的情况下,TOP-K对大语言模型回答精确性的影响,排除之前检索错误的处置方案,重新评估在完全准确检索条件下的大语言模型表现。处置方案文本生成精确性评价如表5所示。

结果显示,对于gpt3.5-turbo,TOP-K值在1至3的范围内,并未显著影响其回答的精确性。这进一步证实了gpt3.5-turbo在处理多文本输入时的强大适应能力。然而,对于chatglm2-6b,较小的TOP-K值能够带来更高的回答精确性。

3.4 大语言模型纠错能力实验

3.3节实验结果表明,基于高铁应急调度处置方案知识库的大语言模型在长文本生成方面表现出色,ROUGE-L值最高达0.987 8。此外,该模型不仅能够生成文本,还具备纠错功能。当输入错误的处置方案时,模型能够识别错误并提供正确的修正。

为了验证这一纠错能力,选取在先前实验中表现最佳的gpt3.5-turbo大语言模型和Bge-large-zh-v1.5文本嵌入模型,并设置TOP-K值为3。测试方法为:输入格式设定为“xx第一步是否为xx,如果不是,那么正确步骤是什么?”,实际测试中故意将错误的第二步方案输入模型,以检验其纠错能力。

实验过程的大语言模型纠错效果示例如表6所示。

最终88条错误的处置方案步骤,大语言模型可以识别出79条并进行正确纠错。纠错正确率达到了89.77%,验证了大语言模型在特定条件下的纠错能力,为未来的研究和应用提供了新的视角。

4 结论

针对高铁应急调度处置方案决策问题,提出了高铁应急调度处置方案的大语言模型检索增强生成方法。经过实验验证,本研究提出的方法具有以下优势。

(1)准确性。针对高铁应急调度处置方案,具有优秀的长文本生成准确性,ROUGE-L最高可以达到0.987 8。并且在小参数规模的大语言模型chatglm2-6b下,ROUGE-L也可以达到0.955 9,依然保持了较高性能。

(2)高效性。经过高铁应急调度处置方案修正,可以改善大语言模型输出不够清晰的问题,提高决策时的效率。

(3)纠错能力。基于高铁应急调度处置方案知识库的大语言模型具有专业纠错能力,针对实验场景纠错正确率可以达到89.77%。

(4)易用性。大语言模型的自然语言交互特性使其更容易与调度员进行沟通,减少了学习成本。

由于通用的文本嵌入模型以及检索方法会对处置方案的文本生成质量带来影响,因此在未来研究中构建专用的文本嵌入模型,并重新设计检索方法是进一步提高文本生成质量的可能有效方法。

参考文献

[1]

张志博,彭其渊,周凌霜,. 高速铁路应急调度协同处置流程结构化分析方法研究[J]. 铁道运输与经济202143(4):120-127.

[2]

ZHANG ZhiboPENG QiyuanZHOU Lingshuanget al. Research on Structural Analysis Method of High Speed Railway Emergency Dispatching Collaborative Disposal Process[J]. Railway Transport and Economy202143(4):120-127.

[3]

LEWIS PPEREZ EPIKTUS Aet al. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks[EB/OL].(2024-04-12)[2024-09-18].

[4]

CUI Y PTANG Z MDAI H B. Case-Based Reasoning and Rule-Based Reasoning for Railway Incidents Prevention[C]//Proceedings of ICSSSM’ 05.2005 International Conference on Services Systems and Services Management.Chongqing:IEEE,2005:1057-1060.

[5]

李小平. 铁路突发事件应急救援智能决策关键技术研究[D]. 兰州:兰州交通大学,2013.

[6]

左 静,帅 斌. 铁路非常规突发事件应急救援决策方法研究[J]. 交通运输系统工程与信息201414(6):120-125.

[7]

ZUO JingSHUAI Bin. Decision-Making Method for Unconventional Railway Emergency Rescue[J]. Journal of Transportation Systems Engineering and Information Technology201414(6):120-125.

[8]

刘晓琴. 铁路应急管理辅助决策方法研究[D]. 北京:中国铁道科学研究院,2017.

[9]

MAALEL AMEJRI LGHÉZALA H BEN. Adast:Intelligent Support of Decision Making to Improve Security Analysis. Application to Railroad Accidents[J]. Intelligent Decision Technologies201610(1):13-26.

[10]

张贤淼. 多制式区域轨道交通突发事件协同应急决策方法研究[D]. 成都:西南交通大学,2019.

[11]

RADFORD ANARASIMHAN K.Improving Language Understanding by Generative Pre-Training[EB/OL].(2018-06-11)[2024-09-18].

[12]

BROWN TMANN BRYDER Net al. Language Models are Few-Shot Learners[J]. Advances in Neural Information Processing Systems202033:1877-1901.

[13]

DU Z XQIAN Y JLIU Xet al. GLM:General Language Model Pretraining with Autoregressive Blank Infilling[EB/OL].(2022-03-17)[2024-09-18].

[14]

陆岷峰,高 伦. 大语言模型发展现状及其在金融领域的应用研究[J]. 金融科技时代202331(8):32-38.

[15]

LU MinfengGAO Lun. Research on the Development Status and Application of Big Language Models in the Financial Field[J]. FinTech Time202331(8):32-38.

[16]

王 昀,胡 珉,塔 娜,. 大语言模型及其在政务领域的应用[J].清华大学学报(自然科学版)202464(4):649-658.

[17]

WANG YunHU MinNa TAet al. Large Language Models and Their Application in Government Affairs[J]. Journal of Tsinghua University (Science and Technology)202464(4):649-658.

[18]

胡振生,杨 瑞,朱嘉豪,. 大语言模型在医学领域的研究与应用发展[J]. 人工智能202310(4):10-19.

[19]

康砚澜,郭倩宇,张文强,. 基于知识增强的医学语言模型:现状、技术与应用[J]. 医学信息学杂志202344(9):12-22.

[20]

KANG YanlanGUO QianyuZHANG Wenqianget al. Knowledge-Enhanced Medical Language Models:Current Status,Techniques,and Applications[J]. Journal of Medical Informatics202344(9):12-22.

[21]

SINGHAL KAZIZI STU Tet al. Large Language Models Encode Clinical Knowledge[J]. Nature2023620(7972):172-180.

[22]

刘贤松,陈 凌,尹 俊. 通信行业语言大模型技术和应用研究[J]. 邮电设计技术2023(7):14-19.

[23]

LIU XiansongCHEN LingYIN Jun. Research on Large Language Model Technology and Application in Communication Industry[J]. Designing Techniques of Posts and Telecommunications2023(7):14-19.

[24]

田永林,王兴霞,王雨桐,. RAG-PHI:检索增强生成驱动的平行人与平行智能[J]. 智能科学与技术学报20246(1):41-51.

[25]

TIAN YonglinWANG XingxiaWANG Yutonget al. RAG-PHI:RAG-Driven Parallel Human and Parallel Intelligence[J]. Chinese Journal of Intelligent Science and Technology20246(1):41-51.

[26]

杨国柱.高速铁路应急处置现状分析及优化策略[J].铁道运输与经济202244(07):90-95.

[27]

YANG Guozhu. Analysis and Optimization Strategies of Emergency Disposal for High Speed Railway[J]. Railway Transport and Economy202244(7):90-95.

[28]

VASWANI ASHAZEER NPARMAR Net al. Attention is all you need[J]. Advances in neural information processing systems2017, 30.

[29]

MIKOLOV TCHEN KCORRADO Get al.Efficient Estimation of Word Representations in Vector Space[EB/OL]. 2013:1301.3781.

[30]

JOHNSON JDOUZE MJÉGOU H. Billion-Scale Similarity Search with GPUs[J]. IEEE Transactions on Big Data20217(3):535-547.

基金资助

国家重点研发计划项目(2022YFB4300502)

国家自然科学基金项目(52272324)

AI Summary AI Mindmap
PDF (1379KB)

0

访问

0

被引

详细

导航
相关文章

AI思维导图

/