基于大型语言模型的药理学考试主观题智能评分研究

Research on intelligent scoring of subjective questions in Pharmacology exams based on Large Language Models

摘要

文章探讨大型语言模型（large language model，LLM）在药理学主观题智能评分中的应用效果。选取ChatGPT 4.0、Claude 2、讯飞星火认知大模型3.0、智谱清言3.0和文心一言3.5 五种 LLM，通过多种评分标准和提示工程技术，对药理学短文本类主观题进行评分。结果显示，ChatGPT 4.0评分上表现最为出色，平均绝对误差率（mean absolute error rate，MAER）和均方根误差（root mean square error，RMSE）分别为0.051 7和1.033 9，且组内相关系数（ICC）高达0.936，表明其评分具有较高的一致性和准确性。Claude 2紧随其后，MAER和RMSE分别为0.072 4和1.299 9，ICC为0.893，同样显示出良好的评分性能。其他模型在评分一致性和偏差方面表现较差，尤其是讯飞星火认知大模型3.0，MAER和RMSE分别为0.282 8和3.028 6，ICC仅为0.217。总体来看，LLM能有效利用其语言理解和逻辑推理能力，实现主观题的智能评分，并提供详尽的评分解析，这有助于提升学生的学习效率和自我评估能力。相比传统人工评分，LLM 在主观题智能评分方面具有更高的效率和成本效益。该研究为ChatGPT等先进模型在教育领域的应用提供了新的视角和方法，也为未来教育结合人工智能的发展与应用提供借鉴。

Abstract

This article explores the application effect of Large Language Model (LLM) in intelligent scoring of subjective questions in Pharmacology. Five LLMs, namely ChatGPT 4.0, Claude 2, iFLYTEK Spark Large Cognitive Model 3.0, ChatGLM 3.0, and ERNIE Bot 3.5, were selected to score the subjective questions of short text of Pharmacology through a variety of scoring standards and prompt engineering techniques. The results showed that in terms of scoring, ChatGPT 4.0 performed the best, with mean absolute error rate (MAER) and root mean square error (RMSE) of 0.051 7 and 1.033 9, respectively, and intraclass correlation coefficient (ICC) of 0.936, indicating a high level of consistency and accuracy in its scoring. Claude 2 followed closely, with MAER and RMSE of 0.072 4 and 1.299 9, respectively, and ICC of 0.893, demonstrating good scoring performance. Other models perform poorly in terms of score consistency and bias, especially iFLYTEK Spark Large Cognitive Model 3.0, with MAER and RMSE of 0.282 8 and 3.028 6, respectively, and ICC of only 0.217. Overall, LLM can effectively utilize its language comprehension and logical reasoning abilities, achieve intelligent scoring of subjective questions, and provide detailed scoring analysis, which helps to improve student’s learning efficiency and self-evaluation ability. Compared with traditional manual scoring, LLM has higher efficiency and cost-effectiveness in intelligent scoring of subjective questions. This study provides a new perspective and method for the application of advanced models such as ChatGPT in the field of education, and also provides reference for the development and application of artificial intelligence in future education.

Graphical abstract

关键词

人工智能 / 大型语言模型 / 主观题智能评分 / 药理学 / 提示工程

Key words

artificial intelligence / Large Language Models / intelligent scoring of subjective questions / Pharmacology / prompt engineering

教育领域的技术创新对于提升高校教学质量具有重要意义。 近年来，随着人工智能（AI）技术的迅速发展，其在教育领域的应用越来越受到重视。2023年9月，联合国教科文组织颁布了《生成式人工智能教育与研究应用指南》，这是全球首份生成式人工智能相关的指南性文件，旨在促使生成式人工智能能够更好地融入教育，并指出了人工智能在教育领域的使用方法和风险。药理学作为医学教育的重要组成部分，将大型语言模型等人工智能技术应用于药理学教学研究，能够提高教学效率并促进个性化学习。

主观题自动评分旨在模拟人工对文本进行评分的过程，为教育领域提供智能化的支持。 早期的主观题评分主要依赖于领域专家创建的评分规则和规范^[1]，评分过程通常包括将学生答案与规则匹配，根据规则中的预定条件进行打分。虽然这些方法在特定领域表现出色，但其适用性受到了领域专家和规则的限制^[2]。此外，维护和更新规则库也是一项复杂的任务。随着机器学习技术的发展，主观题自动评分进入了一个新的阶段^[3]。进入21世纪，研究人员开始探索如何使用机器学习算法构建评分模型。这些模型通过训练数据学习评分模式，而不需要事先编写评分规则。常见的机器学习算法包括决策树、随机森林、支持向量机和神经网络。自2017年Transformer^[4]模型提出以来，它的自注意力机制和并行处理能力使其在自然语言处理领域取得了显著的成功，成为当前的主流模型之一。Transformer模型的成功应用，为基于大型语言模型的主观题自动评分提供了理论基础和技术支持。它通过捕捉文本中的长距离依赖关系，提取关键信息，并生成评分和反馈意见，从而实现主观题的自动评分^[5]。之后，基于Transformer架构的大型语言模型，如GPT、BERT等的出现，开启了主观题自动评分的新局面。这些大型语言模型具有出色的自然语言处理能力，能够理解学生的答案、检测语法错误、评估内容和逻辑结构。模型通过预训练和微调的方式，在大规模文本数据上学习语言知识和模式，能够用于多领域的主观题评分，这可以极大提高评分效率和一致性，同时可以降低时间和人工成本^[6]。

因此，此次研究尝试引入人工智能技术，探索基于大型语言模型的主观题自动评分应用效果。文章以含参考答案的短文本类主观题简答题为例，选取了ChatGPT 4.0、Claude 2、讯飞星火认知大模型3.0、智谱清言3.0和文心一言3.5等模型，检验不同模型在短文本类主观题自动评分时的效果，以找出更适合此类题型的模型，期望能为后续自动评分技术的优化或开发评分系统提供理论依据。同时，通过对比不同模型的评分情况，可以揭示各模型的优缺点，为今后的模型优化提供参考。

1 大型语言模型概述

1.1 理论基础

大型语言模型（large language model，LLM）是一种使用深度学习技术训练的模型，它可以理解和生成人类语言。这些模型通常由数十亿到数千亿的参数组成，因此被称为“大型”语言模型^[7]。它们可以执行各种自然语言处理（natural language processing，NLP）任务，如文本生成、文本理解、问答、摘要、翻译等。大型语言模型通常是在大规模的文本数据集上进行预训练的，预训练的目的是学习语言的一般规律和知识^[8]。预训练完成后，模型可以在特定的任务上进行微调，以适应具体的需求。这种预训练+微调的方法使得大型语言模型能够在各种NLP任务上表现出卓越的性能^[9-10]。

Transformer是由Google的研究团队于2017年提出的一种基于注意力机制的序列转换模型，它摒弃了循环神经网络（recurrent neural network，RNN）和卷积神经网络（convolutional neural network，CNN），仅通过注意力机制实现输入和输出之间的全局依赖关系^[11]。如图1所示，Transformer的架构包括编码器（encoder）和解码器（decoder），编码器的主要功能是将输入转化为词向量（self-attention），而解码器则基于编码器的输出，生成翻译结果。每个编码器和解码器都由多个相同的层组成，每个层都包含自注意力机制和前馈神经网络。这种架构使得Transformer在处理序列转换任务时，能够同时捕捉序列中的局部和全局依赖关系，从而提高模型的性能。

Transformer模型首先将文本序列通过嵌入转化为机器可以理解的向量，并通过位置编码捕获词序信息。编码器由多层组成，其中包括多头注意力机制和前馈神经网络，以捕捉文本中的长距离依赖关系。解码器也有相似的结构，但增加了对编码器输出的注意机制和掩蔽多头注意力机制，以保证在预测时不使用未来的信息。最后，输出经过线性层和softmax函数处理后转化为概率，确定下一个单词的预测。此模型已成为NLP许多最先进模型的基石，其架构允许并行处理，并能有效地捕捉单词之间的上下文关系，无论它们在序列中的位置如何。Transformer是研究者在深度学习和NLP领域取得进步的证明，证明了这一领域在理解和处理人类语言方面取得了巨大的进展。

对于大型语言模型，合理设置Temperature和Top Probability（简称Top P）参数对于指导模型生成高质量、符合场景需求的文本至关重要。根据实际应用场景的不同，这两个参数的值需要进行精细的调整。在需要准确和专业的输出时使用较低的Temperature和Top P值，在寻求创意和多样性的场景中使用较高的值。每次调整参数时，建议一次只针对一个参数进行修改，以避免对输出的一致性和可预测性造成不利影响^[12]。虽然较高的Temperature和Top P值可能会产生更具创造性的输出，但并不意味着输出会因此变得更加出色或高质量。相反，过度提高这两个参数的值可能会导致输出偏离问题的核心或产生不相关的内容。在某些情况下，模型可能会生成看似合理但却与用户输入、先前生成的上下文或事实知识不符的结果，这种现象通常被称为“幻觉”。为避免幻觉的产生，需要定期在独立的验证集上评估模型性能以确保其泛化能力，以及调整模型架构和参数以提高其稳定性。适当地设置Temperature和Top P参数也有助于控制生成内容的随机性和确定性，从而降低幻觉发生的概率。

1.2 模型选取

在众多的大型语言模型中，该研究通过选取ChatGPT 4.0、Claude 2、讯飞星火认知大模型3.0、智谱清言3.0和文心一言3.5这五种国内外具有代表性和影响力的模型，这些模型具有较强的语言处理能力和广泛的应用前景^[13]。

ChatGPT 4.0和Claude 2都是基于Transformer架构的大型语言模型，拥有强大的文本生成和理解能力，可以处理复杂的自然语言处理任务。这两种模型在英文文本的处理上具有优势，可以提供准确和符合语境的评分结果。ChatGPT 4.0是由Open AI推出的通过在大量文本数据上进行预训练学习语言规律和知识。这个预训练数据包括书籍、网页、文章等多种文本。预训练后，模型还会通过特定任务的数据进行微调，以提高在特定领域或任务上的表现，具有数十亿到数千亿数量级的参数，这些参数捕捉和存储了大量的语言知识和模式。在训练中还结合了人类提供的反馈，通过强化学习的方式进一步优化模型的表现。该文通过微软云搭建ChatGPT Web服务。首先，在Azure平台上创建订阅，接着访问微软提供的OpenAI模型服务，在Azure控制台上开通并使用Azure OpenAI服务。登录Azure OpenAI Studio后，在“聊天操场”中创建和管理模型Deployments，再使用其模型进行评分测试。

此外，Claude 2更注重交互性和理解人类语言的能力，它可以更好地理解主观题的含义，从而提供更准确的评分，并支持10万tokens的输入，可以一次性输出4 000个tokens，3 000多个单词。

讯飞星火认知大模型3.0（SparkDesk 3.0）是基于BERT架构的大型语言模型。BERT是一个基于Transformer的编码模型，它采用双向的自注意力机制，可以更好地捕捉上下文信息，从而提高模型的性能。而文心一言3.5（ERNIE Bot 3.5）是百度推出的全新一代知识增强大语言模型，基于飞桨深度学习平台和文心知识增强大模型，通过持续从海量数据和大规模知识中融合学习，具备知识增强、检索增强和对话增强的技术特色。智谱清言3.0（ChatGLM 3.0）是一款由北京智谱华章科技有限公司推出的基于智谱AI自主研发的中英双语对话模型ChatGLM 2-6B。经过万亿字符的文本与代码预训练，并采用有监督微调技术，以通用对话的形式为用户提供智能化服务，具有超1 300亿个参数，在多种任务中表现出色，如文本生成和机器翻译等。后三种模型在中文文本的处理上具有优势，能够更好地理解和生成中文文本，这使得该模型在进行中文主观题评分时能更好地理解并输出相应内容^[14-15]。

1.3 提示工程

提示工程（Prompt Engineering）致力于开发与优化提示词，使得大型语言模型能够适应不同场景和研究领域的需求。所谓提示词，是指那些能够激发或引导大型语言模型生成特定响应的输入文本，这些文本可以是单词、句子、文本段落，甚至一整篇文章的开头。

1.3.1 提示词设计和构建方法

提示词的设计和构建可依据其形态、功能及目的进行分类，每种类型具有其独特的特性与优缺点。设计方法主要分为规则基准和数据驱动两大类。规则基准方法依靠预先设定的规则或模板创建提示词，以确保一致性与解释性，但可能限制灵活性与创新性。相较之下，数据驱动方法通过分析大量数据学习或优化提示词，增强其适应性与创新力，但可能会在一定程度上牺牲其一致性和可解释性。

1.3.2 提示词优化策略

在提示词优化策略中，一种常见的方法是指令微调（instruction fine-tuning），它在训练阶段向模型提供明确指令，以提高生成内容的质量。此技术使得模型即使在零样本（zero-shot）环境下，亦能根据指令产生相关内容。不同于传统模型微调，这种方法着重于提供与上下文相关的信息，助力模型更深入理解任务要求和目标。少样本（few-shot）策略通过提供有限示例辅助模型理解任务，从而生成更准确的结果。用户还可以通过多轮交互与模型对话，逐步细化任务描述和需求，确保模型准确捕捉用户意图。思维链方法（chain-of-thought, CoT）要求模型逐步明确其逻辑和推理过程，有助于模型系统且细致地处理信息。这种做法不仅减少了结果的非准确性，还便于对模型响应进行评估。虽然这些方法能有效发挥模型的泛化能力，但为达到最佳效果，通常需要更精确和精炼的提示词。

2 实验设计与分析

2.1 数据集

实验采用了包含参考答案的短文本主观题作为数据源，这些数据源自实际的药理学考试中的简答题部分。研究人员选取29名学生的答案作为样本，这些答案已由教师进行过评分。如表1所示，在实验的评估过程中，运用了提示工程技术，其中包括为各个模型设定特定角色并下达详细指令，同时不断地优化和调整提示词^[16]。这种方法要求每个模型对29名学生的答案进行评分。这样的实验设计旨在更深入地分析各个模型的评分性能，并比较不同模型间评分结果的差异。

2.2 评价指标和统计分析方法

为了测试大型语言模型自动评分的性能，研究选用了平均绝对误差率（mean absolute error ratio，MAER）、均方根误差（root mean squared error，RMSE）、斯皮尔曼秩相关系数r_s 、Wilcoxon符号秩和检验、组内相关系数（ICC）、差值的中位数及四分位数[M（Q₁~Q₃）]等多维度评价指标，以全面评估大型语言模型在自动评分任务中的性能^[17-20]。斯皮尔曼秩相关系数r_s 用于评估模型评分与教师评分之间的相关性。该系数值为-1~1，数值越大表示两者评分越一致。Wilcoxon符号秩和检验则用于判断模型评分与教师评分是否有显著差异，以P＜0.05为差异有统计学意义。ICC指标反映了各模型评分与教师评分之间的一致性程度，值越接近1表明一致性越强。差值的M（Q₁~Q₃）反映了模型评分与教师评分之间的差异及离散程度。中位数差值越小，说明模型的评分越接近教师的评分；四分位数范围越小，表示评分稳定，偏差较小；四分位数范围越大，则表明评分波动大，偏差较离散。考虑到不同题目的满分不同，直接比较平均绝对误差（mean absolute error，MAE）可能会产生误解，因此笔者设计将MAE转换为MAER，这是通过将MAE值除以题目的满分，这样可以更公平地比较不同满分题型的模型性能。平均绝对误差率衡量了教师评分和模型评分之间的平均误差与分值的比值，均方根误差度量了教师评分和模型评分之间的偏差。MAER和RMSE值越低，意味着模型的评分性能越优异，且评分的准确性更高。

平均绝对误差率求解方式为:

R_{\mathrm{M}\mathrm{A}\mathrm{E}}=\frac{\mathrm{1}}{n}{\displaystyle \sum _{i=\mathrm{1}}^n}\frac{|{S_{\mathrm{T},}}_i-{S_{\mathrm{M},}}_i|}{S}（1）

均方根误差求解方式为:

R_{\mathrm{M}\mathrm{S}\mathrm{E}}=\sqrt[]{\frac{\mathrm{1}}{n}{\displaystyle \sum _{i=\mathrm{1}}^n}({S_{\mathrm{T},}}_i-{S_{\mathrm{M},}}_i{)}^{\mathrm{2}}}（2）

式中：R_MAE为平均绝对误差率；R_MSE为均根误差；n为学生回答的样本数量；S_T,i 为第i个学生的教师评分分数；S_M,i 为第i个学生的模型评分分数；S为题目分值。

2.3 不同模型的部分评分效果展示

根据预定的实验方案，对五种不同的模型采用了标准化的测试方法，为该研究的每个测试题提供了参考答案、得分点和总分（如表2所示），并将LLM评分结果与教师评分进行了比较。测试过程要求这些模型根据多个评分标准进行综合评分，这包括学生回答与标准答案的一致性、答案的完整性以及逻辑性等方面。笔者期望这些模型能够有效地利用其推理和问题解决能力，以便迅速且准确地理解题目，并提供清晰、逻辑严谨的评分及解释。

图2所展示的是模型对某一学生回答的评分，同时提供了相应的评分解释。Claude 2和文心一言3.5的评分结果与教师评分相符，陈述了其评分依据。然而，相较于教师实际评分，讯飞星火认知大模型3.0和智谱清言3.0给出的评分则较高。由于每个模型内部评分原理的不同，导致其在处理不同提示词和学生答案时的评分结果可能会存在差异。因此，在使用这些模型进行自动评分时，研究者必须意识到其潜在局限性，并据此进行合理的运用和调整。

2.4 实验结果

大型语言模型评分与教师评分之间的统计结果如表3所示。

其中，ChatGPT 4.0在所有模型中表现最好，具有最低的MAER值0.051 7和RMSE值1.033 9，这表明其评分与教师的评分最为一致，可能归因于其广泛的训练数据和先进的算法，这可能使其在理解复杂的学术性文本和评分标准上更为精确。Claude 2模型的MAER和RMSE值也比较低，分别为0.072 4和1.299 9，也表明评分一致性较好。而讯飞星火认知大模型3.0的误差在这两个指标上都是最高的，分别为0.282 8和3.028 6，表明其评分与教师评分的偏差最大。其他模型（如智谱清言3.0和文心一言3.5）的表现介于中等水平。斯皮尔曼秩相关系数r_s 分析结果表明，ChatGPT 4.0和Claude 2模型的评分与教师评分之间存在强正相关性，值分别为r_s=0.886（P_s<0.001）和r_s=0.831（P_s<0.001）。文心一言3.5（r_s=0.589，P_s=0.001）和智谱清言3.0（r_s=0.442，P_s=0.016），虽然同样显示出统计学意义上的正相关性，但相关系数较低。而讯飞星火认知大模型3.0（r_s=0.328，P_s=0.082）模型的相关性最低。

根据表3的Wilcoxon符号秩和检验结果，除了讯飞星火认知大模型3.0的评分与教师评分的差异有统计学意义（P=0.020），其他模型的评分结果与教师评分之间的差异均无统计学意义（P＞0.05）。同时，结合各模型和教师评分差值的M（Q₁~Q₃）、组内相关系数（ICC）综合评估，ChatGPT 4.0和Claude 2的表现最为出色。ChatGPT 4.0和教师评分差值的M（Q₁~Q₃）为0.0（0.0~0.5），Wilcoxon符号秩和检验的P=0.314；ICC=0.936。Claude 2和教师评分差值的M（Q₁~Q₃）为0.0（0.0~1.0），Wilcoxon符号秩和检验的P=0.125；ICC=0.893。文心一言3.5和教师评分差值的M（Q₁~Q₃）为1.0（0.0~2.0），Wilcoxon符号秩和检验的P=0.082；ICC=0.619。智谱清言3.0和教师评分差值的M（Q₁~Q₃）为2.0（0.0~2.0），Wilcoxon符号秩和检验的P=0.051；ICC=0.520。讯飞星火认知大模型3.0和教师评分差值的M（Q₁~Q₃）为2.0（-1.0~3.0），Wilcoxon符号秩和检验的P=0.020；ICC=0.217。

小提琴图能够直观地展示评分数据的分布形态及概率密度，便于研究者对不同模型和教师的评分数据进行对比分析。如图3所示，横坐标代表不同的评分来源，包括教师和五个模型，纵坐标则表示实际的评分值。

从图3可以看出，教师评分的分布范围较广，显示教师的评分具有较大的分散性。同时，教师评分的分布曲线在较高分数段有明显的集中，表明学生答题情况较好。ChatGPT 4.0和Claude 2的评分分布形态与教师评分非常相似，不仅在分散程度上接近，而且在评分的高低上也与教师评分保持一致，这表明其评分结果与教师评分有着较高的一致性。相比之下，文心一言3.5的评分分布虽然也较为广泛，但与教师评分的吻合度稍逊一筹，显示中等水平的一致性。讯飞星火认知大模型3.0和智谱清言3.0的评分分布则相对狭窄，这表明其评分数据较为集中，显示出一种相对保守的评分倾向。与教师评分相比，这两个模型的一致性较差。

3 讨论

3.1 大型语言模型在智能评分中的性能差异

该研究深入比较了不同大型语言模型（LLM）在药理学主观题评分任务上的性能，实验数据清晰地展示了各模型在评分准确性和一致性方面的显著差异。首先，ChatGPT 4.0和Claude 2的表现十分出色。ChatGPT 4.0以最低的平均绝对误差率（MAER）和均方根误差（RMSE）脱颖而出，显示出极高的评分准确性。其组内相关系数（ICC）高达0.936，这不仅表明该模型与教师评分之间的高度一致性，还反映了它对药理学相关知识的深刻理解和评分标准的精准把握。Claude 2同样表现出较强的评分能力，其ICC值为0.893，也证明了它与教师评分的高度吻合。这两个模型的优秀表现意味着它们在处理药理学主观题评分任务时具有极高的可靠性，能够有效地替代或部分替代传统的人工评分方式。

然而，并非所有模型都能达到这样的性能水平。讯飞星火认知大模型3.0在评分准确性和一致性方面表现明显不佳。其MAER和RMSE值均较高，ICC仅为0.217，显示出较大的评分偏差和较低的一致性。这可能与该模型的训练数据质量、算法设计或对药理学知识的理解不足有关。这种系统性的评分误差在实际应用中可能会导致不公平或不准确的评分结果，因此需要谨慎对待并寻求改进。文心一言3.5和智谱清言3.0在评分任务中的表现处于中等水平。虽然它们的MAER和RMSE值相对较高，但ICC值分别为0.619和0.520，表明这两个模型的评分与教师评分之间存在一定的相关性。尽管存在一定的偏差，但总体上这两个模型仍然能够提供相对可靠的评分结果，尤其是在大规模评分任务中可能具有一定的实用价值。

3.2 大型语言模型在教育领域中的潜力和挑战

LLM在教育领域展现出了显著的自动化评分潜力，模型具备优秀的自然语言处理能力，能够理解并解答药理学考试的主观题。ChatGPT 4.0和Claude 2等先进模型不仅能够较为准确的评分，还能够提供详尽的评分解释。这种解释有助于学生更好地理解自身的答案和评分依据，提高学习效率。此外，模型通过提供个性化反馈，能够激励学生主动学习，提升自主学习能力。在教学场景中实现高效的自动评分，能有效降低教师的工作负担，提升教学效率和质量。然而，这些模型也面临着挑战。首先，不同模型之间的评分一致性和准确性差异明显，尤其是讯飞星火认知大模型3.0和智谱清言3.0表现不佳，与教师评分存在较大偏差。这表明模型在理解特定题目时可能存在局限性，需要进一步优化训练数据和算法设计^[21]。其次，模型的评分解释能力依赖于提示工程技术，而提示工程的质量则直接关系到评分的准确性。因此，为了提高模型的评分准确性，必须重视并不断优化提示工程的设计和实施过程。

4 结束语

大型语言模型为教育评分领域注入了新的活力，同时也带来了一系列挑战。该研究通过药理学主观题评分实验，验证了ChatGPT 4.0和Claude 2等模型在评分任务中的卓越表现，其准确性与一致性高度接近教师评分，展现了LLM在评分领域的潜力。然而，实验中其他模型的评分偏差也提示我们，不同LLM之间的性能存在差异，且仍有待改进。我们需注意LLM可能受到训练数据中偏见或不良信息的影响，这要求我们在使用过程中保持高度警惕，防止生成有害或错误内容^[22]。

为了实现人机协同，提升模型评分的准确性和可靠性，应将LLM的评分与人工验证紧密结合。同时，提高模型的透明度和可解释性也应成为未来研究的重要方向，这将有助于用户更好地理解模型的评分逻辑，从而增强其信任度。此外，为了充分发挥LLM在教育评分中的潜力，未来研究还需深入优化模型。具体而言，应通过模型微调和检索增强生成（RAG）来提高评分的准确性，通过增加训练数据的多样性来提升模型的泛化能力，以及通过优化提示工程来提高模型的评分及推理能力。这些措施的实施，将有望为学生和教师带来更为智能高效的教学体验，推动教育领域的技术革新。

参考文献

[1] 王士进, 巩捷甫, 汪意发, 等. 基于要点匹配的文科主观题通用评分[J]. 中文信息学报, 2023, 37(6): 165-178.

[2] 陈龙. 基于文本相似度计算的主观题自动阅卷系统研究与实现[D]. 杭州: 浙江工商大学, 2023.

[3] 范明哲. 融合LSA和依存句法的主观题自动评分系统研究与开发[D]. 赣州: 江西理工大学, 2023.

[4] VASWANI A, SHAZEER N, PARMAR N, et al. Attention is All you Need[C]// Proceedings of the 31st International Conference on Neural Information Processing Systems (NIPS’17),2017:6000-6010.

[5] 谭红叶, 午泽鹏, 卢宇, 等. 基于代表性答案选择与注意力机制的短答案自动评分[J]. 中文信息学报, 2019, 33(11): 134-142.

[6] 午泽鹏. 简答题自动评分方法研究[D]. 太原: 山西大学, 2020.

[7] VERES C. Large Language Models are Not Models of Natural Language: They are Corpus Models[J]. IEEE Access, 2022, 10: 61970-61979.

[8] HAN S J, RANSOM K, PERFORS A, et al. Inductive Reasoning in Humans and Large Language Models[J]. Cognitive Systems Research, 2024, 83: 101155.

[9] 刘明, 吴忠明, 廖剑, 等. 大语言模型的教育应用: 原理、现状与挑战: 从轻量级BERT到对话式ChatGPT[J]. 现代教育技术, 2023, 33(8): 19-28.

[10] 舒文韬, 李睿潇, 孙天祥, 等. 大型语言模型: 原理、实现与发展[J/OL]. 计算机研究与发展: 1-12. (2023-10-09) [2023-11-24].

[11] ZHANG S, FAN R, LIU Y, et al. Applications of Transformer-based Language Models in Bioinformatics: A Survey[J]. Bioinformatics Advances, 2023, 3(1): vbad001.

[12] DING N, QIN Y J, YANG G, et al. Parameter-efficient Fine-tuning of Large-scale Pre-trained Language Models[J]. Nature Machine Intelligence, 2023, 5(3): 220-235.

[13] 柯沛, 雷文强, 黄民烈. 以ChatGPT为代表的大型语言模型研究进展[J]. 中国科学基金, 2023, 37(5): 714-723.

[14] KOVALEV A K, PANOV A I. Application of Pretrained Large Language Models in Embodied Artificial Intelligence[J]. Doklady Mathemtics, 2022, 106 (S1): S85-S90.

[15] 吴兰岸, 闫寒冰, 黄发良, 等. 大型语言模型在高等教育中的应用分析与现实挑战[J]. 现代教育技术, 2023, 33(8): 29-37.

[16] 戴岭, 赵晓伟, 祝智庭. 智慧问学: 基于ChatGPT的对话式学习新模式[J]. 开放教育研究, 2023, 29(6): 42-51.

[17] 申震. 基于自然语言处理的主观题自动评分研究[D]. 镇江: 江苏科技大学, 2021.

[18] 肖国亮, 马磊, 袁峰, 等. 智能评分技术应用效果的评价研究[J]. 中国考试, 2023(10): 17-27.

[19] 张展鑫. 主观题自动评分方法的研究[D]. 广州: 广东工业大学, 2022.

[20] 张大为, 王琦菲. 基于文本挖掘的主观类型电子作业智能辅助评分方法研究[J]. 微型电脑应用, 2023, 39(10): 5-9.

[21] 张峰, 陈玮. ChatGPT与高等教育: 人工智能如何驱动学习变革[J]. 重庆理工大学学报(社会科学), 2023, 37(5): 26-33.

[22] 王静仪. 大型语言模型技术的影响、挑战与应对策略[J]. 华东科技, 2023(6): 96-98.

基金资助

北京中医药大学哲学社会科学培育基金项目“基于敏捷数据管理方法论和大语言模型的医学主观题智能阅卷研究”(2024-JYB-PY-006)

北京中医药大学教育科学研究课题“基于低代码的在线考试系统及可视化分析”(XJY22048)