类ChatGPT大语言模型在护理课程考核中的应用探索

Application of ChatGPT-like Large Language Model in nursing course assessment

摘要

目的 探讨类ChatGPT大语言模型在护理课程考核中的应用表现。 方法 选用“护理学（师）基础知识”真题和“基础护理学（本科）”课程考试题对三种大语言模型（ChatGPT、文心一言、讯飞星火）进行试题测试，并比较其与学生的考试成绩差异。 结果 在护理学基础知识的掌握程度上，三种大语言模型能力相当，答案准确率均超过90%；在护理知识的应用能力方面，其准确率均较低且存在差异；此外，大语言模型在内容生成速度、使用便捷性和使用限制性等方面均表现良好。 结论 类ChatGPT大语言模型在解答护理基础知识题目方面具有优势，但在需要知识应用或独立思考的问题上存在局限性。随着技术的不断发展，新一代大语言模型有望推动试题命制、智能评阅和教学效果评价的革新。

Abstract

Objective To explore the application effect of ChatGPT-like Large Language Model in nursing course assessment. Methods Three Large Language Models (ChatGPT, ERNIE Bot and iFEKLYT SPARK) were tested by using the test of “Basic Knowledge of Nursing” and the exam of “Basic Nursing (undergraduate)”, and the scores were compared with students’ scores. Results In terms of acquisition of basic nursing knowledge, the ability of the three Large Language Models was similar with more than 90% of the accuracy rate. However, in the application ability of nursing knowledge, the accuracy rate of the three Large Language Models was relatively low and differences existed. In addition, the Large Language Models performed well in terms of speed of content generation, ease of use, and limitation of use. Conclusion ChatGPT-like Large Language Model has advantages in solving basic nursing knowledge problems, but has limitations in problems requiring knowledge application or independent thinking. With the constant development of technology, the new generation of Large Language Models is expected to promote the innovation of test ordering, intelligent evaluation, and teaching effect evaluation.

Graphical abstract

关键词

ChatGPT / 人工智能 / 护理教育 / 课程考核

Key words

ChatGPT / artificial intelligence / nursing education / course assessment

2022年末，以ChatGPT为代表的大语言模型诞生，标志着生成式人工智能（artificial intelligence generated content，AIGC）进入大规模应用阶段，其在各领域的应用受到学者的广泛热议^[1]。在教育领域，美国有89%的大学生正使用ChatGPT完成学术作业，这表明 ChatGPT已具备初级科研工作者的水准，所生成的学术论文具有格式完整、逻辑流畅等特征^[2]。据媒体报道，在美国律师资格考试中ChatGPT分数超过了90%的人类考生，而且其生成答案的速度遥遥领先于人类考生^[3]。截至2023年12月，中国知网和Web of Science平台检索结果显示，与“ChatGPT”这一主题相关的结果共有4 450条，其中与护理教育相关的研究仅有20多篇，其中中国知网仅5篇，而且主要以理论研究为主，实证探索类研究较少。尽管已有研究数量较少，但国内外学者^[4-8]认为类ChatGPT大语言模型在护理教育领域的应用将推动护理课程教学与考核的变革，这已成为学者的基本共识。为充分了解类ChatGPT大语言模型在护理考试中的表现，该文借鉴已有研究^[9]的方法，通过完成试卷的方式实现对大语言模型护理知识应用能力量化测试。

1 研究对象与方法

1.1 研究对象

选择国内外广泛应用的大语言模型ChatGPT-3.5、文心大模型 4.0、讯飞星火为测试对象。测试试卷选择2021年全国卫生资格考试“护理学（师）基础知识”真题和2021年某医科大学“基础护理学（本科）”课程考试题，选用理由是两份试卷数据均在大模型预训练时效范围内。第一份试卷为全国统考真题具有权威性与规范性，作为护理学基础知识考试，其内容相对简单和基础，适用于考察大语言模型对护理学基础知识的掌握程度；第二份试卷为护理学基础课程的考试题，其题目主要考察护理本科生护理学基础知识的应用能力，测试结果可直观反映大语言模型对护理学基础知识的应用能力。此外，两份试卷均有考生（学生）考试成绩数据作为比较。

1.2 研究方法

研究方法如下：①参考已有研究^[10-11]，在大语言模型各自的人机交互界面输入统一的提示语：“你是一位护理教育领域的专家，请针对我提供的护理试题，给出正确答案，并详细解释你选择该答案的理由，你的答案需要准确无误，同时理由也要充分，使得普通人也能易于理解”。依次完成三者共两轮的测试（如图1~2所示）。为了符合相关法律法规，ChatGPT通过调用API接口的方法完成测试，具体操作方法如表1所示。②提取答案。③计算与统计。④得出测试结论。

2 结果

2.1 “护理学（师）基础知识”真题测试情况

全国卫生资格考试“护理学（师）基础知识”试卷共100题，均为单项选择题，每题包含A、B、C、D、E五个选项，每题1分，满分100分。如表2所示，三个大语言模型答案准确率均超过90%，明显优于考生（学生）平均成绩，在“护理学（师）基础知识”真题测试中三个大语言模型的表现难分伯仲。

2.2 “基础护理学（本科）”测试情况

“基础护理学（本科）”试卷共50题，均为单项选择题，每题包含A、B、C、D、E五个选项，每题2分，满分100分。如表2所示，三个大语言模型表现均不如预期且得分差异较大，其中文心一言得分最高，为72分，其成绩优于69%的学生卷面成绩；ChatGPT得分为66分，优于53%的学生卷面成绩；讯飞星火成绩最低，仅56分，优于29%的学生卷面成绩。

2.3 类ChatGPT大语言模型使用便捷性及体验

在内容生成速度、提问便捷性、使用限制性三个维度上考察大语言模型的使用体验。在内容生成速度上，三者均可在10 min内给出所有题目的答案及解析，明显领先于人类学生；在使用便捷性（单次最多回答题目数量）上，三者表现接近，讯飞星火表现最佳，单次最多可回答40题；在使用限制性上，文心一言和讯飞星火表现较好，ChatGPT的使用有一定的限制（如表3所示）。

3 讨论

3.1 类ChatGPT大语言模型在解答护理基础知识题目具有优势

随着人工智能技术的飞速发展，越来越多的大学生开始依赖类ChatGPT大语言模型工具来获取信息和解答问题。测试结果表明，虽然面对基础知识题目时，大语言模型展现了令人瞩目的效率与准确性，无论反应速度，还是答案准确率都远超人类学生的平均水平；但在知识应用或独立思考的问题上，其准确率却相对较低。例如，“基础护理学（本科）”试题中，“李某，患慢性阿米巴痢疾，用2％小檗碱灌肠治疗，下列护理措施错误的是”，三个大语言模型均回答错误，给出答案解析看似“有理有据”，但它们对护理知识在此病例中的理解和运用都存在明显的偏差。这表明，尽管人工智能在处理大量数据和快速检索信息方面具有优势，但在理解复杂概念、进行批判性思维和创造性解决问题方面，它们仍然远远落后于人类。因此，尽管人工智能大模型可以作为一个有用的辅助工具，但它还无法完全取代人类的学习和思考过程。

3.2 类ChatGPT大语言模型在护理真题测试中性能表现基本相当

首先，大语言模型响应速度较快。其中，讯飞星火认知大模型响应速度最快，这可能与大模型用户数量、网速等因素相关。但总体而言，三者在大模型响应速度上用户体验基本相当。其次，大模型对于护理基础知识的理解与掌握程度接近。在“护理学（师）基础知识”测试中，三者准确率均超过90%，但对于护理知识的理解与应用三者均表现不如预期，如“基础护理学（本科）”测试中有三道题三者均“回答错误”且都为病例分析题。由此可见，类ChatGPT大语言模型在护理基础知识的理解和应用上“优势”与“劣势”基本相同。最后，个别题目大语言模型给出的答案解析存在差异。例如，病例题“张某，女性，21岁，因再生障碍性贫血入院。根据医嘱此患者须长时间静脉用药。依据合理使用静脉的原则，护士在选择血管时应注意？”。虽然三者均给出了正确答案：“由远心端到近心端”。文心一言认为，保护患者血管；讯飞星火认为，避免贫血加剧；ChatGPT认为，避免静脉受损或硬化。可见，对于相同的问题大语言模型思维侧重点存在差异。

3.3 类ChatGPT大语言模型在护理教育领域的应用优势较为显著

首先，三种大语言模型提供的人机交互界面对于用户较为友好，不仅支持多种人类自然语言而且对于提问的限制较少，使用门槛较低，护理学生和教师能够轻松使用大模型辅助学习和教学。其次，类ChatGPT大语言模型具备快速生成内容的能力。在护理真题测试中，研究者只需提出问题，模型便能迅速给出答案，这对于需要快速获取知识的学生和教师来说是非常重要的，这有助于提高使用者的学习效率。第三，类ChatGPT大语言模型对知识性的护理学概念、专业术语的掌握度较好。测试结果显示，大语言模型对于护理学基本概念、专业术语、操作规范等基础知识掌握明显优于人类，这意味着大模型能够为使用者提供准确、专业的答案和解析，有助于使用者更好地理解和掌握护理学的核心知识，这对于提高学生的学习成绩、提升教师的教学质量具有积极意义。

4 类ChatGPT大语言模型在护理课程考核中的应用展望

4.1 类ChatGPT大语言模型推动试题命制改革

众所周知，个性化命题、自动化命题和多样性命题是现代教育评估的重要趋势^[12]。大语言模型能够根据护理专业学生的特点和需求生成个性化试题，有助于全面评估学生对知识的掌握和运用能力，使考试更贴近学生实际。同时，自动化命题能提高命题效率和一致性，减轻教师的工作负担；多样性命题则通过不同形式的题目考查学生多种能力，提升教育质量。护理课程考核试题命制将朝着更加注重个性化、实践性、跨学科和智能化的方向发展。随着大语言模型越来越成熟，需要开发专用命题模型或定制化命题助手，以满足试题命制的个性化、自动化、多样性需求。

4.2 类ChatGPT大语言模型使智能化评阅试卷成为可能

随着大语言模型的快速应用，其在语言理解、逻辑推理、文本生成、多模态交互等能力上已经取得明显突破。这给智能评分技术带来了新的发展机遇。首先，新一代大语言模型将从对目前的部分学科、部分主观题型的智能评分拓展为可覆盖全学科、全题型的智能评分。其次，新一代大语言模型逐渐展现出更深度的评价能力，能够更好地理解学生的语言表达和思维逻辑，从而提供更为准确、全面的反馈。第三，更多维度的评卷质量检测。新一代大语言模型对教师评卷质量的检测维度更加丰富，能够通过分析教师的行为动作、评卷轨迹、评卷分数等多模态数据，分时段对教师的评卷质量进行精准预测^[13]。因此，大语言模型带来的技术进步有助于保证教师高质量、高效率地完成评卷工作。

4.3 类ChatGPT大语言模型拓展基于考试数据的教学效果评价

研究者从事护理教学多年，传统的护理教育评价方式存在一些局限，如过于强调应试能力、忽视学生的综合素养和实际应用能力。随着网络化学习及伴随式数据收集方式的不断发展，考试数据已经从传统的单一考试成绩扩展为考前学习数据、考中作答数据等。大语言模型通过强大的数据分析和预测能力，可以从这些全流程数据中提取有价值的信息，进而为学生、教师和教育决策者提供有针对性的评估和指导。具体表现在四个方面：预测考试结果、评估考试难度、提供个性化评估和反馈、改进和干预教学^[13]。这些应用有助于学生全面了解自己的学习状况、发现自身知识缺陷，并制订个性化的学习计划，同时也帮助教师改进教学方法、调整课程内容，并及时制订干预措施，以提高学生的学习成绩和综合能力。

5 结束语

类ChatGPT大语言模型在护理教育中的应用具有潜力和优势。通过对“护理学（师）基础知识”真题和“基础护理学（本科）”考试题的测试，大语言模型在解答基础知识题目方面表现优秀，准确率超过90%。尽管大语言模型在知识应用和独立思考方面存在一定限制，但是其为护理教育仍然带来了许多机遇和优势，包括推动试题命制改革、智能化评阅试卷以及基于考试数据的教学效果评价等。随着技术的不断发展，大语言模型在护理教育领域的应用前景值得期待。

参考文献

[1] WANG F Y, LI J J, QIN R, et al. ChatGPT for Computational Social Systems: From Conversational Applications to Human-oriented Operating Systems[J].IEEE Transactions on Computational Social Systems, 2023, 10(2): 414-425.

[2] 郑雨航. 高校、 中学……ChatGPT“侵入”校园与教育界关系是敌是友, 应如何对待?[N].每日经济新闻, 2023-02-14(5).

[3] 高腾. “吊打”ChatGPT! GPT-4在多项考试中表现亮眼[N].中国科学报, 2023-03-17(2).

[4] 李钥, 淮盼盼, 杨辉. ChatGPT在护理教育中的应用状况及优劣分析[J].护理学杂志, 2023, 38(21): 117-121.

[5] 马武仁, 弓孟春, 戴辉, 等. 以ChatGPT为代表的大语言模型在临床医学中的应用综述[J].医学信息学杂志, 2023, 44(7): 9-17.

[6] 郭彩霞, 郭彩旭, 史晓宁, 等. ChatGPT赋能护理实践: 前景、 风险及对策[J].协和医学杂志, 2023, 14(6): 1170-1174.

[7] 罗华宇, 许敏, 曾朝蓉, 等. ChatGPT在护理领域中应用的前景与挑战[J].中华护理教育, 2023, 20(12): 1520-1523.

[8] 康瑞赋, 付烁瑾, 王艳玲, 等. 元宇宙视角下护理教育的创新与展望[J].军事护理, 2023, 40(12): 89-92.

[9] 杜庆贤, 文玉平. 类ChatGPT人工智能在财会工作领域的应用探索[J].教育财会研究, 2023, 34(2): 57-63.

[10] 王超, 孔祥辉. 大型预训练语言模型在网络健康信息鉴别中的应用探讨[J].农业图书情报学报, 2023, 35(6): 51-59.

[11] 王一博, 郭鑫, 刘智锋, 等. AI生成与学者撰写中文论文摘要的检测与差异性比较研究[J].情报杂志, 2023, 42(9): 127-134.

[12] 吴砥, 郭庆, 吴龙凯, 等. 智能技术赋能教育评价改革[J].开放教育研究, 2023, 29(4): 4-10.

[13] 汪张龙. 认知智能大模型加速教育考试数字化转型[J].中国考试, 2023(8): 11-18.

基金资助

2022年度辽宁省教育科学“十四五”规划课题“护理兼职教师教学素养评价指标体系构建研究”(JG22DB260)