大语言模型在多重耐药菌感染防控领域的应用与评估

摘要

目的 评估大语言模型ChatGPT-4o在多重耐药菌感染防控领域的知识能力，探讨其在医院感染控制领域的应用前景。方法 基于指南和专家共识，构建涵盖5类问题(基础概念、传播风险识别、感染控制实践、抗菌药物管理、监测评估)的专业知识问答数据集，输入ChatGPT-4o生成回答，并组织4名医院感染管理领域专家采用Likert五点评分法对模型输出结果进行评估，对比分析大语言模型在多重耐药菌感染防控专业领域的准确性、完整性和可用性。结果 在50道问题中，ChatGPT-4o总体回答的正确率为58.0%,部分正确率为40.0%,不正确率为2.0%。针对基础概念类问题，ChatGPT-4o表现最佳，正确率达86.0%;在抗菌药物管理类问题中表现相对较差，正确率为40.0%。准确性、完整性和可用性的得分均值分别为4.63、4.70、4.57分。结论 ChatGPT-4o在多重耐药菌感染防控领域展现出良好的基础知识应答能力。尽管其在复杂感染控制情境中存在内容泛化、决策支持能力不足等局限性，但未来大语言模型在医院感染控制领域具有广泛的应用前景。

关键词

多重耐药菌感染 / 医院感染控制 / 大语言模型 / 人工智能

基金资助

2024年辽宁省教育厅基本科研项目(LJ112410159078)