大语言模型优化放射科住培医师乳腺亚专科胜任力评估

Optimizing Competency Assessment of Radiology Residents in Breast Imaging Subspecialty Using Large Language Models

摘要

目的 该研究聚焦于放射科住培医师亚专科报告书写岗位胜任力评估，旨在探究应用大语言模型进行自动化评价的可行性。 方法 以放射科乳腺亚专科住培医师报告为研究对象，模拟包含不同错误类型的100份乳腺 X 线摄影报告和100份乳腺 MRI 报告。通过乳腺组亚专科负责医师及教学主任协商制定岗位胜任力评价表，采用大语言模型思维链模式分步输入指令进行报告胜任力分级，并与人工分级结果对比。 结果 与人工相比，大语言模型（Large Language Model，LLM）判读时间仅0.13小时，效率优势显著，其分级准确性稍高于低年资带教师资，与高年资带教师资相近，且在不同级别岗位胜任力判定上表现稳定。在引入多种错误的报告中，LLM准确性达 91.3%，表明能够较好进行分级优先级划分，但对MRI报告书写评价的准确率低于MM，分别为89%和93%。 结论 LLM 用于放射科住培医师亚专科报告书写岗位胜任力评价具有准确性高、效率高、结果稳定等优势，可为住培教学评估提供有力支持，但LLM仍有处理及分析复杂文本时存在限制以及需要人工参与进行思维链提示输入等不足，未来需要进一步地探索与研究。

Abstract

Objective This research focuses on the competency assessment of Radiology residents in sub-specialty report writing, aiming to explore the feasibility of using large language model (LLM) for automated evaluation. Methods Taking Radiology residents specializing in breast sub-specialty as the research objects, 100 mammography reports and 100 breast magnetic resonance imaging (MRI) reports which contain different types of errors were simulated. A competency evaluation form was developed through collaboration between the breast sub-specialty specialists and the teaching directors. The chain-of-thought model of LLM was applied to input instructions step by step to grade the competency report, and compare the results with the manual grading. Results Compared with human evaluators, LLM required only 0.13 hours for grading, demonstrating significant efficiency advantages. The accuracy of the LLM grading was slightly higher than that of junior faculty and similar to that of senior faculty, with stable performance in competency assessment across different levels. In reports containing multiple errors, the accuracy of LLM reached 91.3%, indicating its ability to effectively prioritize grading tasks. However, the accuracy for MRI report grading was lower than that for MM reports, with accuracy rates of 89% and 93%, respectively. Conclusion The application of LLM in evaluating the competency of Radiology residents in sub-specialty report writing offers advantages in terms of high accuracy, efficiency, and stable results, providing strong support for resident education assessment. However, LLM still face challenges in handling and analyzing complex texts, and requires human involvement for guiding input through the chain-of-thought model. Further exploration and research are required for future improvements.

Graphical abstract

关键词

大语言模型 / 住院医师规范化培训 / 亚专科报告书写 / 岗位胜任力

Key words

LLM / Resident standardized training / Sub-specialty report writing / Competency

住院医师规范化培训作为医学毕业生成长为合格临床医师的关键环节，对于提升医疗服务质量、保障患者安全具有举足轻重的意义。《2022年版住院医师规范化培训内容与标准》^［1］明确提出了对住院医师六大核心胜任力的要求，涵盖职业素养、专业能力、病人管理、沟通合作、教学能力和学习提升等方面，致力于培养出全方位发展的临床医师。在放射科的住培教学过程中，亚专科报告书写能力是专业能力的重要组成部分，精准、规范的亚专科报告书写不仅能够为临床诊断提供关键依据，还能反映住院医师对指南规范的理解及亚专科知识的掌握程度。

放射科传统的住院医师报告质量评价主要依赖人工及PACS系统进行，然而这些方式尚存在局限。亚专科报告书写胜任力评估往往涉及多种报告类型，具有专科特色的报告要求，报告数量多，人工评估耗时费力，只能采用抽查的方式，难以做到全面评估。集成于PACS系统的报告质量控制可以对每份报告进行独立的评价^［2］，但无法按照亚专科报告要求进行精细化胜任力划分。近年来，大语言模型人工智能技术飞速发展，其在医疗领域的应用愈发广泛^［3-4］。大语言模型（Large language model，LLM）的优势在于文本分析及生成，这种特性使其适合用于放射科报告的评价。采用LLM评估具有便捷性、高效性的特点，能够依据亚专科要求在不同时间提取亚专科报告查看岗位胜任力变化情况，从而促进住院医师精细化评价及个性化学习。本研究旨在探索LLM用于放射科住培医师精细化乳腺亚专科报告书写岗位胜任力评价的可行性，为优化放射住培教学评价体系提供参考依据。

1 资料与方法

1.1 研究资料

放射科乳腺亚专科住培医师报告书写培训包括乳腺X线摄影（Mammography，MM）及乳腺MRI。为保证金标准的稳定性及可靠性，我们虚拟了临床上常见的乳腺影像报告类型，并人为引入常见的报告书写错误，包括文字错误、影像征象描述错误、诊断（主诊断及次要诊断）错误及临床建议错误。例如主诊断恶性乳腺癌诊断为乳腺纤维腺瘤，存在错别字或病变测量单位错误。共纳入100份MM报告及100份MRI报告。其中40份报告未引入错误，80份报告仅引入一种类型错误，80份报告引入两种类型及以上错误。

1.2 研究方法

1.2.1 制定乳腺亚专业报告书写岗位胜任力评价表

按照美国放射科住院医师分阶段目标胜任力评价系统中关于影像报告书写胜任力分级定义^［5］，并结合亚专科住培教学中的实际情况，由乳腺组亚专科负责医师及教学主任协商并制定亚专业报告书写岗位胜任力评价表（表1），并定义内容细则（表2）。

1.2.2 LLM分析流程

整理报告，并依据岗位胜任力评价表，导入LLM进行评价，自动化评估过程流程图如图1。评估过程采用思维链模式多次分步输入提示使模型能够更好地理解指令，最优指令输入方式以100份乳腺MRI的评估为例，如图2所示。最终发出指令进行简要的分级总结，将获得模型输出端的分级情况及主要原因，如表3。

1.2.3 LLM输出数据及人工评价数据收集及分析

获取LLM输出信息并完成记录，统计模型生成用时。随后由两名低年资带教师资（从业年限<5年）及两位高年资带教师资（从业年限>5年），分别对同一份报告进行人工分级，记录分级结论，并统计耗时。

1.3 数据统计

统计分析采用SPSS 18.0，卡方检验或 Fisher精确检验比较人工与LLM分级方法的准确率差异，以及比较LLM在不同岗位级别的判断上准确率差异。文本分析在LLM工具豆包平台完成（https：//www.doubao.com/chat/）。

2 结果

2.1 LLM与人工分级评价性能差异

LLM与人工对报告书写岗位胜任力分级判读性能差异如表4。

2.2 引入一种及多种错误的评价结果

当引入多种错误类型时，将LLM与表现优秀的高年资1带教师资进行对比，80份引入一种错误的报告书写评价中，LLM分级准确性为86.3%（69/80），人工分级准确性为93.8%（75/80）；80份引入两种及以上错误的报告书写评价中，LLM分级准确性为91.3%（73/80），人工分级准确性为88.8%（71/80）；40例未引入错误的报告书写评价，LLM与人工分级准确性为100%（40/40）。

2.3 不同类型（MM与MRI）报告的评价结果

LLM对MM报告书写岗位胜任力评价的准确率为93.0%（93/100），人工分级（高年资1）准确性为92.0%（92/100）；LLM对MRI报告书写岗位胜任力评价的准确率为89.0%（89/100），人工分级（高年资1）准确性为94.0%（94/100）。

2.4 不同级别岗位胜任力的评价结果

不同级别岗位胜任力的LLM与人工（高年资1）判断性能差异如表5。各级别间无论LLM评价或人工评价均无统计学差异，LLM对于IV级评价准确性较低，人工对于III级评价准确性较低。

3 讨论

3.1 放射科住培医师亚专科报告书写岗位胜任力评估的现状与挑战

放射科住院医师规范化培训亚专科报告书写不仅需要满足常规放射报告的要求，还需要熟悉亚专科的临床需求、指南规范、以出具符合亚专科特色、有助于诊断和治疗规范的报告。《2022 年版住院医师规范化培训内容与标准》指出，放射住培高级阶段（第三年）应进行亚专科的报告培训及书写^［1］。目前，仍缺乏对亚专科报告书写胜任力的精细化评价内容及方法。

放射科亚专科报告有各自标准化要求，对于亚专科报告书写胜任力的评估无法统一标准，需进行个性化的定制，目前尚缺乏相关的评估方案。例如，乳腺亚专科的报告需要按照指南的要求对钙化、肿块和强化模式等影像特征进行标准化描述，最终对病变诊断进行标准化分类。目前，对于住培高级阶段的医生亚专科报告能力评估依靠放射科带教教师抽查，甚至需要相应资深亚专科医师协助，对报告内容的准确性、术语的一致性以及结论的标准化进行评价。亚专科的多样性和报告的复杂性导致这项工作耗时且难以保证评估质量。

3.2 大语言模型在放射科亚专科报告书写胜任力评估中的应用与潜力

LLM是一种基于深度学习的自然语言处理技术，它通过大量人类语言数据集的训练，能够执行多种文本相关任务，包括理解、生成、翻译和分析文本等^［6］。Gertz RJ等研究表明GPT-4对于报告文本错误检出率与放射科医生相当，有助于减少工作时间和成本^［7］。LLM可以将普通形式的亚专科报告转化为结构式报告^［8］，并有助于报告内容的标准化^［9］。这些研究为LLM在以文本为主的放射科教学评估应用中奠定了基础。LLM的灵活性使其可以针对每个亚专科报告评价制定个性化的标准。以乳腺亚专科为例，对乳腺组织密度的描述、病变特征的描述以及根据乳腺影像报告和数据系统（Breast Imaging Reporting and Data System， BI-RADS）对乳腺病变分类定义，能够转化为标准化的提示指令对文本进行针对性分析。一旦建立了有效的提示指令，LLM就能够自动评估各种亚专科报告的书写能力。这种自动化评估不仅显著减轻了放射科医生的工作量，还确保了评估结果的客观性和一致性。

3.3 大语言模型用于放射科教学评估的优势与挑战

在具体的操作过程中，我们采用思维链模式分步进行具体细则命令的拟合及输入。思维链模式通过引导模型逐步推理，能够提升对于复杂文本的分析能力、减少错误和提高任务适应性。江哲涵等^［10］ 在对生成式大语言模型在医学考试题库建设中的实践探中发现通过增加思维成分的提示策略，可以引导大语言模型执行草稿、打磨、比较和确定等命题过程，从而提高试题质量。我们基于思维链模式的输入方法所产生的评价效能准确性略高于低年资带教师资，与高年资带教师资相近，在判读时间上具有优势，仅需 0.13 小时。这意味着LLM能够在短的时间内完成大量报告文本的评价工作，提高评价效率，为住培教学评价工作节省了宝贵的时间资源。采用这种方便快捷的评价手段，住院医师能够清晰了解自己在不同阶段的亚专科胜任力变化情况，针对薄弱环节进行有针对性的学习，促进个性化学习的开展。此外，LLM基于预设的标准和算法进行评价，能够保证评价过程和结果的一致性，减少人为因素带来的误差，实现同质化评价。

在引入两种及以上错误的报告评价中，人工评价在面对多种错误时，评价准确性降低，而LLM的准确性为91.3%，高于仅仅引入一种错误的报告评价。这表明LLM能够较为精准地识别报告中的错误及问题，并较好地处理划分优先级。LLM在对不同级别岗位胜任力判定的准确上无明显统计学差异，这说明LLM在不同层次的岗位胜任力判断上具有稳定的表现，能够全面地对住培医师的能力进行评价。

但LLM的评价方法仍存在一些不足之处。人工评价对于不同报告类型（MM或MRI）准确性相仿，而LLM评价MM 报告准确性高于MRI，可能原因是相较于MRI报告，MM报告的文本内容较为简单。此外，LLM分级错误的报告中多是由于逻辑错误所致，即部分报告无法区分是单纯的文字错误还是描述不规范而产生的修改，这说明LLM在处理复杂文字内容或需要专业的逻辑分析时仍存在一些限制。未来，通过引入更先进的自然语言处理技术，如基于Transformer的模型架构，结合医学领域的预训练模型（如BioBERT、ClinicalBERT等）^［11-12］，建立丰富的影像医学语料库，可以增强LLM对医学影像专业术语和复杂句式的理解能力。此外，通过深度结合图像处理算法与语言模型，采用对比学习、交叉注意力及早期融合等技术，将图像特征转化为可被 LLM 理解的向量形式^［13］，与对应的文本报告信息一同输入模型进行训练。LLM 能够学习到图像特征与文本描述之间的关联，更准确地评估报告质量。

3.4 人机结合、双向赋能提升教学质量及效率

目前，LLM应用于教育教学评估仍处于探索阶段^［14］，存在机遇与挑战^［15］。有效利用该工具有助于教育教学评估的双向赋能。人工评估具有丰富的临床经验和专业的医学知识，能够对复杂病例、罕见病等进行综合判断，这是 LLM 目前难以企及的。而LLM则具有处理速度快、标准统一等优势。因此，在评估过程中，可以让LLM负责初步筛查工作。例如，对大量的乳腺亚专科报告进行快速评估，检查报告的基本格式是否正确、常用术语是否规范、书写内容是否遵循指南，诊断结论是否存在实质性错误等，以此快速提高规培医师对亚专科影像的理解能力。人工评估则专注于 LLM 难以处理的复杂内容，对于复杂的病例以及涉及临床思维和综合判断的部分，由经验丰富的带教师资进行深入分析及指导，采用人机协作的模型能够有效提升教学效率。

4 结语

综上所述，将LLM用于放射科住培医师亚专科报告书写岗位胜任力评价具有准确性高、效率高、可实现精准监测与个性化学习，以及评价结果稳定等优势。这一技术的应用不仅可以为住培医师提供及时、客观的反馈，帮助他们发现自身报告书写中的问题并加以改进，还能为住培教学提供有力的数据支持，双向赋能，有助于教学管理者制定更具针对性的教学计划，优化教学内容和方法，从而提升住培的整体质量。然而，LLM评价在实际应用中仍可能面临一些挑战，如需要采用思维链模式多次发出指令才能获得较好的评价效果，这个过程仍需要人工参与。此外，对于复杂病例的理解和判断、专业术语的分析存在局限性等，未来需要进一步优化和完善。本研究为LLM基于文本进行规培教学质量评价的探索，初步证实了其可行性，为教学评估的智能化应用奠定基础。

参考文献

[1] 中国医师协会. 住院医师规范化培训内容与标准 ［S］.北京：中国医师协会，2022.

[2] 穆琳，王景宇，周宏伟，等 ．放射科住院医师规范化培训影像报告书写质量控制探索与实践［J］．中国毕业后医学教育，2024，8（8）：592-595．

[3] 信斯言，沈子曰，吴红斌 ．面向未来医学教育 全球健康与人工智能：2024AMEE年会综述2［J］．中华医学教育杂志，2024，44（12）：896-900．

[4] 陈冬河，杨君，翁婉雯，等 ．人工智能辅助非影像专业住院医师核医学PET短期培训探索［J］．医学教育研究与实践，2025，33（5）：738-743．

[5] GRAYEV A， CATANZANO TM， Sarkany D，et al.ACGME Diagnostic Radiology Milestones 2.0： the Time is Now［J］.Academic Radiology，2022（5）：18-26.

[6] BROWN TB， MANN B， RYDER N， et al. Language Models are Few-Shot Learners［EB/OL］.（2020-07-22）［2025-07-20］.

[7] GERTZ RJ， DRATSCH T， BUNCK AC，et al ．Pot-ential of GPT-4 for detecting errors in radiology reports：Implications for reporting accuracy［J］．Radiology，2024，311（1）：e232714．

[8] ADAMS LC， TRUHN D， BUSCH F，et al ．Leveraging GPT-4 for post hoc transformation of free-text radiology reports into structured reporting：A multilingual feasibility study［J］．Radiology，2023，307（4）：e230725．

[9] BOSBACH WA， SENGE JF， NEMETH B，et al ．Ability of ChatGPT to generate competent radiology reports for distal radius fracture by use of RSNA template items and integrated AO classifier［J］．Current Problems in Diagnostic Radiology，2024，53（1）：102-110．

[10] 江哲涵，奉世聪，王维民 ．生成式大语言模型在医学考试题库建设中的实践探索［J］．中华医学教育杂志，2024，44（8）：561-569．

[11] LEE J， YOON W， KIM S，et al ．BioBERT：A pre-trained biomedical language representation model for biomedical text mining［J］．Bioinformatics，2020，36（4）：1234-1240．

[12] LI YK， WEHBE RM， AHMAD FS，et al ．A comparative study of pretrained language models for long clinical text［J］．Journal of the American Medical Informatics Association，2023，30（2）：340-347．

[13] BRADSHAW TJ，TIE X， WARNER J，et al ．Large language models and large multimodal models in medical imaging：A primer for physicians［J］．Journal of Nuclear Medicine，2025，66（2）：173-182．

[14] 熊绘，樊越，张迪，等 ．人工智能大模型赋能医学教育实践的伦理风险及对策［J］．医学教育研究与实践，2025，33（5）：635-640．

[15] 门茜儒，刘林 ．人工智能赋能医学教育现代化的应用挑战与现实路径［J］．医学教育研究与实践，2025，33（5）：641-646．

基金资助

浙江大学医学院教育改革项目(jgzx2025003)