肿瘤内科是一门高度专业化的学科,目前已知的癌症种类多达23 个大类、超过400余种,知识体系庞大且内容复杂
[1]。同时随着近年来免疫、靶向、细胞等多种创新疗法的不断涌现,众多临床研究数据的不断更新,这对专科医生的学习能力提出了巨大的挑战。对于参加住院医师规范化培训的肿瘤内科初学者来说,临床中常需要结合病人的其他内科情况,针对同一类肿瘤选取不同的治疗方案,数量庞大癌种,复杂的肿瘤分期,高度专业的基因检测报告,种类繁多的抗肿瘤药物等都将构成巨大的学习困难,也极大地打击了初学者的学习信心,不利于自主学习积极性的培养
[2]。在传统的住院医师规范化培训中,通过导师带教、住院查房、病理分析、阅读指南等传统学习手段,学员想要对肿瘤内科知识形成系统化的认识并具备批判性的临床思维能力,往往需要面对信息碎片化、专业过度细化、疾病过于复杂等挑战
[4-5]。目前依托于发达的互联网信息网络,知识的获取已不是当下学习的主要矛盾,如何快速筛选有效信息并进行系统化整理才是所有肿瘤内科学员所要面对的真正难题
[4,6]。因此,在目前的住院医师规范化培训中,亟须一种创新、高效和简便的工具来解决临床教学中的痛点问题。
随着近年来以DeepSeek、ChatGPT为代表的大语言模型不断发展,通过计算机技术进行辅助诊断和决策逐渐成了未来医疗技术发展的重要方向
[6]。无论是基础研究、疾病预防、新药研发还是临床诊疗,大语言模型技术正在以极快的速度渗透进医学发展的各个领域并重塑当代医学发展格局
[7]。随着人工智能技术的不断赋能,大语言模型已经具备一定的逻辑分析和推理能力,同时具有人类大脑无可比拟的海量知识储备,可快速对复杂的碎片化信息进行整理、归纳和分析,相较于传统的网页搜索方式,可以帮助学员大幅减少文献搜索和阅读时间,快速获取所需文献和指南,极大地提高学习效率
[6-8]。目前肿瘤专业的发展正处于快速上升期,日新月异的新药催生了数量庞大的临床研究,由于指南修订的滞后性,在肿瘤科医师的培养成长过程中,密切追踪各大临床研究数据的发布是一门必修课,但同时还会消耗大量时间进行文献泛读。大语言模型的出现正好可以解决这一现实难题,协助整理前沿临床研究成果、挑选指南方案和分析整理病例等诸多实用功能,正好契合肿瘤内科住院医师规范化培训的痛点问题,展现出了人工智能技术极大的教学应用潜力
[9]。目前大语言模型应用于医学教学尚处于起步摸索阶段,尚缺乏系统化的理论框架和实践模式,既往已有诸多研究尝试将大语言模型应用于儿科、急诊科等多门学科的教学,并取得了良好的效果,进一步证实了大语言模型的教学应用前景
[3,10]。但目前对于大语言模型在肿瘤内科住院医师规范化培训中的教学应用效果的系统性分析尚无研究报道。
基于此,本研究拟通过临床考核成绩、批判性思维培养以及学员满意度这三个维度,分析大语言模型在肿瘤内科住院医师规范化培训中的辅助教学效果,以期为肿瘤内科规范化培训提供一种新的教学工具和思路。
1 资料和方法
1.1 研究对象
本研究共选取了2023年2月至12月在解放军总医院第一医学中心肿瘤内科参加住院医师规范化培训的43 人作为研究对象,均为硕士研究生,入科前无肿瘤专科培训基础,均已在本科期间通过计算机NCRE二级考试,无人工智能专业技术培训基础,轮转计划一致,且均已获得执业医师资格证书。所有学员对本研究内容均已知情,本研究已获得已获得医院伦理委员会批准(伦审第S2023-338-01),所有学员均已签署入组研究知情同意书,本研究不影响学员后续学习的任何权益。
1.2 研究方法
将全部学员随机分为试验组23 人和对照组20 人,其中对照组进行传统住院医师规培教学办法,试验组在传统模式基础上采用大语言模型进行辅助教学,教学研究时间共8 W,教学期间学员可正常且自由参加科室培训,包括:阅读文献指南、教学查房、集中授课、病历书写、病例讨论、多学科联合会诊等,导师带教方式均为一对多,指导老师均为副高级及以上的高年资肿瘤内科医师。
1.2.1 试验组教学
大语言模型辅助教学的应用主要体现在以下三个方面:①学员在教学查房、集中授课和联合会诊后,集中为学员提供计算机使用大语言模型(DeepSeek-R1和ChatGPT医疗保健版),并引导学员使用大语言模型生成思维导图对知识点进行归纳串联,同时针对学习过程中的疑难问题同大语言模型进行对话求索,如
表1所示。每周1 次,每次限时1 h;②让学员使用大语言模型生成虚拟病例进行技能训练,病例难度、类型设计遵循由易到难、从简入繁的原则进行梯度训练,由学员与大语言模型直接进行对话训练。每周2 次,每次限时1 h;③由指导老师为学员提供1 份疑难病例进行组内讨论,由学员根据自身理解进行思考解答,指导老师进行集中讲解后让学员使用大语言模型进行辅助分析、发掘潜在知识点。每周1 次,每次限时1 h。
1.2.2 对照组教学
对照组由相同的指导老师进行培训,在接受培训或疑难病例讨论后允许使用计算机网络进行网页资料搜索和学习,但被禁止使用DeepSeek、ChatGPT等各类大语言模型。因虚拟病例训练环节为大语言模型教学特有功能,对照组改为等时长的临床实践。
1.3 评价指标
1.3.1 出科考核成绩
培训结束后,由科室统一安排出科考试,分为基础理论知识(均为单选题,总分60 分)和病例分析(4 道题,总分40 分)两部分,满分100 分。考核题目由3 位副主任医师及以上专家共同评定为考点全面、难度适中,内容效度良好,针对肿瘤专业特点,重点考核肿瘤分期、基因检测报告分析、整体方案制定、抗肿瘤药物合理用药、药物不良反应管理等。出科考试评分采用双人盲评,均为高年资专科老师(非带教指导老师),采用Cronbach’s α系数评价内部一致性信度,采用区分度指数D{<0.20为不可用,[0.20~0.30)为可用,[0.30~0.40)为良好,≥0.40为优秀}评价考核区分度。
1.3.2 批判性思维能力评分
采用批判性思维能力测量表中文版(critical thinking disposition inventory-Chinese version,CTDI-CV)进行问卷调查,该量表是在加利福尼亚批判性思维倾向量表的基础上改良而来,能确保受试者更能掌握各项目所测量的要点
[11]。全表共包含七方面特质:寻找真理、开放思想、分析能力、系统化能力、自信能力、求知欲和认识成熟度,共计70 个项目,每项采用6 分制法(1=非常不赞同,2=不赞同,3=不太赞同,4=赞同,5=比较赞同,6=非常赞同)。总分为70~420 分,根据得分可分为具有负性(≤210 分)、意义不明确(211~279 分)、正性(280~349 分)和超强(≥350 分)批判性思维倾向。各项特质总分60 分,根据得分可分为负性(≤30 分)、意义不明确(31~39 分)、正性(40~49 分)和超强(≥50 分)倾向性。本研究中此表克朗巴赫系数达0.82,具有良好的内部一致性。
1.3.3 教学方法满意度评价
通过自制问卷的方式进行匿名调查,从教学方法激发学习兴趣、提高文献资料查阅能力、启发临床思维和协助解决实际问题这四个维度评价学员对教学方法的满意度。所有学员进行单项态度评价:满意、一般和不满意。
1.4 统计学分析
采用SPSS 21.0统计学软件进行数据分析。计量资料以(x±s)表示。两组间计量资料比较采用独立样本t检验,计数和等级资料均以n和%表示,计数资料组间比较采用Pearson χ²检验,等级资料组间比较采用Mann-Whitney U秩和检验,采用Cronbach’s α系数进行信度评价,Pearson相关系数r进行效标效度评价,区分度指数D进行区分度评价。以P<0.05为差异有统计学意义。
2 结果
2.1 两组学员基本情况对比
研究共纳入43 人,所有学员均为内科专业(非肿瘤专科)的硕士研究生,无肿瘤专科教育背景,均通过计算机NCRE二级考试,本科均为五年制临床医学专业,在年龄方面,试验组(24.57±1.24)岁和对照组(24.60±1.27)岁无统计学差异(t=-0.091,P=0.928),性别构成方面也未发现统计学差异(男性人数占比:60.87% vs. 60.00%,χ²=0.204,P=0.651)。
2.2 大语言模型教学对学员出科成绩的影响
如
表3所示,两组学员在基础理论知识方面无统计学差异(
P>0.05),但在病例分析[(30.04±4.85)分 vs. (22.50±5.21)分,
t=4.918,
P<0.001]以及总分(77.22±7.51)分 vs. (68.30±7.69)分,
t=3.843,
P<0.001]方面存在统计学差异。因主要分差集中在病例分析题部分,因此我们针对性计算了该部分试题分数的Cronbach’s
α=0.85,Pearson
r=0.35(
P<0.001),区分度指数
D=0.43,结果表明试题的信度较高,效度尚可,区分度理想。
2.3 大语言模型教学对学员批判性思维的影响
如
表4所示,试验组学员在自信能力和认知成熟度方面与对照组无统计学差异(
P>0.05),但试验组学员寻找真理[(44.04±6.41)分 vs. (37.15±5.05)分,
t=3.876,
P<0.001]、开放思想[(46.78±5.66)分 vs. (26.10±6.24)分,
t=11.400,
P<0.001]、分析能力[(46.39±5.54)分 vs. (25.65±3.87)分,
t=14.019,
P<0.001]、系统化能力[(47.35±5.47)分 vs. (32.15±7.90)分,
t=7.397,
P<0.001]、求知欲[(41.30±5.05)分 vs. (34.85±5.15)分,
t=4.141,
P<0.001]以及批判性思维能力总分[(299.35±21.62)分 vs. (229.00±16.13)分,
t=11.939,
P<0.001]均高于对照组。
2.4 大语言模型教学对学员教学满意度的影响
共回收有效问卷172 份,回收率为100%,结果显示试验组学员对当前教学方法在激发学习兴趣(
Z=-4.489,
P<0.001)、提高文献查阅能力(
Z=-5.645,
P<0.001)、启发临床思维(
Z=-3.624,
P<0.001)和解决实际问题(
Z=-4.664,
P<0.001)这4 个维度的满意度均高于对照组,详见
表5。
3 讨论
本研究采用了大语言模型技术作为肿瘤内科住院医师规范化培训的辅助教学工具,从研究结果看,这种创新的教学方法可以帮助学员更加高效地获取肿瘤专业知识,并借助人工智能技术对复杂分散的知识点进行归纳整理,促使学员完成快速记忆。相较于传统的规培教学模式,这不仅有效地提升了学员在肿瘤内科专业的临床实践能力,同时也有益于培养批判性思维能力,而且学员对这种新的学习方法满意度更高,更能激发其自主学习动力。
肿瘤内科的专业学习具有信息量大、专业性强、知识更新快的特点
[12]。根据世界卫生组织最新数据统计,目前人类已知的癌种高达400 余种,虽然目前肿瘤的内科治疗方法主要涉及化疗、靶向、免疫三大类,但针对不同癌种的诊疗方法之间仍存在着显著差异
[13]。相比于其他内科科室,肿瘤内科新药多、药物搭配复杂,因此知识体系更新极快,专业知识学习难度极高
[12,14]。对于住院医师规范化培训阶段的学员来说,他们不仅需要快速掌握当下的知识,还需要不断学习补充新的前沿成果。根据既往对我科住培医师学习情况的观察,我们发现新入的初学者在面对如此巨大的学习任务时,大部分学员会很快丧失学习动力,只愿意机械地接受指导老师的知识灌输,缺少自己的独立思考过程,无法完全吸收消化知识点,因此传统的教学手段十分不利于临床能力的培养。
本研究中,我们通过引入大语言模型这一人工智能工具,很好地解决了学员的学习痛点问题,同时为了保证研究的可重复性,本研究未对大语言模型进行任何干预调整。研究结果显示,两组学员在基础理论知识方面无明显统计学差异(
P>0.05),表明两组基线特征具有可比性。但在病例分析部分,试验组学员要优于对照组学员(
P<0.001),且通过信效分析、区分度分析,结果显示病理分析题设计符合研究要求,保证了结果的可靠性。两组学员在病例实践能力中存在差距,主要原因在于大语言模型通过协助学员进行知识获取帮助学员快速形成了自有知识体系,通过模拟训练和疑难病例分析使学员在知识储备、逻辑推理和诊断思路方面展现出明显优势
[15-16]。为进一步分析学员在学习过程中,接受不同教育方法后学习特质的变化,我们进一步通过CTDI-CV量表对学员的批判性思维能力进行评估后发现试验组在寻找真理(
P<0.001)、开放思想(
P<0.001)、分析能力(
P<0.001)、系统化能力(
P<0.001)、求知欲(
P<0.001)这几个特质上优于对照组,这进一步说明了大语言模型辅助教学的优越性,可有效促进培养学员的临床批判性思维。由于肿瘤治疗“一人一方”的基本特征,临床实践中往往需要我们敢于质疑和挑战,帮助学员培养足够的批判性思维能力对于提高和促进肿瘤临床诊疗能力十分关键
[13-15]。在自信能力和认知成熟度上两组无明显差别(
P>0.05),这可能与学员自身素质有关,并且量表中相关试题,例如:“做决定时,其他人期待我去制定适当的准则做指引”“对很多事情,我很快就能下定论”等,受限于中国学生的传统文化教育背景,因此可能导致两组学员做出相同的选择,最终导致评分没有表现出差异性。此外,大语言模型教学的核心在于协助高效获取有价值的理论知识,而自信能力以及认知成熟度均需要学员通过长期的成功实践才能慢慢积累,本研究的8 W时间可能不足。但是,我们通过学员的满意度评价可以发现,试验组的各项满意度均高于对照组(
P<0.001),这表明对学员来说真正高效且有价值的学习方法不仅可以激发学习的积极性,还可以通过提高学员对专科学习的信心来促进临床实践能力的进步。由于肿瘤诊疗的复杂性和灵活性,针对同一患者,不同医师可能出具不同的诊疗方案,因此职业自信心的建立对于肿瘤专科医师的长期培养就显得十分重要。
本研究结果充分说明了应用大语言模型辅助教学在肿瘤内科住院医师规范化培训中的显著效果,相较于传统教学模式,我们认为大语言模型辅助教学存在几点优势。①改变了学员的信息获取路径。传统教学模式中,学员获取知识信息的方式主要是导师讲解、网页搜索引擎、各类专业学术网站、阅读纸质版指南书籍等,而通过大语言模型的辅助,学员从根本上摈弃了各类复杂的获取方式,可以更加高效地实现有用信息的筛选和定位,大大提高了学习效率。②优化了学员学习策略。与传统教学模式的被动获取方式不同,大语言模型可以在学员的学习过程中提供更多的支持,传统教学模式只能实现信息的无序呈现,而大语言辅助教学则可以通过自身强大的逻辑推理能力、海量的知识储备等核心能力,为学员提供更多且体验感更好的学习策略,例如罕见病例的模拟训练、针对性的拓展阅读等。③改善了学习和教学的双重体验。与传统模式相比,大语言模型更像一个全天候待命的“导师”,虽然在实践经验上与高年资专科医生存在较大差距,但其仍可凭借强大的上下文联想能力,在面对某一特定问题时为学员提供刨根问底式的解答,还可进一步针对性地提供学习建议,进一步拓宽了学员的视野并加深理解,为学员的知识框架提供优质信息,而指导老师则可以专心于学员学习方向的引导。相应的,大语言模型教学方法的核心创新和价值体现在以下几个方面:彻底改变了导师灌输知识的教学路径,改为导师引导+模型辅助解答的新模式,既减轻了导师的教学负担,也降低了学员学习的时间和精力成本,极大提高了前沿知识的可及性;大语言模型技术的功能被重新定义,既往在临床实践中,大语言模型由于缺乏人类的临床经验积累,用于辅助诊疗容易被贴上不可靠的标签,但将其运用到教学领域,其所具备的模拟对话能力,能够极大地拓宽学员的视野,帮助学员巩固掌握的知识,并尝试诊疗部分少见、罕见癌种;显著改善了非专科学习的适应性,降低了肿瘤专科学习的门槛,帮助学员快速建立信心,激发初学学员的学习热情。
以大语言模型为代表的人工智能技术是引领下一次科技革命和产业变革的战略性技术,正在以突破性的创新力量重塑各行各业的面貌,尤其是在医学教育领域更是大有可为
[17]。教育部2024年启动的教育系统人工智能大模型应用示范(large language model in education application demonstration,LAED)行动中就明确提到了要推动人工智能技术,尤其是大语言模型技术,全面赋能医学教育实践,覆盖理论教学到临床实践的各个环节,提供个性化的学习路径,智能化的教学辅助,提升医学生的学习效率和导师的教学效率
[18]。本研究仅以住院医师规范化培训中肿瘤专科所遇到的教学问题为引,尝试应用大语言模型工具为学员解决知识获取困难、病例积累慢等问题。除此之外,北京大学的“口腔虚拟仿真智慧实验室的建设与应用”、南方医科大学的“AI赋能医学影像教研创新平台”、北京大学第三医院的“Altech”虚拟病例系统等诸多试点项目为我们提供了新的思路去更好地运用这类人工智能工具
[19-20]。本研究中,大语言模型的辅助教学在肿瘤内科住院医师规范化培训中的成功应用也进一步佐证了人工智能技术应用未来必将在医学教育中发挥不可替代的作用。
尽管如此,但仍需客观认识到本研究仍存在以下几方面的局限性:样本量较小,仅纳入43 名既往无肿瘤临床学习经历的非专业内科学研究生,虽然仍取得了显著的教学成果,但无法评估这类工具对于那些拥有肿瘤专业基础的专科学员是否仍有获益;整体研究时间较短,受限于规培计划限制,本研究仅跟踪观察了8 W时间,无法评估大语言模型工具的长期教学价值;因模拟训练为大语言模型教学的特色功能,对照组改为临床实践,可能对本研究结果产生一定影响。下一步研究,本团队将着力于拓展大语言模型工具的教学应用场景,并扩大研究范围、延长追踪评估周期,通过不断摸索和尝试,持续挖掘大语言模型在不同医学教育场景中的潜在价值。