ChatGPT聚焦临床医学教育管理研究热点的可行性与伦理考量

曾嘉霖 ,  苏萍 ,  黄昉菀

中国医学伦理学 ›› 2024, Vol. 37 ›› Issue (9) : 1108 -1118.

PDF (3495KB)
中国医学伦理学 ›› 2024, Vol. 37 ›› Issue (9) : 1108 -1118. DOI: 10.12026/j.issn.1001-8565.2024.09.14
医学人工智能伦理

ChatGPT聚焦临床医学教育管理研究热点的可行性与伦理考量

作者信息 +

Feasibility and ethical considerations of ChatGPT focusing on research hotspots in clinical medical education management

Author information +
文章历史 +
PDF (3578K)

摘要

目的 探讨利用大型语言模型ChatGPT聚焦临床医学教育管理领域中研究热点的可行性,旨在加速该领域科学研究的进程。 方法 首先选定该领域的六个关键课题,通过提问引导ChatGPT自动生成每个课题中最紧迫或最重要的五个研究热点;然后组织六名临床医学教育管理人员利用五分李克特量表对ChatGPT生成的研究热点从针对性、人文性、辩证性、拓展性和独创性五个维度进行评估;最后根据描述性统计、评分相似性、指标相关性对评估结果进行多角度分析。 结果 ChatGPT生成的研究热点在课题的针对性方面表现优异,在人文性、辩证性和拓展性方面的表现也令人满意,但在独创性方面则表现一般。 结论 ChatGPT可以作为聚焦临床医学教育管理中研究热点的辅助工具,但仍需更多努力来增强其所生成的研究热点的独创性。而在运用ChatGPT聚焦研究热点时,存在着一系列伦理风险,包括数据的虚假与滥用、算法的歧视与偏见、学术的失信与失范。研究者从技术层面可整合多种大型语言模型的聚焦结果,利用数据和算法多样性,规避伦理风险;从应用层面可利用个体鉴别和群体论证等手段,以批判性思维谨慎审视,规避伦理风险。

Abstract

Objective To explore the feasibility of using the large-scale language model ChatGPT to focus on research hotspots in the field of clinical medical education management, aiming to accelerate the scientific research process in this field. Methods First, six key topics in the field were selected, and ChatGPT was guided to automatically generate the five most urgent or important research hotspots in each topic through questioning. Then, six clinical medical education managers were organized to use the five-point Likert scale to evaluate the research hotspots generated by ChatGPT from five dimensions, including pertinence, humanity, dialectics, expansion, and originality. Finally, the evaluation results were analyzed from multiple perspectives based on descriptive statistics, score similarity, and indicator correlation. Results The research hotspots generated by ChatGPT performed excellently in terms of topic specificity, and were also satisfactory in terms of humanistic, dialectical, and expansive aspects, but performed mediocrely in terms of originality. Conclusion ChatGPT can serve as an auxiliary tool to focus on research hotspots in clinical medical education management, but more efforts are still needed to enhance the originality of the research hotspots it generates. However, when using ChatGPT to focus on research hotspots, there are a series of ethical risks, including false and abusive data, discrimination and bias in algorithms, as well as academic dishonesty and misconduct. From the technical perspective, researchers can integrate the focused results of multiple large-scale language models, and utilize data and algorithm diversity to avoid ethical risks. From the application perspective, individual identification, group argumentation, and other means can be utilized, and carefully examined with critical thinking to avoid ethical risks.

Graphical abstract

关键词

临床医学教育管理 / 研究热点 / 大型语言模型 / 伦理风险 / 规避进路

Key words

clinical medical education management / research hotspot / large-scale language model / ethical risk / evasive route

引用本文

引用格式 ▾
曾嘉霖,苏萍,黄昉菀. ChatGPT聚焦临床医学教育管理研究热点的可行性与伦理考量[J]. 中国医学伦理学, 2024, 37(9): 1108-1118 DOI:10.12026/j.issn.1001-8565.2024.09.14

登录浏览全文

4963

注册一个新账户 忘记密码

为推动临床医学教育管理的持续发展,准确聚焦最关键或最有价值的研究热点显得格外重要。现有的做法是通过查阅大量的参考文献或走访专家来取得共识,不仅费时费力,而且可能无法涵盖潜在研究热点的全部范围。近年来,随着自然语言处理技术的迅猛发展,大型语言模型(large language model,LLM)在诸多领域中展现出强大的应用能力,包括教育领域和医疗领域等1-5。目前在两者交叉的领域——医学教育管理领域尚未发现此方面的研究。本文探索了利用LLM模型——ChatGPT,聚焦临床医学教育管理领域中研究热点的可行性,并讨论了运用该工具的伦理风险与规避进路。借助LLM的最新进展,希望挖掘出临床医学教育管理领域中最紧迫或最重要的研究问题,加快该领域科学研究的进程。

1 研究背景

LLM是一种知识增强型预训练语言模型,它凭借Transformer神经网络架构、上下文学习和基于人类反馈的强化学习,拥有跨领域知识和语言理解能力,能够基于自然对话方式理解与执行任务,可以高效地帮助用户获取信息、知识和灵感6。LLM具有模型参数多、训练数据量大、泛化性强、迁移性好和知识涌现能力等特点7。与LLM交互的一种常见方法是用户设计并提供特定的提示文本,以指导LLM生成所需的响应或完成特定任务,因此LLM可以作为回答问题、提供解释和支持决策过程的有效工具8

在LLM的众多应用中,研究热点挖掘格外引人注目。在心脏病学领域,Gala等9认为LLM可以帮助临床医生了解最新的心脏病学进展。该研究同时也指出了LLM的局限性在于难以解释可能影响医疗实践的文化或情感因素。Cascella等10探讨了ChatGPT在公共卫生主题的推理能力。该研究指出虽然ChatGPT的有些回答可能是模式化的,并且其逻辑可能依赖于用户的输入,但它的确可以用于探索文献和产生新的研究假设。

在其他学科的研究中,已有部分评估方法被使用。例如,Lahat等11利用ChatGPT自动生成胃肠病学中需要优先考虑的研究问题。该研究使用SPSS Explore函数比较了专家们的评分均值和标准差,并使用类内相关系数衡量了专家评分之间的相关性。Tang等12系统地研究了ChatGPT在阿尔茨海默病、肾病、食道癌、神经系统疾病、皮肤病和心力衰竭六个临床领域进行医学证据总结的能力和局限性。该研究邀请领域专家使用五分李克特量表评估ChatGPT总结医学文献的质量。曼-惠特尼U检验被用于评估ChatGPT生成的摘要和人类撰写的摘要之间的差异。类似的,王卓等13通过五分李克特量表、测验试卷和访谈表等形式评估ChatGPT对研究生学术阅读能力的影响。描述性统计和独立样本t检验被用于描述实验组和对照组的差异。综上所述,目前评估ChatGPT聚焦研究热点性能的手段较为简单且主要基于统计学,尚未有研究结合数据挖掘中的相关性分析和相似性度量等手段。因此,本研究将进一步探索更多样化的评估手段来多角度评估ChatGPT聚焦临床医学教育管理中研究热点的可行性。

2 研究设计

2.1 选定研究课题

为了准确地评价ChatGPT在聚焦临床医学教育管理中研究热点方面的能力,助力高素质医学人才培养,结合国务院办公厅2020年发布的《国务院办公厅关于加快医学教育创新发展的指导意见》,本文关注了该领域的六个重要课题:①如何健全临床教学体系;②如何加强临床师资队伍建设;③如何加强专业、课程、学科和学位点建设;④教学医院如何落实并深化医教协同;⑤如何加强教育教学信息化建设;⑥如何在临床教学中融入人文素质教育。

2.2 生成研究热点

2023年8月利用ChatGPT自动生成上述课题的研究热点。具体做法是以问答的方式,首先输入合适的问题引导,然后要求ChatGPT自动为每个课题生成五个最紧迫或最重要的研究热点。本文采用的输入提示是“请针对……这一课题,搜索最新文献并挖掘出目前最紧迫或最重要的五个研究热点”。为了消除先前对话的潜在偏差,需要为每个课题启动一个新线程,并确保生成的响应与当前提示直接相关14

ChatGPT为课题1——如何健全临床教学体系,生成的五个研究热点(Q01~Q05)是:①如何制定清晰的教学目标,以明确培养目标和期望,确保教学与实践相结合,使学生掌握到实际应用中的知识和技能?②如何建立全面的教学计划,以提供系统化、有条理的教学内容,涵盖基础知识、临床技能、沟通与协作等方面,注重培养学生的综合素养?③如何优化教学方法,结合多种教学方法,如案例分析、模拟操作、团队合作等,培养学生的问题解决能力和批判性思维?④如何加强实践环节,以提供充足的临床实践机会,包括实习、实训和临床实习等,让学生亲身参与实际医疗工作,并与临床专业人员合作?⑤如何引入创新教学技术,利用现代技术手段,如虚拟现实、远程教学等,提供更多学习资源和交流平台,拓宽学生的学习途径和机会?

ChatGPT为课题2——如何加强临床师资队伍建设,生成的五个研究热点(Q06~Q10)是:①如何加强临床师资培训,以提供系统化、持续性的培训计划,包括临床技能培训、教学能力培养和科研能力提升等方面,提高临床师资的专业水平和综合素质?②如何搭建专业交流平台,以鼓励临床师资分享经验和教学资源,促进师资之间的合作与学习?③如何增加教学实践机会,例如临床培训基地和模拟病例教学,让临床师资能够在真实场景中实践和提高教学水平?④如何建立健全评估体系,通过定期提供评估结果反馈、指导和激励,帮助临床师资不断提升自身的教学能力和专业水平,提高其工作积极性和敬业精神?⑤如何参与学科研究合作,为临床师资提供科研项目、经费和资源支持,鼓励参与科学研究,培养科研思维和创新能力,参与跨学科的合作与研究,促进医学领域的创新和发展?

ChatGPT为课题3——如何加强专业、课程、学科和学位点建设,生成的五个研究热点(Q11~Q15)是:①如何优化课程设置,根据医学教育的需求和发展趋势,及时更新和调整课程设置,注重培养学生的实践能力和创新思维,提高教学质量和适应性?②如何强化专业建设,加强专业的学科基础和学科交叉融合,完善专业教学大纲和教材,提高专业教育的针对性和实用性?③如何提升学科水平,加强学科建设,引进高水平的学科带头人和优秀教师,推进学科交流和合作,提高学科研究和教学水平?④如何提升学位点水平,加强学位点建设,提高硕士和博士学位点的教育质量和研究水平,增加学位点的数量和影响力?⑤如何加强评价和认证,建立科学、公正的评价标准和认证机制,对专业、课程、学科和学位点进行评估和认证,确保其质量和水平?

ChatGPT为课题4——教学医院如何落实并深化医教协同,生成的五个研究热点(Q16~Q20)是:①如何建立医教管理机构,明确医教协同的组织架构和责任分工,负责协调医院与教学任务之间的衔接和协作?②如何制定医教协同计划,明确医院与教学任务的目标、任务和时间表,确保医教协同的顺利执行?③如何配备教学指导岗位,负责指导学生的临床实习和实践操作,确保学生在医院得到充分的实践机会和指导?④如何加强教师培训与评价,提高教师的教学水平和临床指导能力,建立科学、公正的教学评价机制,激励教师积极参与医教协同工作?⑤如何促进教学科研合作,推动医院与教学任务之间的科研合作,鼓励教师参与临床研究项目,将科研成果应用于教学中,提升医学人才培养的质量与水平?

ChatGPT为课题5——如何加强教育教学信息化建设,生成的五个研究热点(Q21~Q25)是:①如何建设在线教学平台,搭建在线教学平台,提供各类课程资源、教学资料和学习工具,方便学生随时随地获取相关知识和信息?②如何创新教学方法,结合信息技术手段,开展多媒体教学、虚拟仿真实验和远程教育等创新教学方法,提高教学效果和学习体验?③如何引入远程教学资源,利用视频会议、网络直播等技术手段,引入优质远程教学资源,扩大师资和学科资源的覆盖范围,提供多样化的学习机会?④如何提供在线学习支持,为学生提供在线辅导、问题解答、在线讨论、远程实践等学习方式,促进学习互动与交流?⑤如何实现数据化教学管理,建立教学数据管理系统,收集和分析学生学习情况、教学效果等数据,通过数据分析提供个性化的学习指导和教学改进?

ChatGPT为课题6——如何在临床教学中融入人文素质教育,生成的五个研究热点(Q26~Q30)是:①如何采用跨学科教育模式,通过与其他学科的融合来促进人文素质教育在临床教学中的应用,如探索与人文学科(如社会学、心理学)的合作?②如何完善人文素质评价体系,客观评价医学生的人文素质,以及人文素质对临床实践的影响,探索建立科学、可行的评价指标和工具?③如何提升教师人文素养,关注教师人文素养的培训和发展,提升教师在人文领域的专业能力和教学水平?④如何加快教材与资源建设,开发与临床教学中人文素质教育相适应的教材和教育资源,如智能化沟通模拟系统,提供医生与患者之间各种交流场景的模拟训练?⑤如何加强社会参与与合作,促进医学院校与社会、医疗机构以及患者之间的合作,以培养具备人文关怀能力的医学人才?

2.3 评估研究热点

为了全面评估ChatGPT能否作为聚焦临床医学教育管理领域研究热点的有效工具,本文邀请了六位具有丰富相关工作经验的临床医学教育管理人员对这些研究热点进行了多维度评估,评估人员的基本情况见表1

每位评估人员被要求对每个研究热点,从针对性、人文性、辩证性、拓展性和独创性等维度进行评分。具体说明如下:

①针对性反映了该研究热点针对某些特定情况、需求或目标的程度。一个针对性强的研究热点能够直接针对所涉及的课题,提供明确的答案或解决方法。

②人文性反映了该研究热点所涉及的人类文化、价值观、道德观念、社会关系等方面的特点或影响。研究热点的人文性可以影响问题的解决方式、社会影响以及与问题相关的伦理和道德考量。

③辩证性反映了该研究热点从多个角度进行分析和思考的能力。它强调从整体和相互关系的角度来看待问题,而不是只关注问题的表面现象。

④拓展性反映了研究热点的潜力和广泛适用性。一个拓展性好的研究热点能够引发更多的思考和讨论,有助于探索不同的观点、角度和解决方案。

⑤独创性反映了该研究热点的创新程度。一个独创性好的研究热点是与众不同的、具有新颖性的、能够打破常规思维模式,引发新的思考和创意。

采用五分李克特量表进行评价,5分表示优秀,4分表示良好,3分表示中等,2分表示及格,1分表示不及格。为了直观的展示评分结果,采用雷达图可视化了六位评估人员对于30个研究热点(Q01~Q30)根据某个评价指标进行评价的分数(见图1)。图中最外圈的环代表5分,越内圈的环代表得分越低。图中不同线型代表了不同评估人员的评分结果。

3 数据分析

统计显示,量表的Cronbach’s α系数为0.950>0.8,表明量表信度较高。通过该量表能较真实可靠地反映ChatGPT聚焦临床医学教育管理领域研究热点的能力。

基于此,从以下三个方面对六位评估人员的评分结果进行数据分析:①描述性统计;②评估人员的评分相似性;③评价指标的等级相关性。数据分析工具采用IBM SPSS Statistical Package Version 25和Python 3.10。

3.1 描述性统计

以评价指标、评估人员、课题为列属性构造三张评分表并进行描述性统计。具体而言,当以评价指标为列属性时,每列表示的是六位评估人员对30个研究热点的该指标进行评分的分数,即样本数为180。而当以评估人员为列属性时,每列表示的是该人员对于30个研究热点从5个评价指标进行评分的分数,即样本数为150。最后当以课题为列属性时,每列表示的六位评估人员对该课题下的5个研究热点从5个评价指标进行评分的分数,即样本数为150。描述性统计结果见表2表3表4

3.2 评估人员的评分相似性

在数据挖掘领域,“散度”被广泛用于检测评估人员评分的相似性。Corduast15提出利用KL散度(Kullback-Leibler Divergence)以检测评价者对一组项目评分的相似性,该测试采用7分李克特量表来评分。Westland16则采用JS散度(Jensen-Shannon Divergence)来衡量李克特评分与被调查者信念假设之间的差异。JS散度是KL散度的改进版,KL散度是不对称的,而JS散度是对称的,对相似度的判别更确切。基于此,采用JS散度计算评估人员评分的相似性。利用以评估人员为列属性构造的评分表计算任意两位评估员的评分向量之间的JS散度。JS散度的取值介于0~1之间,其值越小表示越相似。采用热图可视化了结果(见图2),颜色越深表示评估人员之间的评分越相似。任意两位评估员之间的JS散度若低于平均值,则色块中的数值用白色表示;否则数值用黑色表示。

3.3 评价指标的等级相关性

由于分数为等级变量,所以在统计相关性时,应采用等级相关(Rank Correlation),这是一种非参数统计方法。常用的等级相关系数有斯皮尔曼相关系数、肯德尔τ系数。它们均是一种秩相关系数,秩可以理解为原始数据的排序位置。斯皮尔曼相关系数通过秩差的平方和来评估相关关系,而肯德尔τ系数则是基于同序对和异序对的个数来衡量相关性的强弱。无论是斯皮尔曼相关系数还是肯德尔τ系数,当系数大于零时,表示正相关,反之则表示负相关。系数的绝对值越接近1表示相关性越强。

利用以评价指标为列属性构造的评分表计算任意两个评价指标的相关系数。首先建立两个假设:原假设(两个指标之间不存在相关性)和备择假设(两个指标之间存在相关性)。显著性水平可用来衡量对原假设的拒绝程度。本文将显著性水平设置为0.01。这意味着如果计算得到的显著性值P≤0.01,则拒绝原假设,认为两个指标之间具有相关性。表5表6展示了评价指标两两之间的斯皮尔曼相关系数和肯德尔τ系数。上述分析都通过了显著性检验,所有系数的P值(双尾或单尾)均小于0.01,说明相关性分析具有统计学意义。

4 结果讨论

4.1 描述性统计的讨论

第一,ChatGPT生成的研究热点在针对性方面表现优异,在人文性、辩证性和拓展性方面的表现也令人满意,但在独创性方面则表现一般。根据表2的统计结果可以发现:

①针对性的平均得分为4.17,且四分位数在所有评价指标中最高。这表明评估人员普遍认为ChatGPT生成的研究热点与给定的课题之间具有很强的针对性。这得益于ChatGPT已经接受了大量文本的训练,因此它非常擅长使用人类语言清晰地描述问题17

②独创性的平均得分为3.58,且四分位数在所有评价指标中最低。这表明评估人员普遍认为ChatGPT生成的研究热点基本属于研究人员已经考虑的研究范畴。换句话说,ChatGPT创新或创造能力仍然有限,该结论也和ChatGPT在挖掘其他领域研究热点的结论类似11。这意味着在挖掘新颖的研究热点方面,仍然需要借助人类的智慧和灵感。

③人文性、辩证性、拓展性的平均得分介于3.89~3.98之间且中位数为4。这说明评估人员也比较认可ChatGPT在人文性、辩证性和拓展性的表现。但需要指出的是辩证性的平均得分具有较大的标准差且四分位间距为2,表明不同评估人员对于该指标给出的分数的波动程度较大。

第二,评估人员对于ChatGPT作为聚焦研究热点有效工具的认同度较高,但认可的角度会有所不同。根据表3的统计结果可以发现:

①评估员4给出的平均分最低(仅为3.19),而其他人员给出的平均分均超过3.6,最高接近4.4。这说明绝大多数评估人员对于ChatGPT作为聚焦研究热点有效工具的认同度较高。

图3进一步展示了每个评估人员基于30个研究热点给出的某个评价指标的平均分数。可以发现,对于ChatGPT提出的研究热点,评估员6在针对性和辩证性方面的认可度最高,而评估员3则在人文性、拓展性和独创性方面的认可度最高。这说明评估人员对于认可ChatGPT能力的角度会有所不同。

第三,ChatGPT对各课题的平均表现较为一致,但针对不同评价维度的表现仍存在差异。根据表4的统计结果可以发现:

①各个课题的平均得分和标准差都非常接近,说明ChatGPT对各课题具有一定的平均表现,存在泛化性。这意味着ChatGPT在临床医学教育管理领域其他课题的表现也可以借鉴本文的结果。

图4进一步展示了每个指标在所有课题的平均得分。可以发现,在针对性和人文性方面,ChatGPT在课题6的表现最好;在辩证性、拓展性和独创性方面,ChatGPT则分别在课题2、课题3和课题5表现最好。

课题6本身针对的就是人文素质教育,所以ChatGPT在针对性和人文性方面的表现更容易获得评估者的认可。课题2涉及临床师资队伍建设、教师的学历与能力、引进与培养、数量与质量、稳定与流动等多种辩证关系,因此ChatGPT易挖掘出具有辩证性的研究热点。课题3涉及医学专业、课程、学科、学位点建设,鉴于当前医学人才培养目标具有一定国际视野,并与国家战略方向一致,ChatGPT善于抓取该领域国际国内规划建设内容、优秀案例及现有政策等,由此可整合生成具有拓展性的研究热点。课题5涉及医学教育教学的信息化建设,随着信息技术(如虚拟仿真、元宇宙、人机协同)的迅猛发展,此方面的研究进展更新较快,因此ChatGPT比较容易生成出评估人员认可的具有独创性的研究热点。

4.2 评估人员评分相似性的讨论

根据图2可以发现:

①评估人员两两之间的JS散度介于0~0.057之间。由于JS散度值越小表示越相似,因此可以认为评估人员对ChatGPT的评价具有非常高的统一性。

②评估员1和其他人员的评分相似度较低,这主要是由于评估员1打分的波动性较大造成的。从表3可以看出评估员1的评分标准差明显高于其他评估员。

③评估员3、评估员5和评估员6与其他人员的评分相似度较高,说明评估人员均较为认可他们的打分。从表3可以发现他们给出的平均分均大于4,这再一次说明评估人员对于ChatGPT作为聚焦研究热点有效工具的认同度较高。

4.3 评价指标等级相关性的讨论

根据表5表6可以得到以下结论:

①两种等级相关系数均反映出针对性和独创性之间的相关性最低。这意味着即使ChatGPT可以针对课题很好地聚焦研究热点,但是该热点的原创性并不高。这和前面描述性统计的结论不谋而合。ChatGPT虽然能够处理大量的信息和数据,但其思维方式和决策能力仍然受限于人类所设定的算法和规则。所以在聚焦临床医学教育管理领域中具有创新性的研究热点时,人类的创造创新能力仍然是不可替代的。

②两种等级相关系数均反映出人文性和辩证性之间的相关度高于与其他属性的相关度。这说明辩证思维需要有人文精神的滋养。在解决实际问题时,秉持人文精神,会对很多事情有更深刻的见解。在聚焦临床医学教育管理的研究热点时,辩证性体现了用发展、变化的观点来看待、分析事物,而人文性则有助于在变化中寻找出路,在矛盾中寻找突破。

③两种等级相关系数均反映出独创性和辩证性、人文性之间具有一定的相关性。众所周知,辩证思维包含抽象与具体、正向与逆向、发散与收敛、求同与求异等矛盾运动,易产生创新性观点18。而独创性与人文性的相关恰恰说明人类之所以比AI机器人具有更高的独创性,正是由于人类具有更高的人文伦理素养。ChatGPT虽然经过了大规模的训练,但是仍可能存在着无法理解和处理自然语言中蕴含的文化背景及自觉遵循伦理纲常的局限性。

5 伦理风险与规避进路

需要注意的是,ChatGPT 为临床医学教育管理挖掘有价值的研究热点的同时,也带来一系列伦理风险,主要包括:数据的虚假与滥用、算法的歧视与偏见、学术的失信与失范19-22。首先,ChatGPT 是一个通过在大规模互联网文本数据上进行预训练得到的问答模型,互联网上充斥着大量的虚假信息,目前尚未有监管机制可以有效监测其训练数据的真实性和数据滥用的程度23;其次,ChatGPT的训练过程蕴含着算法设计者的思想意识,且依赖的语料库来自于不同国家,数据量并不均衡,所以国情、种族和文化的差异会造成机器算法的歧视与偏见,这可能会导致ChatGPT为研究者提供错误指引24;最后,ChatGPT提供的信息可能会涉及知识产权问题。由于ChatGPT可基于人类反馈进行自我学习,因此其他学者与ChatGPT的对话有可能会被其记录并作为训练数据25。这会导致ChatGPT将其他学者未经发表的观点作为答复反馈给提问相关问题的研究者26。研究者若未经授权使用他人的研究成果,可能会引发学术不端的质疑。

因此,研究者利用ChatGPT聚焦研究热点时,应注意规避伦理风险。可以从技术和应用两个层面寻找规避路径。从技术层面,研究者可利用OpenAI提供的最新网页浏览插件,要求ChatGPT从网络实时提取最新数据并提供信息来源,可在一定程度上避免数据滥用和虚假数据27。此外,除了OpenAI的GPT系列之外,还有许多成熟的大语言模型,如微软的Gorilla、谷歌的PaLM、Meta的LLaMA、百度的文小言、阿里的通义千问、科大讯飞的星火认知等。国外的大语言模型以英文语料库为训练数据的主要来源,对中文文献的覆盖广度和深度不够28。而国内成熟的大语言模型则可以很好地弥补此项不足29。鉴于各大语言模型选用的数据集存在一定的差异,通过增加数据集和模型的多样性,可以在一定程度上避免算法的歧视与偏见问题。研究人员可以使用多种大语言模型聚焦临床医学教育管理的研究热点,整合各模型生成的研究热点,从而提升聚焦性能,优化用户体验。

在应用层面,研究者针对大语言模型聚焦的研究热点,应进行人工鉴别和处理。首先,研究者应夯实专业知识,提升学术阅读数量和质量,培养学术辨析能力,保持独立思考能力,以批判性思维认真审视生成的研究热点,不能直接生搬硬套;其次,研究员应掌握医学伦理法规、政策和规范等方面的知识,学习如何对研究热点的敏感信息进行脱敏处理,避免泄露个人或机构的隐私。在使用他人的研究成果时,应确保已经获得了相应的授权,避免侵犯他人的知识产权。上述工作完成后,研究者还可邀请相关领域的专家、学者参与论证,以评估研究热点的学术正确性、伦理规范性和研究价值度。

6 结语

临床医学教育具有学科专业综合性、教育模式终身性、教育标准国际性、培养要求职业性、教育成本高值性等一系列特性,教育管理过程难度大,周期长,相关研究亟待智能化手段的参与。本文的研究证明了ChatGPT在临床医学教育管理研究中的应用价值。ChatGPT作为一种人工智能模型,可以通过自然语言处理和机器学习等技术,对临床医学教育管理的大量文献进行深度挖掘、分析和总结,因此它的确可以成为辅助研究人员聚焦临床医学教育管理领域中最关键或最有价值的研究热点的有力辅助工具,加速研究进程。

统计结果表明ChatGPT生成的研究热点在课题的针对性方面表现优异,在人文性、辩证性和拓展性方面的表现也令人满意,但在独创性方向则表现一般。这主要是因为ChatGPT是基于已有的数据进行训练,而不是从空白状态开始创作。因此在生成回复时更倾向于重复和模仿已学习过的内容,而不太可能产生全新的、原创性的想法。这意味着在挖掘新颖的研究热点方面,仍然需要借助人类的智慧和灵感。

此外,在借助ChatGPT聚焦研究热点时,存在着一系列的伦理风险。研究者既不能生搬硬套,也不必因噎废食。人工智能技术介入教育领域已势不可挡,研究者必须积极面对ChatGPT带来的学术伦理挑战,采取有效的规避手段,促进教育人工智能理性发展。

在未来的研究中,可以从以下几点展开研究:一是参与评价人员虽具有一定相关的工作经验,但权威性及研究领域覆盖面略显不足,为了更好地验证本文的观点,未来的研究应该涉及更大、更多样化的专家小组。二是ChatGPT聚焦研究热点的性能评估目前仅依赖于参评人员的主观评分,可能存在一定的偏差和可变性。未来的研究可以考虑使用更客观的指标,如根据相似研究课题的学术论文的数量、影响因子和引用频率进行评估。三是本研究对每个课题仅使用了一套提示。对于大语言模型而言,设计提示是非常重要的。好的提示可以引导模型生成有用、准确的回答,而不好的提示可能产生含糊不清、语义不明的结果。因此,设计提示需要考虑语法结构、使用的词汇、上下文信息等因素。未来可以采用更多不同提示进行实验,以便更全面地评估ChatGPT聚焦研究热点的能力。

参考文献

[1]

MIN BROSS HSULEM Eet al. Recent advances in natural language processing via large pre-trained language models: a survey[J]. ACM Computing Surveys202356(2):1-40.

[2]

吴兰岸,闫寒冰,黄发良,.大型语言模型在高等教育中的应用分析与现实挑战[J].现代教育技术202333(8):29-37.

[3]

WU L AYAN H BHUANG F Let al. The application analysis and realistic challenge of large language models in higher education[J]. Modern Educational Technology202333(8):29-37.

[4]

代翔,郭丽君. ChatGPT介入高等教育的方式、风险及应对策略[J]. 高教探索2023(5):12-17.

[5]

DAI XGUO L J. Ways, risks and strategies of using ChatGPT to intervene in higher education[J]. Higher Education Exploration2023(5):12-17.

[6]

罗云梅,刘雪梅. ChatGPT对学术出版伦理的影响[J]. 医学与哲学202344(12):25-28.

[7]

LUO Y MLIU X M. Impact of ChatGPT on the ethics in academic publication[J]. Medicine and Philosophy202344(12):25-28.

[8]

THIRUNAVUKARASU A JTING D S JELANGOVAN Ket al. Large language models in medicine[J]. Nature Medicine2023(29): 1930-1940.

[9]

HU LLIU ZZHAO Zet al. A survey of knowledge enhanced pre-trained language models[J]. IEEE Transactions on Knowledge and Data Engineering2023:1-19.

[10]

WEI J, TAY Y, BOMMASANI Ret al. Emergent abilities of large language models[J]. Transactions on Machine Learning Research2022(8):1-30.

[11]

戴岭,赵晓伟,祝智庭. 智慧问学:基于ChatGPT的对话式学习新模式[J]. 开放教育研究202329(6):42-51.

[12]

DAI LZHAO X WZHU Z T. A new inquiry learning: conversational learning with ChatGPT[J]. Open Education Research202329(6):42-51.

[13]

GALA DMAKARYUS A N. The utility of language models in cardiology: a narrative review of the benefits and concerns of ChatGPT-4[J]. International Journal of Environmental Research and Public Health202320(15): 6438.

[14]

CASCELLA MMONTOMOLI JBELLINI Vet al. Evaluating the feasibility of ChatGPT in healthcare: an analysis of multiple clinical and research scenarios[J]. Journal of Medical Systems202347(1): 33.

[15]

LAHAT ASHACHAR EAVIDAN Bet al. Evaluating the use of large language model in identifying top research questions in gastroenterology[J]. Scientific Reports202313(1): 4164.

[16]

TANG LSUN ZIDNAY Bet al. Evaluating large language models on medical evidence summarization[J]. Digital Medicine20236(1): 158.

[17]

王卓,马洋珍,杨现民,. ChatGPT类阅读平台对研究生学术阅读能力的影响[J]. 开放教育研究202329(6):60-68.

[18]

WANG ZMA Y ZYANG X Met al. Impact of ChatGPT-based reading platforms on the academic reading ability of graduate students[J]. Open Education Research202329(6):60-68.

[19]

LAHAT ASHACHAR EAVIDAN Bet al. Evaluating the utility of a large language model in answering common patients’ gastrointestinal health-related questions: are we there yet?[J]. Diagnostics202313(11): 1950.

[20]

CORDUAS M. Assessing similarity of rating distributions by Kullback-Leibler divergence[M]//Classification and Multivariate Analysis for Complex Data Structures. Springer, Berlin, Heidelberg, 2010: 221-228.

[21]

WESTLAND J C. Information loss and bias in likert survey responses[J]. PloS One202217(7): e0271949.

[22]

RAY P P. ChatGPT: A comprehensive review on background, applications, key challenges, bias, ethics, limitations and future scope[J]. Internet of Things and Cyber-Physical Systems20233:121-154.

[23]

李佃来. 从形式逻辑到辩证逻辑:思维创新的重要前提[J]. 探索与争鸣2023(1):43-46.

[24]

LI D L. From formal logic to dialectical logic: the important premise of thinking innovation[J]. Exploration and Free Views2023(1):43-46.

[25]

王佑镁,王旦,梁炜怡,. ChatGPT教育应用的伦理风险与规避进路[J]. 开放教育研究202329(2):26-35.

[26]

WANG Y MWANG DLIANG W Yet al. Ethical risks and avoidance approaches of ChatGPT in educational application[J]. Open Education Research202329(2):26-35.

[27]

李东洋,刘秦民. 论ChatGPT在医学领域可能带来的伦理风险与防范路径[J]. 中国医学伦理学202336(10):1067-1073.

[28]

LI D YLIU Q M. On the possible ethical risks and corresponding prevention paths of ChatGPT in the medical field[J]. Chinese Medical Ethics202336(10):1067-1073.

[29]

蒋雪颖,刘欣. 生成式人工智能技术下的学术生产与出版:变革、失范与路径[J]. 数字图书馆论坛202319(5):64-71.

[30]

JIANG X YLIU X. Scholarly production and publishing under generative AI: changes, disorder, and path[J]. Digital Library Forum202319(5):64-71.

[31]

刘佳丽,廖怀高. 论生成式人工智能学术伦理风险规制[J]. 沈阳工程学院学报(社会科学版)202319(4):83-89,123.

[32]

LIU J LLIAO H G. On the regulation of academic ethical risks in generative artificial intelligence[J]. Journal of Shenyang Institute of Engineering (Social Science)202319(4):83-89,123.

[33]

朱嘉珺.生成式人工智能虚假有害信息规制的挑战与应对:以ChatGPT的应用为引[J].比较法研究2023(5):34-54.

[34]

ZHU J. To regulate the disinformation brought by generative artificial intelligence as exemplified by the application of ChatGPT: challenges and possible solutions[J]. Journal of Comparative Law2023(5):34-54.

[35]

LI WHWANG KCHOI Jet al. A comparative study on discrimination issues in large language models[J]. Journal of Intelligence and Information Systems202329(3): 125-144.

[36]

刘智锋,吴亚平,王继民. 人工智能生成内容技术对知识生产与传播的影响[J]. 情报杂志202342(7):123-130.

[37]

LIU Z FWU Y PWANG J M. The impact of artificial intelligence generated content technologies on knowledge production and dissemination[J]. Journal of Intelligence202342(7):123-130.

[38]

周书环. 聊天机器人的法律人格争议与传播侵权责任研究:基于ChatGPT场景视角[J]. 南京社会科学2023(6):90-99.

[39]

ZHOU S H. Research on the legal personality controversy and propagation infringement liability of chatbots: based on the ChatGPT context[J]. Nanjing Journal of Social Sciences2023(6):90-99.

[40]

GOZALO-BRIZUELA RGARRIDO-MERCHÁN E C. ChatGPT is not all you need: a state of the art review of large generative AI models[J]. GRACE: Global Review of AI Community Ethics20231(1):1-23.

[41]

鲍彤,章成志. ChatGPT中文信息抽取能力测评:以三种典型的抽取任务为例[J]. 数据分析与知识发现20237(9):1-11.

[42]

BAO TZHANG C Z. Extracting Chinese information with ChatGPT: an empirical study by three typical tasks[J]. Data Analysis and Knowledge Discovery20237(9):1-11.

[43]

张华平,李林翰,李春锦. ChatGPT中文性能测评与风险应对[J]. 数据分析与知识发现20237(3):16-25.

[44]

ZHANG H PLI L HLI C J. ChatGPT performance evaluation on Chinese language and risk measures[J]. Data Analysis and Knowledge Discovery20237(3):16-25.

基金资助

国家自然科学基金区域联合重点项目“跨网络跨媒体两岸热点事件的智能挖掘与推荐”(U21A20472)

福建省本科高校教育教学研究项目(重大项目)“‘校-院-院’临床教学共同体‘多元一体互融’的构建与实践”(FBJY20230235)

AI Summary AI Mindmap
PDF (3495KB)

0

访问

0

被引

详细

导航
相关文章

AI思维导图

/