人工智能聊天机器人在“医学信息获取”课程教学中的应用探讨

蔚梁震天

中国医学教育技术 ›› 2024, Vol. 38 ›› Issue (2) : 229 -234.

PDF (670KB)
中国医学教育技术 ›› 2024, Vol. 38 ›› Issue (2) : 229 -234. DOI: 10.13566/j.cnki.cmet.cn61-1317/g4.202402016
技术与教育

人工智能聊天机器人在“医学信息获取”课程教学中的应用探讨

作者信息 +

Application of artificial intelligence Chatbot in “Medical Information Retrieval” teaching

Author information +
文章历史 +
PDF (685K)

摘要

为探讨人工智能聊天机器人ChatGPT类技术对“医学信息获取”课程教学所产生的影响及课程的新方向,文章梳理聊天机器人在医学信息获取中的应用,并测试和分析当前ChatGPT类工具的检索能力,总结其不足;分析现阶段ChatGPT类工具的出现对“医学信息获取”课程教学的消极影响;讨论ChatGPT类工具日益完善后在该课程教学中对其的态度以及利用的方式。笔者认为,ChatGPT类工具终将改变传统的医学信息获取方式,同时改变教学导向,拓展教学深度。

Abstract

To discuss the impact of ChatGPT,chatbot technology of artificial intelligence,on "Medical Information Retrieval" teaching and the new direction of this course,this paper briefly summarizes the application of chatbot in medical information retrieval,tests and analyzes the retrieval ability of current ChatGPT tools,and concludes their shortcomings.It also analyze the negative impact brought by current ChatGPT tools to "Medical Information Retrieval" teaching,and discusses the attitude towards them in Medical Information Retrieval teaching as they continue to improve.The author believes that ChatGPT tools will change traditional methods of acquiring medical information,changing teaching approaches and deepening educational content.

Graphical abstract

关键词

ChatGPT / 人工智能 / 医学信息获取 / 高等教育

Key words

ChatGPT / artificial intelligence / Medical Information Retrieval / higher education

引用本文

引用格式 ▾
蔚梁震天. 人工智能聊天机器人在“医学信息获取”课程教学中的应用探讨[J]. 中国医学教育技术, 2024, 38(2): 229-234 DOI:10.13566/j.cnki.cmet.cn61-1317/g4.202402016

登录浏览全文

4963

注册一个新账户 忘记密码

近年来,人工智能技术在医学教育领域得到了广泛应用。其中,基于自然语言处理技术的聊天机器人(Chatbot)成为了研究热点。Chatbot是一种基于自然语言理解和生成技术的人工智能对话系统,可以模拟人类与机器之间的对话,实现人机交互,它采用了预训练的语言模型,可以在对话中不断学习,并在语言生成方面具有较高的准确性和流畅性。因此,Chatbot在医学信息获取教学中的应用也引起了人们的关注。最近出现的人工智能聊天机器人(ChatGPT)将Chatbot的能力提高到了一个全新的水平,这可能会对医学信息获取方式产生革命性的改变。

1 智能聊天机器人用于医学信息获取现状

目前,医学信息不断地更新与井喷似地增加,导致医学信息准确获取逐渐成为医学相关人员提高自身能力及促进医学发展的重要途径。但越来越多的期刊及数据库的出现,使得数据库功能与操作逐渐复杂化,学习成本不断增加,以至于人们在信息检索上消耗了过多时间,却很难获取到全面且准确的信息。

随着AI技术的发展,研究人员不断地探索聊天机器人用于医学信息的获取,有望进一步缩短检索时间。其中,Bohle S于2018年公布了聊天机器人Plutchik,其可以在NCBI数据库套件中和跨NCBI数据库套件中执行高技术性的医学搜索[1]。Rebelo等介绍了一种新型的聊天机器人,它可以向公众、癌症患者及其家属传授有关放射治疗过程的知识[2]。Koman J等的研究认为聊天机器人可以很容易地整合到常规医疗实践,帮助卫生专业人员寻求有关药物和风险最小化措施的信息[3]。Stathakarou N等表明聊天机器人有可能通过实现个性化学习支持医疗保健教育[4]。但目前,这些聊天机器人并未真正大规模地运用于实践中,同时因为缺少令人满意的人工智能水平及学习能力,而未引起广泛关注。然而,拥有更强学习能力、更灵活的交互方式以及更多学习资源的ChatGPT的问世,在全球教育和医学界都产生了一定反响。

ChatGPT是Open AI公司开发的人工智能聊天机器人程序,于2022年11月推出[5]。2023年3月14日,该公司发布了该程序使用基于GPT-4架构的大型语言模型(可以接受图像和文本的输入输出),在各种专业和学术的基准测试中表现出了相当于人类水平的性能,并可进行强化学习训练[6]。目前,GPT-4架构的模型处于付费测试阶段,可大规模免费使用的是GPT-3.5框架下的模型——ChatGPT-3.5,该模型目前拥有如下功能:① 起草电子邮件或文章;② 编写Python代码;③ 回答文档类问题;④ 创建对话代理;⑤ 给软件提供自然语言界面等功能;⑥ 语言翻译;⑦ 模拟角色对话,甚至可以应对一些考试。目前,ChatGPT(GPT-3.5框架或GPT-4框架)已通过的考试有美国法学院的考试(包括宪法、税法和侵权法)[7]、MBA的考试(包括运营管理和流程分析)[8]、医学院的STEP 1考试(涉及基础医学知识)[9],以及斯坦福医学院的临床推理期末考试[10]。ChatGPT拥有强大的分析和总结能力,同时微软将ChatGPT嵌合在了其搜索引擎New Bing中,进一步提高了其检索功能和使用的便捷性。2023年3月24日,Open AI公司发布更新后的ChatGPT,现可联网使用,其实时信息的分析和检索能力更强。ChatGPT的普及将对科研人员信息检索与分析的习惯和医学信息获取课程的教学方式产生极大的影响。

2 ChatGPT对“医学信息获取”课程教学的影响

2.1 ChatGPT对全球教育行业的影响

ChatGPT的人工智能对话模式为学生带来了便捷的体验,将使学生在学习和练习中对这种直接获取答案的方式产生依赖,导致无法自主发现问题及解决问题。调查发现,有89%的美国学生使用ChatGPT完成作业甚至撰写论文,这将出现严重的学术诚信问题,由于ChatGPT所使用的数据仍是由人类上传的,所以还会侵犯知识产权。现阶段不断有教学组织或学者发声对ChatGPT进行限制或探讨。美国纽约市教育局阻止在所有部门设备和网络上访问ChatGPT[11],中国香港大学也禁止在教学中使用ChatGPT,澳大利亚新南威尔士州、昆士兰州限制学生设备访问ChatGPT。虽有相关报道表明国内学生已开始使用ChatGPT进行学习或完成作业[12],但目前未曾了解到国内各高校对ChatGPT出台明确的限制措施,这可能与ChatGPT在国内的使用条件有关[13]。武汉大学校长张平文表示,不赞成一些高校禁止使用ChatGPT的做法[14]。虽然ChatGPT的使用在国内尚未造成较大的实质性影响,但仍须寻找合理的利用方式,否则可能会出现消极的影响。

2.2 ChatGPT在“医学信息获取”教学中可能产生的消极影响

现阶段,国内“医学信息获取”课程的基础教学主要是对数据库的了解与使用,目前较常用的数据库为中国知网、万方、重庆维普等中文数据库,PubMed、Web of Science等外文数据库,以及专利数据库。使用数据库的最终目的是获取所需要的数据,检索过程往往不是重点,这个特点正中ChatGPT的下怀。ChatGPT的功能性很容易使学生想到利用其进行医学信息获取,从而对本身“非重点关注”的医学信息获取课程更加懈怠,并会认为可以使用人工智能生成重复性较低的答案帮助其通过考试。倘若如此,ChatGPT很可能会进一步阻碍学生与教师的沟通,高校教学本不同于以前的基础教育,学生与教师很少有沟通的机会。当学生盲目信任ChatGPT,在遇到问题时完全会优先选择不产生心理负担的ChatGPT,这将会使学生与教师的关系逐渐疏远,同时使教师更难发现学生在知识掌握上的问题。而ChatGPT又无法百分之百地做出正确回答,将进一步产生严重的教学问题。另一方面,ChatGPT也将对教师产生巨大的冲击,使得部分教师感到严重的不安和职业恐慌,他们可能认为完善的ChatGPT将完全取代检索技术,该课程也将不复存在,从而不认真指导学生,导致课程教学质量下降。或者出现消极言论并鼓吹AI技术,使得学生进一步轻视该课程,影响其未来的发展。目前,ChatGPT-3.5存在数据库无法更新的问题,尚不会对检索最新的文献构成太大的威胁,但是New Bing的加入将改变这一情况,利用ChatGPT-3.5的AI技术加以互联网搜索引擎的能力,理论上已经可以检索到目前出现的所有文献信息。

2.3 通过问题对ChatGPT及New Bing进行测试

研究者在不同数据库中使用练习题的形式对ChatGPT以及New Bing进行测试。New Bing 检索分为三个不同的精度,即创造力、平衡、精准,最终将选取三个答案的最优解。所使用的题目类型包括检索具体文章的相关信息、检索具体作者的相关信息、检索某个主题的相关信息。Web of Science中将增加更多的引文信息及期刊评价内容、专利测试(仅对中国专利进行测试)。以中文数据库题目测试为例。

①在数据库中检索题名为《中药干预动脉粥样硬化表观遗传修饰的研究现状及思考》文献。检索项为文献的出处、该文献属于几次文献、通讯作者姓名。

②利用数据库查找于辉等所发表的“甘草药理作用”方面的文章,要求记录该课题的检索式、刊载相关文章的期刊名称、ISSN号,以及主办单位。

③找到最新的一篇“利用粪便DNA检测结直肠癌(大肠癌)”的文章,要求写出检索式、检索到的文章标题、发表时间,以及期刊名称。

2.3.1 ChatGPT及New Bing作答中的缺陷

在所有的检索结果中,ChatGPT及New Bing只准确且完整地回答对了一道题,其余均有不正确或忽略一些问题的情况。结果准确率对比如图1所示。

研究发现,在不同的中文数据库中,ChatGPT和New Bing对所检索的文献在判断上存在不准确或有误的问题。例如:①判断文献属于几次文献方面,ChatGPT无法做出判断;New Bing虽明确说明了文献属于综述类,但回答文献是二次文献,经过再次追问综述类文献属于几次文献后,回答改为三次文献。②ChatGPT与New Bing在注明检索字段的时候均习惯使用关键词字段,使其对关键词的提取却不够准确,如关键词=“甘草药理作用”,在检索最新文献中二者均存在错误,且New Bing无法检索到当前最新的文章。③在PubMed数据库中,当问题过于精确时,如作者属于哪个医学院,两个系统可能会辨认不出,仅回答了作者地址中处于首位的医院地址。经过再次追问才能准确回答。④二者对文章是否可免费获取的判断不十分准确。较好的情况是,ChatGPT生成的检索式可以有效地检出所需文章。⑤在Web of Science数据库中的检索情况较为糟糕。在被引频次、分区情况及作者H指数方面均出错。较好的一点是,二者可以给出访问Web of Science的详细过程。⑥在专利数据库中,ChatGPT表示无法进行检索。New Bing的信息存在极大错误,完全没有检索到所需的专利信息,仅给出了发明专利的保护期限;但对于最后的外观设计专利,所给出的也只是更新后的保护期限。由此可见,New Bing作为搜索引擎可检索最新的信息,但其知识库依旧不是最新的。New Bing会提示进入国家知识产权局的专利检索网站进行检索,但只简单地描述了检索方式。

由以上结果可见,两种模型对检索问题的回答正确率均较低,其中鉴于ChatGPT数据库互联网访问限制,导致没有实时数据;也导致包含2021年之前的数据无法准确检索。这可能是由于整体缺少某些数据库的信息及自身的缺陷。New Bing作为互联网搜索引擎,也不能每次都检索到最新数据。并且根据New Bing所给出的结果引用信息表明,其不会仅检索题目要求的数据库,而是使用所有可用的数据库及其他网络信息进行回答。对于需要购买的数据库,ChatGPT与New Bing无法进行访问,这导致其几乎不能在Web of Science中获取信息。同时,New Bing也可能无法进入需要个人注册才可使用的网站或国内禁止其访问的网站,从而导致其在获取专利信息时,未能取得国家知识产权局公开的专利信息。

该研究同时还对ChatGPT和New Bing给出的错误文章或期刊的信息进行了核对,结果显示,这些信息大多数错上加错,无法互相对应,均生成了现实中不存在的文章标题、期刊、专利详情。这种编造、撰写的情况在精确检索时表现得十分明显。

2.3.2 ChatGPT及New Bing生成的反馈检索策略的不足

在上述测试中发现,ChatGPT和New Bing虽然无法给出准确的答案,但有时可以生成正确的检索策略或检索式,所以笔者又重新对每个问题的检索策略进行了询问,以检测检索策略的准确性及完整性,结果如表1所示。检索策略的结果依旧不理想,所返回的检索策略大多不全面且准确性较差,甚至完全错误,比如给出的检索式无法在数据库中直接使用,检索逻辑出现问题,如结直肠癌与大肠癌应以“OR”连接,而返回结果中以“AND”连接,在Web of Science数据库中给出了PubMed的检索式等。

2.3.3 对检索结果的思考

从以上结果来看,目前的ChatGPT类程序存在无法精准回答复杂问题、返回正确或完整结果,可能会自行撰写检索结果,知识库陈旧,无法访问非开源或需要账号的数据库等问题。即使其有较强的及时性和便利性,但目前此类技术依旧不能完全取代当前的医学信息获取技术,尤其是医学文献相关的检索工作,甚至对该类程序的利用也尚不能有效地辅助完成医学信息检索工作。若系统出现自我编撰结果,会误导研究者的检索方向。然而,ChatGPT是在不断更新的,所以研究者不能因为现在技术上的不足而完全否定这一发展趋势。目前来说,它已经打开了一个医学信息检索的新大门,随着技术的不断完善和提升,将逐步解决现在未能实现的文献检索的功能。

当然,即使AI技术可以进行正确的信息检索与获取,使用者终究是需要对其结果进行判断的,同时对医学信息的解读依旧需要一定的知识储备。若是没有掌握复杂的检索策略和逻辑运算规律的能力,又贪图ChatGPT的简便性并对其产生依赖,将极容易忽略其他有价值的信息。同时,学生将对检索过程缺少深入的理解和批判性思维,今后可能无法评估检索结果的质量和可信度,从而影响其学习效果和临床决策能力,并且无法应对今后医学信息检索的新挑战。最终在因错误医学信息导致严重后果后,对自身产生怀疑,对所接触的所有信息产生恐慌和无力感,极大地影响今后的发展。然而,这也并不表明要完全拒绝这项技术,它的优势及便利性始终是不能忽视且无人可以抗拒的。那么便需要教师学会如何利用该工具并正确地引导学生,让其可以更高效准确地获取医学信息。

3 ChatGPT在“医学信息获取”课程教学中的应用

3.1 利用ChatGPT进行教学前设计

应用ChatGPT等AI程序可使教师节省大量时间,使其可以更多地专注于教学,为课程带来更多的可能性,扩展教学的深度。①自动检索文献。这大大减少了教师在检索、组织文献时的工作量,让他们有更多的时间专注于课程的教学和学生的指导;②连接的第三方应用,提供辅助工具,例如自动摘要、文本搜索等,帮助教师更好地组织检索文献,或更加准确、有效地指导学生完成检索任务;③自动生成教案,帮助教师梳理教学内容,提供新思路,也可以模拟学生或教师身份,试答课堂中的提问,发现问题漏洞并进行优化;④帮助教师出题,跳出固有出题模式,拓宽思路,发现现有题目的漏洞,设计出覆盖面更广且更优质的问题;⑤提供大量用于医学信息检索的教育资源,使教师有更多的机会整合专业基础知识,快速地吸收新知识和新技能;⑥更加精炼地解释医学知识,快速提供热点知识,将情报学与医学有机结合,帮助非医学专业的教师提高教学质量。

3.2 利用ChatGPT实施课堂教学

当ChatGPT等AI程序被正式推广后,该项技术也必将是授课内容的重要一环。教师需要深入挖掘该技术的潜力,找到对医学信息获取更加有效且准确的方式再进行授课。当然,使用该技术的前提是学生可以认识并能独立使用数据库。正如焦建利所言,在人工智能时代,学校并不需要抛弃基础知识和基本技能,恰恰相反,要更加注重学生的基础知识和基本技能的培养[15]。所以,教师应如以往先指导学生了解关于检索文献的具体知识,如文献的定义、文献的类型、学术期刊的作用、不同数据库的特点、利用电子数据库进行文献检索的方法和技巧等等。但此时教学的重点将更加偏向于数据库的介绍和基础的检索知识。学生掌握基础检索相关知识和方法后,便拥有了一定的辨别信息的能力。之后教师则需要让学生正确认识ChatGPT等AI技术并熟练使用。比如,教师可以分别给学生提出不同表述方式的检索语句让学生实际操作,以了解相关检索语句的使用效果,以及如何简短有效地使用检索语句;或者如何根据返回的答案找到自己提问中的不足,强化学生的提问能力,从而更好地利用该技术;也可以增加新的信息获取思维与技巧。目前,在进行授课或实际检索课题时通常使用主题词找到相关文章,阅读其中内容,以判断是否有需求。当利用ChatGPT等AI技术后,其检索因技巧可以增加更多的文章内容检索,并根据具体需求,直接检索并总结文章详情。如某一实验方法中各个试剂的比例,某种模型的制备方法,等等。

在利用ChatGPT进行常规检索教育的同时,应重视对学生道德伦理的教育。学生不会只满足于使用该技术进行医学信息的获取。若学生使用ChatGPT写文章很可能出现不自知的“抄袭”行为,并且New Bing的引用中有很多非正式出版的内容,其真实性有待商榷。所以,教师在介绍ChatGPT时需要对学生利用ChatGPT写作进行正确引导,使其以辅助为主。如让学生设计检索一个课题,可先让学生使用ChatGPT生成多个提纲,进一步挑选后加以细化补充;在检索阶段也可与ChatGPT一起加快检索进度,最后可以使用ChatGPT针对所找到的参考文献生成小型综述的雏形,在完善后利用其进行翻译或为自己所写的英文综述润色,等等。像这样将ChatGPT与整个课题探索及撰写过程结合起来,可以加强学生信息获取和科研能力。同时为了不让该技术牵着学生走,影响学生的独立思考能力,教师需要使他们认清该技术的缺陷,对其始终保持质疑。要将其当作一个同等级的合作者,这样才能保证在提高效率的同时,获取到正确的信息。比如,可以将学生分为手动检索组与AI组安排实际的文献研究课题,最终对比检索结果与工作量并进行讨论,以发现ChatGPT技术上的缺陷。

3.3 利用ChatGPT组织课后复习

在传统数据库的检索学习方面,ChatGPT等AI技术还可以提供自动评分、答疑等功能,教师可以设置问题让学生与ChatGPT进行交互,从而掌握学生个性化的需求或共同的薄弱之处,以便进一步优化课程。此类技术也可以根据聊天情况,针对薄弱处为每个学生出具专属测验,以确保学生完全掌握“医学信息获取”课程知识,有效提高教学质量,实现大规模的因材施教。

对学生而言,在课后ChatGPT可提供更加丰富的教学资源,它可以成为学生一对一的老师,帮助学生寻找更多的课程知识;或直接对数据库进行介绍,设计教学流程,指导学习与练习;同时也可以绘制出清晰的脑图和框架,帮助学生了解不同的知识,辅助学生进行总结。

4 结束语

人工智能技术的发展与介入势不可挡[16]。对于一项几乎产生了技术革命的新技术,人们出现剧烈的反应是很正常的,但是研究者不应该恐慌。技术依旧是人类所创造的,只要研究者一样有着突破性的应用,它终将服务于人类,而高校就是突破与创新的地方。王佑镁等从博弈论的角度提出教育工作者应各司其职,充分发挥 ChatGPT 的优势,规避 ChatGPT 可能带来的风险与挑战;同时,ChatGPT 开发人员应精益求精,积极监管 ChatGPT 的使用,形成从博弈到共善的转变[17]。这样,才能更好地利用新技术,将教育提升到更高的水平。同时,教育应该更加侧重培养学生的高阶思维能力,尤其是跨学科多元思维能力、批判性思维能力与创造性思维能力[18],将培养一个操作者逐渐转型为培养一个优秀的提问者和判断者[19],毕竟教育的首要目标应该是培养学生具备独立思考、正确评估价值的能力,而不仅仅局限于传授知识[20]。所以,研究者应当积极策划转型教学方向以及检索习惯,利用ChatGPT加强学生的探索和深度检索能力,拓宽学生的思想维度,构建一种如李袁爽等所期望的“人机共教”“人机共育”“人机共创”新模式[21]。“医学信息获取”课程教学将不再浮于表面,本科生在课后也将拥有现阶段一个成熟研究生的检索能力,甚至更加高效。工业革命解放了双手,科学技术得以高速发展,人工智能将解放人类简单繁复的脑力工作,人类的创新与突破将会更加迅速。

参考文献

[1]

BOHLE S."Plutchik":Artificial Intelligence Chatbot for Searching NCBI Databases[J].Journal of the Medical Library Association,2018,106(4):501-503.

[2]

REBELO N, SANDERS L, LI K,et al.Learning the Treatment Process in Radiotherapy Using an Artificial Intelligence-Assisted Chatbot:Development Study[J].JMIR Formative Research,2022,6(12):e39443.

[3]

KOMAN J, FAUVELLE K, SCHUCK S,et al.Physicians' Perceptions of the Use of a Chatbot for Information Seeking:Qualitative Study[J].Journal of Medical Internet Research,2020,22(11):e15185.

[4]

STATHAKAROU N, NIFAKOS S, KARLGREN K,et al.Students' Perceptions on Chatbots' Potential and Design Characteristics in Healthcare Education[J].Studies in Health Technology and Informatics,2020,272:209-212.

[5]

WIKI.ChatGPT [EB/OL].[2023-03-28].

[6]

OpenAI.ChatGP:Optimizing Language Models Fordialogue[EB/OL].[2023-03-28].

[7]

NEWS CBS.ChatGPT Bot Passes Law School Exam[EB/OL].[2023-03-28].

[8]

KAVYA P.OpenAI's ChatGPT Passes Medical and MBA Exams[EB/OL].[2023-03-28].

[9]

Mack DeGeurin.ChatGPT Passed a Major Medical Exam,but Just Barely[EB/OL].[2023-03-28].

[10]

LAKSHMI V.OpenAI Just Announced GPT-4,an Updated Chatbot That Can Pass Everything from a Bar Exam to AP Biology.Here's a List of Difficult Exams both AI Versions Have Passed [EB/OL].[2023-03-28].

[11]

焦建利.ChatGPT:学校教育的朋友?还是敌人?[J/OL].现代教育技术:1-15.[2023-03-30].

[12]

郑雨航.调查|国内高校已有学生用ChatGPT写论文,“杰作”快赶上老师了!“AI作弊”怎么防?[EB/OL].[2023-02-09].

[13]

阿晖.封禁ChatGPT?教育学术圈“有点慌”[EB/OL].[2023-02-20].

[14]

陈彬,温才妃.武汉大学校长张平文:不赞成一些高校禁止使用ChatGPT的做法[EB/OL].[2023-03-07].

[15]

焦建利.ChatGPT助推学校教育数字化转型:人工智能时代学什么与怎么教[J].中国远程教育 2023,43(4):16-23.

[16]

THORP H H.ChatGPT is Fun,but not an Author[J].Science,2023,379(6630):313.

[17]

王佑镁,王旦,梁炜怡,.ChatGPT教育应用的伦理风险与规避进路[J].开放教育研究,2023,29(2):26 35.

[18]

卢宇,余京蕾,陈鹏鹤,.生成式人工智能的教育应用与展望:以ChatGPT系统为例[J].中国远程教育: 2023,43(4):24-31.

[19]

钟秉林,尚俊杰,王建华,.ChatGPT对教育的挑战(笔谈)[J/OL].重庆高教研究:1-25.[2023-03-28].

[20]

李袁爽,张子航,王运武.基于ChatGPT的人机共教、共育和共创模式[J].中国医学教育技术,2023,37(4):383-389.

[21]

于浩,张文兰.ChatGPT技术下教育面临的挑战和机遇[J].中国医学教育技术,2023,37(3):260-267.

基金资助

广东省医学科研基金(A2024271)

AI Summary AI Mindmap
PDF (670KB)

0

访问

0

被引

详细

导航
相关文章

AI思维导图

/