基于内经选读课程构建多模态知识图谱智能问答系统的实践与探索

Construction of an intelligent question-answering system for Selected Readings of the Inner Canon based on a multimodal knowledge graph

摘要

随着现代科技的发展，教育越发趋向信息化与智能化。在此过程中，多模态知识图谱发展迅猛，尽管当前在教学领域已初步建立起一些以多模态知识图谱为基础的平台，但这些平台操作较为复杂，缺乏人性化。为顺应数字化教学发展趋势，并能为学生提供良好的学习环境，基于内经选读知识体系，将多模态知识图谱与智能问答系统相结合，构建并应用该系统辅助中医经典课程的教学。旨在深入探索中医药数字化教育教学模式和方法，开辟出一条数字化教学新路径，从而更好地满足中医药教育教学适应时代发展的需求，推动中医药的传承与创新发展，并为中医药知识图谱与相关技术结合应用提供参考。

关键词

多模态知识图谱 / 内经选读 / 智能问答系统

Key words

multimodal knowledge graph / Selected Readings of the Inner Canon / intelligent question-answering system

中医传统教育模式主要包括师承模式、学校模式、书院讲学模式、自学模式等^［1］。随着时代的发展，各学者也在积极探索中医教育的新路径。2022年3月，国务院印发的《“十四五”中医药发展规划》中提出以加快推进中医药特色人才建设、持续加强中医药特色人才建设、大力弘扬中医药文化等为发展目标，以建设高素质中医药人才队伍为主要任务，其中首要任务必须深化中医药院校教育改革。2023年12月，浙江中医药大学发起全国中医药数字化教学联盟，多所高校积极响应，共同开启中医药数字化教学“融通互联、共建共享”新局面。成都中医药大学也积极顺应数字化教育改革，推出中医数字化教育产品及智能化装备，包括：针灸虚拟仿真实训系统、全身针灸仿真人训练系统、针灸数字人系统等。

回顾近10年来中医传统经典课程的教学，仍存在许多尚未解决的问题。有学者指出，内经课程的教学过程中存在诸多问题，包括：课程内容晦涩难懂；教学方式单一，学生缺乏学习兴趣和自主学习能力；课程内容过于理论性，缺乏临床实践；教学过程管理不足，缺乏教学设计等^［2-5］。目前的教学面临着如何培养兴趣，提高教学有效性的巨大挑战。有调查显示^［6］，在589例调查者中，认为内经选读难学的学生约占84%，其原因包括字词句难懂、内容抽象，医理难以理解等。中医药院校中医专业通常在大学二年级开设内经选读课程，而该课程要求先修中医基础理论、中医诊断学、中药学、方剂学、医古文等课程，但大部分学生尚未形成较为完整的知识体系。为解决此类问题，不少学者为此进行了努力^［7-9］，通过构建相应的知识图谱为学生提供更多的学习途径，但较少有将多模态知识图谱与问答系统相结合的研究。为深入推进中医经典课程的数字化教学建设，课题组以内经选读为基础，构建了基于多模态知识图谱的智能问答系统。

1 多模态知识图谱智能问答系统构建的意义

1.1 多模态知识图谱简介

知识图谱从本质上来说，是基于图形的知识表述和组织方法，用“实体-关系-属性”三元组形式描述物理世界中的概念及其相互关系，构成网状知识结构^［10］。对于结构层次复杂、信息量庞大的数据，知识图谱在抽取、交融、分析信息等方面具有明显的优势。传统的知识图谱主要基于文本数据，例如：从网页、文档等结构化的文本中提取信息以此构建知识图谱。但是，现实世界中的信息不仅仅存在于文本中，还包括了图像、视频、声音等形式的数据。多模态知识图谱能将这些不同类型的数据整合到一个统一的知识表示中，从而更全面地描述现实世界中的事物及其关系。多模态知识图谱通过结合不同模态的信息，弥补单一文本模态数据的不足，提高数据的完整性和可靠性。此外，多模态知识图谱丰富了知识表示的维度，可提供更加多层次的知识表达，有助于学生更加准确地理解和推理，在帮助学习记忆的同时，使记忆更具逻辑性与层次性。

1.2 多模态知识图谱的应用现状

目前，多模态知识图谱在许多领域都有广泛的应用，在不同领域都取得了令人满意的成果^［11-15］，例如：农业课程、工程教育、气象灾害、医学教育等领域。在中医教育方面，多模态知识图谱能通过发现知识点之间的差异和共通之处，以及它们之间的联系，协助学生更有效地学习和整理知识。目前，已有不少学者对中医药教育领域的知识图谱构建进行了大量的探讨与尝试，例如：体质、某一疾病或中医典籍等，并获得了一定的成果^［16-18］。然而，此类根据后台上传不同类型数据构建的多模态知识图谱虽然有较为完整的体系，但在操作上需用户在大量的图谱数据中进行自主操作，其操作较为复杂且缺乏人性化。

多模态知识图谱与智能问答系统相结合的研究仍处于探索阶段。陈烨等^［19］也认为目前多模态知识图谱构建与相关技术的运用还比较初级，大规模多模态知识图谱的构建与应用仍面临较大挑战，并指出由于多模态数据之间存在的语义鸿沟和异构鸿沟，机器对实体的识别与抽取仍局限于概念层面，过分依赖于大量标注等问题。早期的问答系统限定以自然语言形式进行提问和回答，而基于多模态知识图谱的智能问答系统则支持用户输入图片、视频、音频等多媒体信息进行查询，以多媒体方式展示结果，更加直观、全面^［20］。

1.3 多模态知识图谱智能问答系统的优势分析

针对内经选读课程在教学中存在的各类问题，以及顺应数字化教学改革，并为学生提供相对全面、层次清晰的知识体系，构建基于内经选读的多模态知识图谱的智能问答系统是十分必要的。将多模态知识图谱应用于内经选读教学主要有以下3个方面的优势：第一，内经选读作为中医经典课程，语言謇涩，概念抽象，利用知识图谱可以以更清晰的方式展示各种知识及其联系，为学生提供更加直观的学习体验。第二，内经选读涉及了中医学、中药学、哲学、人体解剖学等多个学科领域，而多模态知识图谱的建立，恰好可以打破不同学科的壁垒，使学生触类旁通。第三，内经选读植根于中华民族传统优秀文化的土壤，历经数千年的实践总结而成，最终也应回归于实践。而多模态知识图谱通过提供相关的案例图片，能够加深学生对知识的理解应用，提高学生学以致用的能力。

总的来说，多模态知识图谱智能问答系统通过提供文字、图片、视频讲解等方式，更准确地帮助学生补齐知识上的短板，跳出某一个知识点的局限，拓宽学习视野，提高学习兴趣，从而达到“以学生为中心”的个性化学习目的。

2 多模态知识图谱智能问答系统的构建过程

构建多模态知识图谱智能问答系统主要包括3个步骤：第一，建立知识框架，并形成数据库；第二，利用图谱技术整合各种结构的信息，确保数据的有效性和完整性^［21］；第三，设计一个灵活、多样化、可扩展的知识存储方案，以适应教学、考试以及临床等场景，其适用人群包括中医相关专业的学生、中医爱好者，以及考研、考博等人群。

2.1 建立知识框架，形成数据库

在教学大纲的指导下，参考中医执业医师资格考试、全国中医经典能力等级考试、西部高校联盟中医经典知识等级考试的大纲及各类参考资料如《内经笔记》《内经与临证》等，从公开的数据库、课堂讲授、教辅资料、网络资源等渠道获取信息，并通过专业授课教师审核校对，整合知识点，以图数据的形式储存于MySQL数据库和Neo4j数据库中，所有数据公开，且无版权争议。具体见表1、图1。

课题组根据知识节点，补充相对应的图片和视频信息，图片主要来源于临床采集及网络下载的匹配图片，例如：“痿厥”中的“痿”即“痿证”，课题组在征得知情同意后拍摄了中风偏瘫患者的图像；“发陈”即“春季万物复苏，植物萌生的大自然景象”，课题组通过网络公开数据库查找相应的春季自然景象的图片并进行下载。视频主要来源于北京中医药大学、成都中医药大学等中医学专业教师的授课录制或基于制作讲义、脚本，进行AI合成讲解视频。合成软件为腾讯智影，该软件集成了多种先进的AI技术和功能，能简化视频内容创作过程并提升制作效率。通过AI生成虚拟主播，根据讲义配合PPT内容进行讲解，使演示更加生动。具体见图2。

2.2 整合信息，构建关系

在大纲指导下，课题组依据教学要求、重要程度、理解的难易程度等因素，将知识点的学习分为了不同的层次，并根据知识点之间存在的主要关系进行关联，此方式有利于学生在学习中医经典时更好地抓住学习重点与核心，同时满足学校考核要求，更好地应对中医经典能力等级考试。具体见表2。

例如：知识点为“热因热用”，则其应对的图片与视频则命名为“热因热用”，匹配表达式以RE进行文本匹配。对于输入的内容，采取自然语言处理技术，通过字典匹配和最大逆向匹配算法进行匹配，将满足条件的文本与图片、视频进行呈现。由于《内经选读》存在大量的生僻字与通假字，在匹配头节点和尾节点时，将“热因热用”“定义”先分别转换为拼音“reyinreyong”“dingyi”，再进行相应匹配，此方式能有效避免学生记不清知识点而输入残缺或输入错误引发的问题。具体见图3。

同时，系统也将以“热因热用”为中心，依据教学要求、重点程度、理解的难易程度等，对该知识点进行推荐关联的学习，如“寒因寒用”“塞因塞用”“通因通用”等，课题组还增加了相应的习题与病例以供学生了解考试形式及临床应用。此外，教师还能通过后台查看学生们对平台的使用情况，根据各个知识点的点击频次、频率等，了解学生对知识点的掌握程度和学习偏好，使教师能更好地针对薄弱知识点教学。该平台的使用不仅有助于学生将碎片化的知识点对比学习，加深印象，更有助于学生形成完整的中医思维。具体见图4。

2.3 方案设计与实际应用

课题组使用PHP进行封装和包装，实现前端平台和后端逻辑的开发。在前端，通过HTML、CSS和JavaScript构建用户友好的界面，使得用户可以便捷地访问和操作系统功能。后端利用PHP和MySQL等技术，处理数据存储、用户管理和系统逻辑，确保平台的安全性和高效性。其中，自然语言处理技术和知识图谱查询技术主要以Python调用word2vec、networkx等包实现。访问地址为www.neijinggpt.top，实际操作步骤如下：首先需要通过链接进入页面并进行登录，然后输入相关内容即可。如当在用户使用界面输入“热因热用的定义是什么？”时，系统会根据百度等下载的针对中医语言结构整理的停用词表（stop list）删除无意义的字词，如“的”“是什么”等，通过Jieba分词器并进行合理化分割为“热因热用”“定义”，其中“热因热用”为头节点，“定义”属于关系节点，将“热因热用”“定义”先转换为拼音“reyinreyong”“dingyi”，再进行相应匹配，此时系统会对反馈出应对结果，包括其定义、习题、临床病例及其他关联知识点的推荐学习。学生可以自由选择学习该知识点的基本概念，或继续深入学习该知识点的临床应用和其他相关的知识。

课题组还针对管理者专门设计了管理界面。在管理界面，使用JavaScript库动态展示知识之间的关联、分布及学习路径，方便管理者有针对性地对相关知识进行更新和维护。此外，还对用户的输入进行收集，并使用Python的matplotlib和seaborn库，生成静态图表以了解用户的需求，以进行数据更新和系统优化。

3 多模态知识图谱智能问答系统应用效果

梁永林等^［22］从供给侧与需求侧的角度，并基于OBE教育理念，从教学理念、内容、方法、手段等方面提出了传统中医教学方式的问题。而赵汉青^［23］则指出：知识图谱在中医药领域的发展优势主要包括知识结构化、知识综合性、知识可视化与交互性，基于内经选读的多模态知识图谱智能问答系统的构建恰好能应对传统中医教学中的缺陷与痛点。

从教育理念和方法来看，传统教学以教师为中心，教师讲学生练。教师作为传道授业的引路人，其专业素养与知识储备是影响教学的重要因素，但教学的主观性和知识的无穷性造成了信息容量的有限性。例如：“脾不主时”与“脾主四时”的问题，各医家的理解看法有所不同，而教师在讲解时会倾向于选择主观认同的观点，或者讲解时一笔带过。而多模态知识图谱的信息来源更为客观、详尽，对教学中学生提出的各种学术问题的解释更为全面、权威。

从教育模式和手段来看，传统教育偏向于教师直接展示或单向输入，缺乏吸引力，学生的参与度与自主性较低。多模态知识图谱将不同类型的数据以图谱的方式呈现，使学生不仅能从字面上理解知识点，还能通过图片使其具象化，观看视频深入学习，练习习题了解考试形式与侧重点，层层递进，使学习变得更加生动具体，促进学生真正做到活学活用、融会贯通。

从教育内容和知识体系来看，教学内容随着时代发展而不断变化，知识体系也有了相应的调整。内经选读的讲授内容选自《黄帝内经》，不同的院校、专业及教师在讲授的章节选取上可能有所差异，这意味着各知识点之间不可避免地会出现零碎、分散的问题，且如果未及时复习，早期学习的知识点会随着时间流逝和后期知识点的充实而出现淡忘。因此，在学习新知识的同时有意识地将其与学过的知识相联系是十分必要的。而多模态知识图谱则能通过算法将不同知识点通过某种关系相关联，为学生构建一个相对完整的知识体系。例如：《内经选读（第二版）》（主编苏颖、王平）中第57页《阴阳应象大论篇第五》“善诊者察色按脉，先别阴阳。审清浊，而知部分，视喘息，听音声，而知所苦……而知病所生”所述“脉诊的要点”可与第82页《脉要精微论篇第十七》中“夫脉者，血之府也。长则气治；短则气病；数则烦心……涩则心痛”所述“脉象的意义”相关联，又可与第95页《玉机真藏论篇第十九》中“脉应四时”的观点相联系。这种综合性的知识体系不仅能为学生提供全面的学习支持，帮助学生更好地理解与应用，还可以有效避免知识的碎片化和丢失，有助于加深学生的记忆。

从总体来看，内经选读作为中医药院校的必修课程，其教育方式改革和创新对于培养适应新时代需求的中医人才具有关键意义。基于该课程构建的多模态知识图谱智能问答系统不仅能够为学生提供重要的自主学习和课后复习参考，促进知识的整合和理解，强化中医思维培养，还能协助教师优化课堂流程，提高学生对知识的吸收能力。对比中医传统教学方式，改变了以教师为主导的局面，强调了学生的中心地位，这种转变有助于教学本身回归于学生，提高学生的独立学习能力的同时也能提高教学效率，减轻教师的教学负担等。

4 小结

在人工智能逐渐融入教育领域的背景下，多模态知识图谱智能问答系统的应用为智能教学提供了便捷的支持。目前该平台已于2021—2022年完成内测，预计在2024下半年将面向成都中医药大学中医、中西医结合等专业开放。课题组通过问卷星收集学生使用该系统的满意度反馈，并进行相应的分析，其中对该智能问答系统的使用满意度为81.6%，操作便捷度为91.3%。但是，该系统仍然存在些许不足：①非全面性。多模态智能问答系统依赖于数据库的查询，然而内经选读涉及的数据庞大且复杂，数据库中包含的数据并不能完全覆盖教育领域中的专业术语和知识点，且随着对《内经选读》的不断深入研究以及修正，多模态知识图谱智能问答系统需要不断更新和完善，导致使用此平台时可能存在一定的局限性。因此，将继续增加样本数量，如研究生教材、继续教育选用教材等。②信息提取受限。多模态智能问答系统是基于字典的查询方法，用户通过输入相应字词句等，系统会反馈生成对话，由于使用者的语言环境不同，以及中医典籍存在许多生僻字、通假字等，系统对语句关键词的提取可能存在偏差，有概率会降低对话理解以及查询结果的准确性。因此，课题组将不断更新系统，使用深度学习算法，以Word2vec等自然语言处理算法对文本进行嵌入。③问答系统设计不够智能。用户反馈提出系统在信息反馈的排列分布上仍存在不够合理、美观等问题。课题组将继续优化操作界面，使用户能更加便捷快速进行操作，反馈页面更加合理、简洁、美观。作为教学辅助工具，基于多模态知识图谱的智能问答系统有着巨大的发展前景，其平台构建和技术应用仍有待进一步探索。

参考文献

[1] 孙丰雷，高华.当代中医学校教育对中医传统传承模式的回归与超越［J］.浙江中医药大学学报，2010，34（1）：102-104.

[2] 刘萍，宋杰，王平.对中医药创新人才培养的若干思考［J］.时珍国医国药，2017，28（7）：1764-1766.

[3] 李翠娟，孙理军，巩振东，“以学为中心”的内经选读六结合教学模式应用探讨［J］.时珍国医国药，2022，33（1）：223-224.

[4] 丁晓洁，魏晓露，王醊恩.内经选读三阶五环智慧互动教学模式的构建［J］.中国中医药现代远程教育，2023，21（9）：1-3.

[5] 李迎霞，唐华伟，邵雷，《黄帝内经》传统学习法在促进深度学习中的应用［J］.中医药管理杂志，2023，31（17）：25-26.

[6] 古继红，张小虎，黎敬波，内经课程教学调查及分析［J］.中医教育，2010，29（6）：33-35.

[7] 王华琼，俞定国，钱归平.基于医学社交媒体数据的多模态知识图谱构建［J］.医学信息学杂志，2023，44（4）：35-39.

[8] 胡佳慧，李姣，姚宽达，大语言模型融合知识图谱的医学问答系统构建研究［J］.中国数字医学，2024，19（6）：91-95.

[9] 黄承宁，殷晓磊，陈武.基于知识图谱的医疗问答系统研究应用［J］.信息技术与信息化，2024（5）：210-215.

[10] 蒋君，肖宇锋，门佩璇，医疗健康知识图谱需求与技术构建研究［J］.医学信息学杂志，2024，45（3）：40-45.

[11] 许多，鲁旺平，许瑞清，基于农业时空多模态知识图谱的水稻精准施肥决策方法［J］.华中农业大学学报，2023，42（3）：281-292.

[12] 徐星，鄢睿丞，闫晓玲，“电路” 课程知识图谱构建及其教学模式应用［J］.教育教学论坛，2024（6）：1-4.

[13] 沈伟豪，钟燕飞，王俊珏，多模态数据的洪涝灾害知识图谱构建与应用［J］.武汉大学学报（信息科学版），2023，48（12）：2009-2018.

[14] 王俊文，叶壮志.人工智能技术在中医诊断领域应用述评［J］.世界科学技术-中医药现代化，2022，24（2）：810-814.

[15] 吴萌，杨林，沈柳，面向继续医学教育的多模态围产保健知识图谱构建研究［J］.医学信息学杂志，2024，45（4）：8-13.

[16] 石燕，何黎，任秋静，中医体质知识图谱分析：基于VOSviewer和CiteSpace的计量分析［J］.世界科学技术-中医药现代化，2021，23（9）：3415-3423.

[17] 李荣耀，徐倩，吴雨璐，基于《本草纲目》的多模态知识图谱的构建研究［J］.现代计算机，2022，28（13）：10-17，24.

[18] 王明强.中医古籍不孕症知识图谱的构建、挖掘与应用研究［D］.北京：中国中医科学院，2022.

[19] 陈烨，周刚，卢记仓.多模态知识图谱构建与应用研究综述［J］.计算机应用研究，2021，38（12）：3535-3543.

[20] 闫悦，郭晓然，王铁君，问答系统研究综述［J］.计算机系统应用，2023，32（8）：1-18.

[21] 冯雷.基于多模态知识图谱的智能教学辅助平台的设计与实现［D］.黄石：湖北师范大学，2023.

[22] 梁永林，杨秀娟，李智慧，基于新医科供给侧与需求侧双需求的教学改革路径研究：以《黄帝内经》为例［J］.时珍国医国药，2023，34（3）：706-709.

[23] 赵汉青.中医药知识图谱研究述评［J］.中国数字医学，2023，18（8）：102-107.

基金资助

成都中医药大学教育改革项目(2022ZLGC22)