基于5G+VR的多模态教学技术研究

彭行 ,  韩雪凉 ,  刘学洪 ,  许春

实验教学与仪器 ›› 2026, Vol. 43 ›› Issue (9) : 146 -150.

PDF (527KB)
实验教学与仪器 ›› 2026, Vol. 43 ›› Issue (9) : 146 -150. DOI: 10.19935/j.cnki.1004-2326.2026.09.039
教育装备论坛

基于5G+VR的多模态教学技术研究

作者信息 +

Author information +
文章历史 +
PDF (539K)

摘要

探讨了基于虚拟现实的多模态教学技术,构建了集成5G网络、云存储、云渲染的多模态教学内容资源研发制作平台,研究了多模态教学资源的存储与检索技术,搭建了教学资源管理和发布平台,开展了沉浸式教学活动。基于知识图谱技术的智能推荐算法,设计了面向课程的知识地图体系,助力实现学生个性化学习与教师差异化教学,探索了多模态教学模式改革路径。开展沉浸式教学实践活动后的问卷调查显示,基于5G+VR的多模态教学模式比传统的教学模式更受学生欢迎。

Graphical abstract

关键词

5G网络技术 / 虚拟现实 / 知识图谱 / 多模态教学 / 智能推荐算法 / 教学技术

Key words

引用本文

引用格式 ▾
彭行,韩雪凉,刘学洪,许春. 基于5G+VR的多模态教学技术研究[J]. 实验教学与仪器, 2026, 43(9): 146-150 DOI:10.19935/j.cnki.1004-2326.2026.09.039

登录浏览全文

4963

注册一个新账户 忘记密码

基于网络的在线课程、远程教育、视频会议方兴未艾,基于5G+VR技术的多模态教学[1]模式逐渐成为研究热点。这种新型教学模式突破了传统模式的限制,让学生融入学习环境,通过视觉、听觉、触觉等多元体验进入学习过程,达成沉浸式教学互动,实现教学相长。与传统教学模式相比,5G+VR多模态教学模式的教学资源数据多源异构,包括声音、图片、视频、3D数据等,这些资源的存储和检索是教学过程的关键技术。特别是要实现差异化地教和个性化地学,必须深入研究多源异构数据资源的检索技术。笔者基于知识图谱技术提出了一种个性化推荐算法,能够根据前期学习课程、学习兴趣等为学生有针对性地推荐学习知识点或课程。

1 基于5G的多模态教学技术

在5G网络的大带宽、低时延等特性的支撑下,VR技术在教育领域能够得到更广泛的应用,通过VR沉浸式教学可以把学生带入到不同的学习内容中,让学生可以身临其境,不受地域限制,从而提高教学质量。目前已开展的大量工作证实了VR在教育领域的优势。例如,文献[2]证实了VR能够提高学生的积极性。目前已有一些工作成功地将VR运用到教育领域,促进学生的学习。文献[3]使用Minecraft 3D建模系统、360度全景视频与图像技术虚拟重建了敦煌莫高窟和古代长安城,生动形象地为学生展示了唐代的历史和文化。此外,在教育领域,开展了大量关于增强现实技术(AR)的研究。文献[4]开发了一个基于平板电脑的增强现实应用程序,支持物理实验操作学习。而全息影像在教学应用中仍处于探索阶段,最常用于医学教育领域,特别是解剖学教学[5]。文献[6]通过使用全息影像来显示细胞生物学课程中的研究对象。

1.1 多模态教学资源存储技术

(1) 异构信息网络(Heterogeneous Information Network,HIN)。异构信息网络可以跨多个数据源融合信息,通过融合来自不同HIN的信息,可以获得不同HIN中共享的公共信息实体更全面且一致的知识[7]。一般来说,可以基于不同的节点属性来匹配社交网络中的用户。而文献[8]将锚点预测应用于异构社交网络,提出两步预警方法MNA,用以推断网络中蕴含异构信息的潜在锚链。此外,可构建新型优化框架,在最小化对齐成本的同时,满足传递性规则与推断映射的一对一约束条件。

(2) 联机分析处理(On-Line Analytical Processing, OLAP)。OLAP是数据仓库系统的主要应用,以多维模型、多视角、多层次的数据组织形式对现实世界中高维多源异构的数据进行管理与分析。随着信息时代不断地发展,许多学科领域都涌现出了海量的数据,利用OLAP技术对这些海量数据进行管理,提取有价值的信息已成为各学科研究的热点[9-10]。文献[11]则提出时空数据仓库中OLAP查询的相似性度量算法来优化查询速度及推荐,以便更好地分析时空数据,做出最佳决策。

1.2 多模态教学资源检索技术

(1) 知识图谱。知识图谱代表了动态的语义网络,可以将结构化和非结构化的数据结合起来,以事实的形式来丰富不同内容的语义,并提供可能的结果。将知识图谱与相关的系统进行结合与关系映射可得到各种有益且高效的应用,例如语义搜索、企业管理、问答系统以及知识推理等。

(2) 智能检索。智能检索是结合了人工智能技术的新一代搜索引擎,从对查询条件的智能分析到对检索内容的智能推送,能够使得搜索结果更符合用户的期望。针对不同的应用场景,智能搜索引擎也有着不同的工作机制。文献[12]提出了一个基于语义技术的智能检索系统,将逻辑推理与数字图书馆相结合。因此,可以基于用户信息偏好提出了交互式的智能检索模型,提升了信息检索的质量和效率。

(3) 个性化推荐。知识图谱、深度学习与图卷积网络等技术的出现改善了传统推荐系统数据稀疏性等问题。例如,知识图谱作为辅助信息被引入推荐系统中,Ye等人提出了Bayes Embedding,分别使用TransE和基于图神经网络的模型从知识相关图和行为图中学习初始嵌入[13]。目前有大量教育领域的推荐算法,例如,从学生交互数据中学习,并自适应地向学生推荐合适的练习。文献[14]提出了一个基于协同过滤的教育推荐系统,个性化地为学生推荐学习材料和资源。

2 知识图谱驱动的智能推荐算法

2.1 面向个性化学习的多模态教学资源智能推荐

在5G时代下,教育资源表现出不同形式的载体,存在多源异构、数据量大且杂乱等特性。当学生对教学资源的不同侧重点进行检索时,在大量信息中找寻出有用信息存在一定难度。此外,由于AR/VR课件的高存储量的特性,学生对AR/VR课件逐一查看选择并不现实。因此,考虑结合学生数据、师生教学交互行为数据以及存储的教学资源数据进行个性化推荐。学生数据涵盖个人基础信息(姓名、学号、性别、年级、专业等)与课程学业信息(选课科目、课程成绩等),由学校相关部门统一提供,数据完整性良好。师生教学交互数据包含课程参与情况、师生答疑记录、学生学习反馈及平时作业信息等,由授课教师整理获取。教学资源数据则来源于本研究所搭建的教学资源数据库,数据来源稳定可靠。

项目组计划利用上述三类数据,针对学生的特点和需求进行个性化的推荐。针对不同需求的学生,通过结合学生数据、师生教学交互行为数据、教学资源数据,为其产生个性化的教学资源推荐。项目组拟采用知识图谱来表示学生与教学资源间的交互记录。具体是将学生、教学资源作为知识图谱实体,学生信息、教学资源信息作为知识图谱实体的语义信息,若学生对教学资源存在使用记录,则以学生实体与教学资源实体之间的关联为边,构建“学生—教学资源”知识图谱,显式刻画二者间的多维度关系。

为了实现学生的个性化教学资源推荐,首先需要获取学生有交互信息的教学资源内容,即历史交互记录。项目组选择学生使用过的教学资源作为其历史交互记录,以此构建历史交互矩阵。其次,通过知识图谱嵌入方法,学习知识图谱中节点的向量表示。最后,使用基于知识图谱的推荐算法,为学生产生最终的个性化推荐结果。

现有的基于知识图谱的推荐算法主要包括基于嵌入的方法(如CKE、Entity2vec、DKN等)、基于路径的方法(如HeteRec、SemRec、HeRec等)以及结合两者的方法(如RippleNet、KGCN等)。考虑到学生之间的特异性以及图中路径信息的必要性,项目组拟采用结合两者的方法,利用深度学习模型,学习完善节点的向量表示,并通过历史交互矩阵产生推荐结果。原因有三:①图神经网络可以有效地利用节点的语义信息,对于完善知识图谱中节点的表示非常有效,因此可以获得每个学生的不同表示,从而产生个性化推荐;②图神经网络可以捕捉图的拓扑结构,这对于含有丰富边语义信息的知识图谱是有必要的;③图神经网络可以应对不同规模的知识图谱,即使是在大规模的知识图谱中也具有较好的性能。

2.2 面向教学过程的多模态教学资源检索

除学生个性化学习需求外,教师开展分层个性化教学同样存在诸多难点。对此,项目组将依托教师课程数据、师生教学交互行为数据、研究方案内置教学资源数据三类数据,面向教师特征与教学需求搭建个性化推荐机制。其中,教师课程数据包含课程名称、知识点、重难点等内容,能够完整呈现课程知识体系与核心教学难点,由授课教师提供,数据完整性良好;师生交互行为数据涵盖学生选课记录、师生答疑记录、学生问题反馈、日常作业数据及教学资源使用记录等,由授课教师统一归集;教学资源数据的采集逻辑与渠道和前两类数据保持一致。

基于上述数据,笔者将实现针对性的教师教学资源推荐:一是面向课程共性重难点,匹配推送对应知识点的教学资源;二是针对学生课程学习中的个性化问题,精准推送适配的教学资源。研究将以学生对各类知识点教学资源的使用反馈为核心依据,生成适配教师教学场景的个性化资源推荐结果。在技术构建上,将教师与教学资源作为知识图谱实体,以教师课程信息、教学资源信息为实体语义信息,并基于教师的资源使用记录构建实体关联边,搭建教师—教学资源知识图谱,直观呈现二者的关联关系。推荐算法则沿用前文所述的推荐方法。

3 教学应用场景与实现

3.1 基于5G网络的沉浸式教学环境

多模态教学模式将VR以及AR与教学相融合,以优质资源为核心,集终端、应用系统、内容于一体的多模态教学资源平台。创设接近真实的学习环境,将抽象概念具象化,为学生提供高度开放、可交互、沉浸式的三维学习环境。本项目拟在四川大学建设基于5G网络的多模态教学资源平台,为基于5G网络环境的信息化教学模式研究提供环境基础,其技术架构如图1所示。

(1) 基础环境平台搭建。多模态教学资源平台的搭建主要包含了六大模块。VR内容云平台:负责VR内容的管理,支撑川大本地创作内容的上传;GPU渲染集群:负责内容创作软件的硬件支撑,同时云端GPU虚化渲染支撑四川大学一体机VR内容教学;VR本地内容创作区:负责四川大学本地VR内容创作,使用云桌面依托云计算中心硬件资源进行内容的创作及上传;川大教学管理平台:负责VR内容资源的管理、资源监控、排课、教学监控等管理工作;无线VR体验教学:在5G覆盖下通过VR一体机进行无拘束体验教学;VR本地教学区:依托云端VR教学资源在本地进行大班教学、小班协同教学、大空间实训教学。项目组拟采用以下技术为平台的六大模块提供硬件支持。①5G传输技术支持。本项目拟采用的VR一体机通过内置5G-SIM卡的路由器接收云端VR资源数据进行教学体验,VR内容资源存储在云端,由云端GPU渲染集群进行渲染,通过5G网络传输至一体机头盔内,搭建无拘束VR教学使用的场景。②云端资源支持。在本项目中,GPU集群部署在四川移动云计算中心,并将VR内容创作软件部署在云计算中心,依托云计算中心硬件资源进行VR内容的创作,同时,GPU集群可以根据用户使用需求对VR内容进行渲染,最终将渲染的图形图像数据推送至VR一体机中。③本地资源支持。学生通过云桌面进行VR内容创作(云计算中心算力),将创作好的VR内容资源上传至VR资源管理平台,本地VR教学依托内容管理平台开展多种形式VR课程教学。另外,本地还需部署教学管理平台,负责VR内容资源的管理、资源监控、排课、教学监控等管理工作,以满足学校内实际教学环境的需要。

(2) 教学资源开发技术研究。根据已有的AR/VR教学模式,项目组拟定5G多模态教学模式过程包括:基础环境搭建、多模态教学资源制定、多模态资源教学以及多模态教学结果评估。项目组拟采用以下研究路线探索教学资源开发标准。①资源匹配。多模态教学模式主要研究在三维环境下教学,因此并不是所有的教学知识点都适用于多模态教学,因此,在制作教学资源之前,我们需要以知识点为单位进行汇总和梳理,探求其是否匹配AR/VR资源。②内容导向技术探索。优质的AR/VR课件包含了三维场景动画播放、音效、高清的视频界面展示等内容。③资源播放技术探索。AR/VR教学资源无法在所有的硬件设备上进行统一播放,因此我们依据具体的硬件设备,对基础教学资源进行转换,使得其能在基础教学环境中的硬件设备上正常使用。④资源测试:如同传统的教学软件开发,在多模态教学资源制定好之后,需要对其进行内容测试及调整,才可进行内容发布。整个过程采用迭代的方式进行,结合多模态资源教学评估结果,不断调整以上4个流程,进行流程添加或移除,以探索优质教学资源开发标准。

3.2 教学应用与实践

(1) 教学资源管理平台。教学资源管理平台主要包括以下功能模块:多模态教学资源数据标记、教学知识本体建模、知识图谱构建、知识管理及检索、教学资源存储。①多模态教学资源数据标记。收集多模态教学资源数据时,需要对教学资源进行信息标记。②教学知识本体构建。为了用户在制作教学资源时提示知识点标签,在数据存储阶段提升数据一致性质量并建立有效索引,需要进行教育知识领域本体构建,表达知识点之间的层次关系(与传统的领域本体概念有所不同,此项目只强调在知识点概念级以上构建层次关系,而不关注具体教学资源的识别)。③知识图谱构建。依据教学资源标记信息,提取资源、教师、知识点相关实体及关系,构建“教师—资源—知识点”知识图谱,以根据资源课件之间的关系进行内容的高效检索。④知识管理及检索。知识检索与管理共分为以下3个部分。教学资源知识更新:根据新知识数据来源的权威度、冗余度、多样性等判定新知识的准确性,将新知识所对应的相关关系进行补全,确保知识图谱的一致性和准确性。在图谱数据库中存储教学资源之间的关系,每个资源用唯一标识的ID链接到资源数据库中的唯一资源。集成控制:为了使得上述复杂的系统能够顺利地运行并能够协同工作,项目组拟研发集成控制系统。一个完善的集成控制系统能够使得用户便捷地使用AR/VR教学设备和资源,并能将AR/VR系统中各个部分的功能充分地发挥出来。项目组研发的集成控制系统包含的功能有:向学生VR一体机进行数据传输(即教学资源对应的视频或文本资源);注意力监控(通过眼球追踪实现在教师端中控系统展示学生的视线图,通过学生视线可视化帮助教师识别困惑、分心的学生,实现针对性教育和辅导);设备异常报警;中控便捷选课等。高效检索:分为两条技术路线,其一为研究分布式异构模式的检索技术,通过构建分布式教学资源数据库的全局逻辑视图,利用分布式查询处理、分布式查询优化、分布式检索调度执行以及检索结果融合技术,实现分布式异构教学资源的统一检索接口;其二为研究基于图数据库的路径检索,以教师为节点,搜索节点间多步路径,检索教师教授的各个知识点,实现对资源的高效检索。⑤教学资源存储。教学资源数据包含多种数据类型:文本,图片和视频等。利用分布式存储方案有效管理教学资源、满足教育资源数据的存储要求。基于分布式管理框架,构建Hadoop Distributed File System(HDFS)分布式存储、分布式计算引擎,使用国产开源数据库(如Gauss数据库)对教学资源数据进行存储。

(2) 教学实践效果。①教学案例。通过知识图谱、智能检索和个性化推荐技术,基于学生的专业、年级、已修学分课程、兴趣课程、大川学堂自修课程等因子,结合课程标签,“江竹筠”“红色故事”“电子概念纪念馆”“虚拟仿真实验”“党建”等动态的语义网络、语义搜索,按照智能推荐算法,向文学与新闻学院新媒体专业的同学智能生成个性化课程推荐,形成一堂以《江姐纪念馆VR馆》为主题的VR内容资源制作课程,该课程由36名同学组成。在课程结束后,针对其教学效果,本团队设计和发放了关于《江姐纪念馆VR馆》课程教学效果的调查问卷并进行了分析。②课后调查问卷设计。本课程旨在利用VR技术制作的多模态资源,在VR教学环境中教会学生VR技术相关的知识,课后作业为利用Creator软件进行VR项目的研发和设计,通过调研、选题、拍摄及编导,制作完成自己的VR作品。课程开展过后,为调研本课程教学资源及教学方式对教学效果的影响,特设计本调查问卷,从四个维度:教学过程(沉浸式、互动式)、学习过程(理解、思考、记忆)、课后作业(实践性、启发性、工具性)、学习效果(兴趣、学识、信息素养),11个角度的评价进行调查。③调查问卷结果及分析。通过知识图谱的应用,共计筛选出对本课程感兴趣的36位相关性比较强的学生进行调研,回收有效调查问卷36份,具体调研数据和结果如图2所示。由图2可知,90%以上的学生都认为本课程沉浸式和互动式效果良好;80%以上的学生认为本课程的教学模式有助于促进他们对VR技术的认知、学习和掌握;80%的学生认为本课程作业的实践性和启发性良好;90%以上的学生认为该课程有助于他们的学识增长和信息素养提升;80%以上的学生认为这有助于提升学习兴趣。

4 结语

基于5G网络的多模态教育技术研究取得了一定的成果,在一些学科有较好的应用,但是教学模式改革也会随着教学需求的增长而改变。目前四川大学智慧教学环境的建设与应用已经取得一定成果,且在全国范围内起到了良好的带头示范作用,然而随着教育新基建理念、新兴技术下沉应用以及教与学新的需求,构建基于个性化智能推荐的新一代泛在化的学习空间还需要更多的技术沉淀和应用场景开发。下一步要抓住数字化转型的契机,促进信息技术赋能智慧教育,为建设教育强国作出贡献。

参考文献

[1]

郭尚志,廖晓峰,李刚,等.元宇宙的发展[J].计算机技术与发展,2023,33(01):1-6.

[2]

Cheng K H, Tsai C C.A case study of immersive virtual field trips in an elementary classroom:Students' learning experience and teacher-student interaction behaviors[J].Computers & Education,2019(140):103600.

[3]

Zhang G.Virtual simulation for history education[C]//2019 IEEE Conference on Virtual Reality and 3D User Interfaces (VR).IEEE,2019:1646-1651.

[4]

Altmeyer K, Kapp S, Thees M,et al.The use of augmented reality to foster conceptual knowledge acquisition in STEM laboratory courses:Theoretical background and empirical results[J].British Journal of Educational Technology,2020,51(03):611-628.

[5]

Jamali S S, Shiratuddin M F, Wong K W,et al.Utilising mobile-augmented reality for learning human anatomy[J].Procedia-Social and Behavioral Sciences,2015(197):659-668.

[6]

Orcos L, Magreñán A A.The hologram as a teaching medium for the acquisition of STEM contents[J].International Journal Learning Technology, 2018,13(02):163-177.

[7]

李晶,陈嘉彤,许潇楠.信息工程监理数据管理特点及异构数据集成系统分析[J].信息技术与信息化,2018(11):219-221.

[8]

Kong X N, Zhang J, Yu P S.Inferring anchor links across multiple heterogeneous social networks[C]//Proceedings of the 22nd ACM International Conference on Information and Knowledge Management. ACM,2013:179-188.

[9]

郭爱章,王新刚.一种基于虚拟数据仓库的查询优化方法[J].信息技术与信息化,2009(03):91-93.

[10]

熊宁.大数据分析的分布式MOLAP技术[J].信息技术与信息化,2015(02):199-200.

[11]

Layouni O, Akaichi J.Spatio-temporal OLAP queries similarity measure and algorithm[J].International Journal of Data Warehousing and Mining,2019,15(02):22-41.

[12]

Madhu G, Govardhan A, Rajinikanth T V.Intelligent semantic web search engines:a brief survey[J].International Journal of Web & Semantic Technology,2011,2(01):34-42.

[13]

Ye Y, Zhou J, Wang X,et al.Bayes EMbedding (BEM):Refining representation by integrating knowledge graphs and behavior-specific networks[C]//Proceedings of the 28th ACM International Conference on Information and Knowledge Management.New York:ACM,2019: 679-688. https://doi.org/10.1145/3357384.3358014.Ye,Yuting;Zhou,Jingren;Wang,Xuwu

[14]

Dascalu M I, Bodea C N, Moldoveanu A,et al.A recommender agent based on learning styles for better virtual collaborative learning experiences[J].Computers in Human Behavior,2015,45(C):243-253.

基金资助

国家重点研发计划(2018YFB1601201-3)

四川省科技厅重点研发计划(2022YFG0182)

四川省2021-2023年高等教育人才培养质量和教学改革项目(JG2021-35)

四川大学新世纪高等教育教学改革工程(第九期)研究项目(SCU9411)

教育部校地合作项目(2021CDZG-11)

教育部校地合作项目(2021CDLZ-12)

AI Summary AI Mindmap
PDF (527KB)

0

访问

0

被引

详细

导航
相关文章

AI思维导图

/

〈 〉