多模态教学的智能化转型：现状、挑战与未来趋势

The intelligent transformation of multimodal teaching: Current status, challenges, and future trends

摘要

伴随着大数据、智能云分析等信息技术的发展，多模态数据支持下的教学进入人们的视野，也使教学逐渐从数字化向智能化过渡。多模态教学对于促进教育公平、满足个性化学习需求、培养创新能力等方面具有重要的意义和价值，但也面临着理论不清晰、方法不成熟、实践不广泛等问题和挑战，需要进一步加强研究和探索。为此，文章通过对我国多模态教学研究的现状和发展的分析，探讨我国多模态教学研究的发展历程、研究主题、热点问题和未来趋势，以期为我国多模态教学研究的进一步发展提供参考和借鉴。

Abstract

With the development of information technologies such as big data and intelligent cloud analytics, teaching supported by multimodal data has come into people’s view, gradually transitioning teaching from digitalization to intelligentialization. Multimodal teaching holds significant importance and value for promoting educational equity, meeting individualized learning needs, and fostering innovative capabilities. However, it also faces challenges such as unclear theories, immature methods, and limited practice, necessitating further research and exploration. Therefore, this article analyzes the current status and development of multimodal teaching research in China, discusses its developmental journey, research themes, hot issues, and future trends, with the aim of providing references for the further development of multimodal teaching research in China.

关键词

多模态教学 / 智能教育 / 基础教育 / 数据采集 / 数据分析 / 教学模式

Key words

multimodal teaching / intelligent education / basic education / data collection / data analysis / teaching mode

2020年，国务院印发的《深化新时代教育评价改革总体方案》文件指出，以教与学全过程的数据为基础，运用人工智能、大数据等现代技术创新评价工具和提高评价结果的应用，综合发挥导向、识别、诊断、规范和改进作用，加强教师教育评价能力建设^[1]。近年来，在人工智能、大数据和物联网的推动下，数据密集型科学研究的新范式初露端倪，多模态教学逐渐成为研究的热点^[2]。随着信息技术的迅猛发展，教育领域正经历从数字化向智能化的深刻转型。多模态教学作为一种融合视觉、听觉、触觉等多种感官交互的教学模式，通过整合文本、图像、视频、虚拟现实（VR）等多元符号资源，为学生构建了立体化的学习环境。这一模式不仅突破了传统单向知识传递的局限，还能有效激发学生的认知潜力，满足个性化学习需求，对促进教育公平、培养创新能力具有重要价值^[3]。然而，当前研究仍面临理论体系不完善、技术应用成本高、实践推广不足等挑战。

当前，针对多模态教学的研究已经初步形成了多个学术团体，主要研究主题为多模态教学数据的来源与采集、多模态教学数据的分析、多模态课堂教学模式的构建；演进情况从多模态教学对学生话语能力发展的研究，发展到多模态教学行为的特征提取与分析，再发展到多模态与多种教学模式结合形成多模态课堂教学模式。未来多模态教学研究可在数据分析、师生互动、资源整合等方面加以深化，从而促进我国多模态教学的发展。

本文旨在系统梳理我国多模态教学研究的演进脉络，分析其核心主题与热点问题，并提出针对性解决方案。通过文献综述与案例分析法，结合国内外代表性研究成果，从数据采集、分析建模、教学模式构建三个维度探讨多模态教学的现状与瓶颈，并进一步展望其未来发展趋势，以期为教育智能化转型提供理论参考与实践指导。

1 多模态教学研究的演进脉络

在2010 — 2013年，多模态教学的研究主要集中在外语教育领域，探讨多模态教学对学生话语能力发展的影响，并进行了一定的课堂实践。例如，张德禄等^[4]提出了多模态话语的概念和框架，分析了外语课堂教学中不同模态之间的配合与协同，以培养学生的多元读写能力。但是，没有具体说明如何在课堂上实施多模态话语教学，也没有对多模态话语教学的效果进行评估和反馈。马莉等^[5]则利用增强现实技术构建了虚实融合的多模态外语教学情境，探讨了增强现实在外语基本概念学习及外语情境交际能力训练中的应用。研究展示了增强现实技术在多模态外语教学中的潜力和优势，但没有考虑增强现实技术的可用性和可行性，也没有对比其他类型多模态教学情境的效果和差异。张维等^[6]以高中生为被试对象进行了多模态话语课件在外语语法教学中的实证研究，分析了多模态英语语法教学相对于传统语法教学的优势。研究提供了多模态话语课件在外语语法教学中的有效性证据，但没有深入探讨多模态话语课件的设计原则和方法，也没有考察多模态话语课件对不同层次和类型学习者的适应性和影响。

随着2016年人工智能技术的爆发，多模态教学研究也迎来了一股热潮，文献数量骤然增多，其中主要集中在多模态教学数据采集分析层面。混合式教学产生了大量的线上线下学习数据，大数据、云分析在教育领域得以应用，研究者可以通过提取和分析多模态特征数据来支持教学。例如，彭红超等^[7]构建了以生理数据为主要成分的多模态数据全息临摹教师画像的机理及画像模型，试图利用生理数据来描绘教师的个性、风格和状态。但是，没有充分考虑生理数据的可靠性和有效性，也没有解决生理数据的隐私保护和伦理问题。吴军其等^[8]构建智慧课堂协作学习投入度分析模型并在实际课堂中应用，探索了多模态数据在智慧课堂协作学习中的应用。然而，没有明确定义和量化协作学习投入度的概念和指标，也没有对比不同协作学习模式和环境的影响因素和效果。

除了关注多模态数据本身特征和规律的深入分析之外，一些研究者也开始探索多模态数据与其他资源和要素结合形成新型教学模式的可能性。例如，王慧君等^[9]探讨了多模态教学应用于翻转课堂的可行性，构建了多模态学习环境下的翻转课堂教学模式，但是在长期效果和可持续性方面，需要更多的实证研究来支持。舒晓杨等^[10]分析了多模态教学模式融入高职教学的可行性，提出了适合高职教育的多模态教学模式，并进行了课堂实践。但是，未深入探讨如何评估教学模式的有效性，以及对教学模式进行持续改进的机制。

总体而言，多模态教学的研究起步较晚，发展较快，近年来备受各学科学术团体的关注，其演进脉络表现为从多模态教学对学生话语能力发展的研究，发展到多模态教学行为的特征提取与分析，再发展到多模态与多种教学模式结合形成多模态教学模式。未来可能会出现更加复杂和丰富的多模态数据类型和场景，需要更加精细化和智能化的多模态数据处理技术；同时也需要更加系统化和规范化的多模态教学理论和方法，并考虑伦理性和安全性等问题。

2 多模态教学的研究主题

通过上述分析和阅读相关文献，可将多模态教学的研究主题划分为三个维度。

多模态教学数据的来源与采集是多模态教学研究的基础。涉及如何利用各种设备和工具来获取学生在教育过程中产生的不同类型和层次的数据，如外显数据、心理数据、生理数据和基础数据等，为后续的分析和应用提供了丰富和有效的信息源。

多模态教学数据的分析是多模态教学研究的核心。涉及如何利用各种方法和算法来处理和分析多模态数据，从而揭示学生的认知规律、逻辑推理、情绪状态、学习效果等信息，为后续的反馈和干预提供了科学和精准的依据。

多模态课堂教学模式的构建是多模态教学研究的目标。涉及如何利用多模态数据和资源来设计和实施合适的教学方法和策略，从而实现资源融合、互动和评价等教学过程，为提高课堂教学的效果和质量提供了更多元化、全方位的可能性。

2.1 多模态教学数据的来源与采集

多模态数据采集可以为教学评估、改进和创新提供更加科学和有效的支持。为了更好地理解和利用多模态数据，研究者对其进行了不同层面的探索和分析。

根据数据特性，陈凯泉等^[11]将多模态数据归为外显数据、心理数据、生理数据和基础数据四类，这种分类方式有一定的合理性，但也忽略了不同模态之间的关联性和互补性，以及不同类型多模态数据处理方法的比较和评价。根据数据来源，陆吉健等^[12]将多模态数据划分为面向教师的多模态教学信息、教学工具的多模态辅助教学信息、教师与教学工具之间的多模态融合教学信息等三种，这种划分方式有助于理清多模态数据的产生和使用过程，但也缺乏不同来源的多模态数据对教学效果的影响和作用的分析，以及如何优化多模态数据来源的选择和配置的策略。在数据采集方面，邢蓓蓓等^[13]介绍了多种多模态数据采集技术，包括平台采集技术、物联网检测技术、视频录制技术、图像识别技术、语义识别技术、生物数据采集技术（如眼球追踪、脑电识别等）和自我报告等。这些技术涵盖了多种模态和场景，但也需要分析不同技术的优缺点和适用场景，以及如何保证多模态数据采集的质量和效率。在实践中，马志强^[14]等展示了一个多模态数据采集和分析的实践案例，利用摄像机、录音笔、脑电仪、在线协同编辑平台等设备和工具分别采集分析了学生在协作学习过程中的动作、对话、脑电、文本等教学数据。这个案例体现了多模态数据在协作学习中的应用价值，但也需要对比单模态或少模态情况下的协作学习效果，以及讨论多模态数据采集和分析过程中可能遇到的难点和挑战。

2.2 多模态教学数据的分析

多模态教学数据的分析主要包括学习者情绪感知分析和课堂教学行为分析两个方面。

首先是学习者情绪感知分析，即通过多模态数据分析学习者的认知规律、逻辑推理和情绪状态。例如，武法提等^[15]通过眼球追踪技术和面部识别技术获取学生的眼动数据和面部神情变化，并通过一定的算法分析学生当前的专注程度和情绪变化。这种方法具有创新性，但也需要考虑环境因素、个人因素、情境因素等对数据准确性和有效性的影响，以及专注程度和情绪变化与学习效果之间的复杂关系。徐振国等^[16]则通过卷积神经网络识别出七种表情，包括常态、高兴、愤怒、悲伤、惊恐、专注和厌倦等。不过这需要大量的训练数据和计算资源，可能存在过拟合或欠拟合的问题，也不能捕捉更细微和复杂的情绪变化，需要扩展表情类别和样本数量，优化模型结构和参数，并提高模型的可解释性。

其次是课堂教学行为分析，通过多模态数据分析课堂教学行为能够真实反映学生的学习习惯、学习效果以及教师的教学风格和教学能力。例如，刘清堂等^[17]通过决策树分类器识别教师和学生的课堂教学行为，可是这需要人工设定特征和阈值，可能受到噪声数据和异常值的影响，也不能发现更多的教学行为模式和规律。在多模态教学数据分析框架的构建上，周进等^[18]构建了多模态学习情感计算的研究框架，包括数据采集、情感建模与识别、情感反馈与调节等四个环节。这种框架具有系统全面性，但也需要考虑数据采集的伦理原则和法律规范，情感模型的合理性和有效性，情感反馈的及时性和适度性等问题。张乐乐等^[19]则搭建了多模态数据支撑下课堂教学行为分析的实践框架，包括课堂教学、数据采集、智能分析、应用服务等四个层次。这种框架具有实用指导性，但也需要考虑教学目标和内容的设计、数据类型和格式的选择、智能分析的目标和方法的确定等问题。

2.3 多模态课堂教学模式的构建

多模态课堂教学模式分为多模态资源融合、多模态互动和多模态评价三个阶段。

在资源融合阶段，教师需要在教学设计的过程中对各种学习资源的特点进行了解、分析，并发挥各种资源的优势对这些资源进行有效融合，以提升学生的视觉、触觉体验和学习效率。蔡苏等^[20]在多模态智慧课堂实践中通过整合多种软硬件设备，实现了多种资源间的无缝互联和协同工作，给学习者带来沉浸式的实时学习体验。但是，研究没有充分考虑到多模态资源融合的教学条件和限制，如多模态资源融合所需的硬件设备、软件平台、网络环境、教师能力、学生素养等，以及多模态资源融合可能遇到的技术障碍、管理困难、伦理问题等，这可能会影响研究的可行性和可推广性。

在多模态互动阶段，学生、教师、学习资源、学习环境之间能够实现多元化交互，产生多种感官数据，有利于学生进行深度的认知建构。赵雪梅等^[21]从多个层面构建了具身学习环境下促进高阶思维发展的多模态交互机制。但没有考虑不同学科、不同年级、不同学习目标下的多模态交互机制的差异和适应性。童慧等^[22]则从多个维度确立了课堂教学互动多模态分析框架。但没有充分考虑课堂教学互动的动态性和复杂性，例如互动的频率、强度、质量、效果等，这可能会影响到分析框架的灵活性和适应性，以及如何利用框架进行课堂教学互动的改进和优化。

在多模态评价阶段，教师可以运用多模态的方法对学生的学习结果或过程进行持续的监控和跟踪，并为教师、家长、学生个人带来科学、精准的反馈。张家华等^[23]提出了多模态数据所映射的评价表征维度和内容，然而没有考虑到多模态数据的复杂性和多样性，例如数据的来源、类型、格式、质量、时序、同步、关联等，这可能会影响到评价表征的准确性和完整性，也没有探讨多模态数据评价表征与传统评价方式的关系和区别。

3 多模态教学研究的热点问题

3.1 多模态数据采集的局限性、经济成本与应用策略的不明确性

数据采集的覆盖局限性 现有的多模态数据采集技术尚未能够全面覆盖学生的教育特征，特别是那些隐性的特征，如情感、动机和元认知等。为了更准确地捕捉这些特征，迫切需要对多模态数据采集技术进行深入探索和持续完善。例如，研究者们应当考虑开发新的算法和传感器技术，以便更有效地识别和记录学生的情绪反应和认知过程。

高昂的数据采集成本 目前，多模态数据的采集往往伴随着较高的经济成本，这限制了其在教育实践中的广泛应用。因此，亟须开发成本效益更高的数据采集方案，以提升数据采集的经济性和效率。例如，可以探索利用现有教学环境中的设备和平台，通过自动化技术来简化数据的采集和处理流程。

缺乏明确的数据应用策略 尽管收集到的多模态数据潜在价值巨大，但目前缺乏针对性的应用策略，使得数据的实际应用效果受限。为此，教育工作者和研究者需要根据具体的教学目标、内容和分析需求，制定出明确的数据采集和应用策略。此外，加强跨学科和跨领域的合作，整合不同领域的资源和专业知识，将有助于提升多模态数据在教学设计中的应用价值，从而实现更加个性化、适应性强和情境化的教学方案。

3.2 多模态教学数据分析的局限性与分析模型的发展需求

学生情绪分析的局限 目前，针对学生情绪分析的研究主要集中在一些常见的情绪状态，如专注、愤怒、高兴等，缺乏对细分、变化较大情绪状态的分析，如焦虑、压抑等。这些情绪状态可能会影响学生的学习效果和心理健康，因此需要更加细致地识别和处理。同时，由于不同模态的数据可能存在不一致或相互冲突的情况，如语音和表情之间的矛盾，因此需要有效地融合多种模态的数据来提高情绪分析的准确性。

课堂教学行为分析的局限 目前，课堂教学行为的分析主要集中在教师和学生的一些基本行为，如讲解、提问、回答等，缺乏对于教学过程的深层次分析和研究。例如，如何评估教师的教学策略、学生的思维水平、教与学的互动质量等。这些方面都是影响教学效果和教育质量的重要因素，因此需要更加全面和深入地分析。同时，由于课堂教学行为涉及多种模态和多种场景的数据，如语音、文字、图像、视频等，因此需要处理数据中的噪声和不完整性，并利用机器学习和人工智能等技术提升数据分析能力。

数据分析模型的发展需求 当前的数据分析模型仍然处于初步研发和发展阶段^[24]，数据颗粒不精细、分析过程的方法和算法需要更加深入和先进^[25]，以提高分析结果的准确性和支撑性，并适应复杂多变的教学数据，达到分析结果科学精准的需求。例如，如何构建合适的数据表示方式、如何选择合适的数据特征、如何设计合适的数据挖掘方法、如何评估数据分析结果等。

3.3 多模态课堂教学资源的有机整合与模式的适应性问题

课堂教学资源融合、互动和评价难以有机结合 多模态课堂教学中，教学资源的融合、学生与教师之间的互动以及教学效果的评价往往是分散和孤立的。为了实现教学资源的有效融合，教师需要在教学设计阶段综合考虑教学目标、内容和学习对象，选择合适的符号资源和方法。同时，在教学实施过程中应注意资源之间、资源与环境之间、资源与人之间的协调性和一致性，及时调整教学策略以适应教学过程的变化。在教学评价方面，教师应根据不同类型的数据采用相应的分析技术，将分析结果与教学目标、内容和学习对象相对照，以提高评价的有效性和准确性。

多模态课堂教学模式的领域或层次适应性问题 不同学科和不同教育阶段对于教学模式的需求各不相同。在实际教学中，各种技术的不合理使用也会给学生带来一定的困扰。类似VR虚拟仿真眼镜这样的特殊装备对于小学生而言过于沉重，易使他们感到劳累。教师在运用多模态课堂教学模式时，需要根据不同领域或层次的特点和需求，灵活选择和组合不同类型和数量的符号资源，结合不同学科特征和学生特点对多模态教学活动进行再设计。同时，应考虑不同情境中符号资源所承载的意义，与其他教学模式（如翻转课堂、协作学习等）相结合，并根据实际效果进行反思和改进。

4 讨论与展望

4.1 采集多模态情感数据，多层次分析学生情感

学习过程中，学习者会产生多元化且动态变化的情感，对这些情感进行分析和计算，能够及时地了解学生的当前状态，并进行有效的心理辅导^[26]。而当前多模态教学采集学生情感数据的方式和渠道大多来源于对学生的问卷调查以及学生的线上发言，不能多层次地了解和分析学生情感，同时缺乏对学生的外在变化和内部发生机制之间的关系研究。未来需要扩展学生的多模态情感数据采集渠道，结合心理学对学生情绪变化的内在机制展开深入研究。

4.2 加快构建多模态教学数据分析理论框架

由于多模态数据十分复杂且处于动态变化之中，多模态数据分析的模型也需要非常的精密，如果分析模型的算法不够科学和精细，那么很可能生成的结果就会偏离实际，导致对教学的支撑性不高，甚至产生误导。同时，不同模态的信息通常需要依据其特性做特定的解释分析，这些模态信息的组合分析也是数据分析模型需要解决的一大难点。因此，当前阶段有必要深化并推进大数据应用于多模态教学数据分析的相关研究，推动大数据技术深度融入教学，加快构建多模态教学数据分析理论框架，增强多模态教学数据分析的准确性和实用性，实现分析结果的落地使用，支持学习评价和问题反馈。

4.3 培养综合型多模态教学人才，开发自动化多模态分析工具

在大数据技术的支持下，数据分析模型构建成为多模态教学的核心内容，而模型的构建过程，需要基于多种专业学科的理论支持，如计算机科学、学习科学、教育学、生物学等，因此需要掌握这些学科理论的综合型人才。然而，当前大数据技术的应用和发展方面，专业人才相对匮乏，能够深入教学，将有效的教育数据构建分析模型的杰出专业人才更是凤毛麟角，导致应用于教育领域的数据集并不完善。此外，自动收集和处理多模态数据的方法和工具还不成熟，当前的大数据技术仍然处于人为定义意识变化的阶段，难以从人脑运行的原理来准确识别学生的情感。未来需要加大综合型多模态教学人才的培养力度。数据分析工具需要深度结合关于人的生理机制、心理机制等方面专业学科的理论研究，以加深对人的生理变化、心理变化的精准识别和探究其背后的发生机制。

4.4 形成教师为主导学生为主体的多模态互动

在多模态互动过程中，学生是互动过程的主体，教师在此过程中起到引导和解答疑惑的作用，同时指引学生深入思考和自主探究。教师在关注学生认知建构和能力发展情况的同时，需要促进学生原有认知结构和新的认知结构之间的概念互动。学生与教学设备之间的互动目的是加深学生与学习资源、教师、同学之间的交互，从而促进学生新旧概念的转变和概念之间的交互。因此，教师在选取教学设备时，需要以是否能促进学生的概念交互为依据^[27]。学生可以通过学生终端设备与多模态学习资源（VR/AR、全息投影、音频及视频）进行交互。或者教师利用多媒体设备来引发学生多种感觉器官的信息输入和输出，使学生的各个感觉器官形成多模态互动，促进学生对教学内容的理解和掌握。教师需要在教学设计的过程中思考技术的作用机理，结合技术特点规划技术如何促进多模态教学环境各要素之间的交互以及学生新旧认知结构之间的交互，并形成清晰的技术应用路径。在使用技术的过程中，要实时地观察多模态教学环境中各种要素的动态交互变化，并实时地做出调整以促进学生的各种交互行为的发生，从而促进学生学习效率的提升^[28]。

4.5 整合多模态资源，丰富教学信息类型

多模态学习资源是学生获取知识的主要途径，事件中模态的使用实现了人类感官与外界环境的交互^[29]。然而，由于学生感官偏好的差异，不同学生在面对同一种学习资源时具有不同的感官倾向，而多模态学习资源能够最大程度上弥补学生由于不同感官倾向所造成的学习效果的差异，促进学习者对学习资源的理解。因此，在设计多模态学习资源的过程中应尽量包含多种信息类型。除了传统媒体资源外，新兴技术（如虚拟现实和增强现实）也可以帮助学生更深层次地理解抽象概念。教师在进行教学时，可通过整合利用多种媒体资源增强学生在课堂教学中可获得信息类型的多样性，支持学生在协作学习和自主探究中对信息类型进行个性化选择，从而促进对学习资源的理解，进一步提高学习效果。

参考文献

[1] 中共中央, 国务院. 深化新时代教育评价改革总体方案[EB/OL]. (2020-10-13) [2023-10-16].

[2] 张文梅, 祁彬斌, 范文翔. 数据驱动的教学行为分析: 现状、 逻辑与发展趋向[J]. 远程教育杂志, 2021(1): 84-93.

[3] STEIN P. Rethinking Resources: Multimodal Pedagogies in the ESL Classroom[J]. TESOL Quarterly, 2000, 34: 333-336.

[4] 张德禄, 李玉香. 多模态课堂话语的模态配合研究[J]. 外语与外语教学, 2012(1): 39-43.

[5] 马莉, 沈克. 增强现实外语教学环境及其多模态话语研究[J]. 现代教育技术, 2012(7): 49-53.

[6] 张维, 刘晓斌, 周榕. 多模态话语课件在外语语法教学中的实证研究[J]. 现代教育技术, 2012(6): 58-61.

[7] 彭红超, 魏非, 闫寒冰. 多模态数据赋能教师画像: 从简笔画走向全息画像[J]. 开放教育研究, 2021(2): 80-89.

[8] 吴军其, 吴飞燕, 张萌萌, 等. 多模态视域下智慧课堂协作学习投入度分析模型构建及应用[J]. 电化教育研究, 2022(7): 73-80.

[9] 王慧君, 王海丽. 多模态视域下翻转课堂教学模式研究[J]. 电化教育研究, 2015(12): 70-76.

[10] 舒晓杨, 王连喜. 数字化时代高职多模态教学模式探究[J]. 中国职业技术教育, 2023(14): 80-87.

[11] 陈凯泉, 张春雪, 吴玥玥, 等. 教育人工智能(EAI)中的多模态学习分析、 适应性反馈及人机协同[J]. 远程教育杂志, 2019(5): 24-34.

[12] 陆吉健, 周美美, 张霞, 等. 基于 MR 实验的“多模态+人机协同”教学及应用探索[J]. 远程教育杂志, 2021(6): 58-66.

[13] 邢蓓蓓, 杨现民, 李勤生. 教育大数据的来源与采集技术[J]. 现代教育技术, 2016(8): 14-21.

[14] 马志强, 孔伶玉, 岳芸竹. 面向协作学习多重投入特征画像的多模态学习分析[J]. 远程教育杂志, 2022(1): 72-80.

[15] 武法提, 赖松, 高姝睿, 等. 联合面部线索与眼动特征的在线学习专注度识别[J]. 中国电化教育, 2022(11): 37-44.

[16] 徐振国, 张冠文, 孟祥增, 等. 基于深度学习的学习者情感识别与应用[J]. 电化教育研究, 2019(2): 87-94.

[17] 刘清堂, 何皓怡, 吴林静, 等. 基于人工智能的课堂教学行为分析方法及其应用[J]. 中国电化教育, 2019(9): 13-21.

[18] 周进, 叶俊民, 李超. 多模态学习情感计算: 动因、 框架与建议[J]. 电化教育研究, 2021(7): 26-32.

[19] 张乐乐, 顾小清. 多模态数据支持的课堂教学行为分析模型与实践框架[J]. 开放教育研究, 2022(6): 101-110.

[20] 蔡苏, 焦新月, 杨阳, 等. 5G 环境下的多模态智慧课堂实践[J]. 现代远程教育研究, 2021(5): 103-112.

[21] 赵雪梅, 钟绍春. 具身认知视域下促进高阶思维发展的多模态交互机制研究[J]. 电化教育研究, 2021(8): 65-71.

[22] 童慧, 杨彦军. 基于多模态数据的智慧课堂教学互动研究[J]. 电化教育研究, 2022(3): 60-68.

[23] 张家华, 胡惠芝, 黄昌勤. 多模态学习分析技术支持的学习评价研究[J]. 现代教育技术, 2022(9): 38-45.

[24] 张琪, 李福华, 孙基男. 多模态学习分析: 走向计算教育时代的学习分析学[J]. 中国电化教育, 2020(9): 7-14.

[25] 王一岩, 郑永和. 多模态数据融合: 破解智能教育关键问题的核心驱动力[J]. 现代远程教育研究, 2022(2): 93-102.

[26] 黄璐, 郑永和. 人工智能教育发展中的问题及建议[J]. 科技导报, 2018(17): 102-105.

[27] 陈丽. 远程学习的教学交互模型和教学交互层次塔[J]. 中国远程教育, 2004(5): 24-28.

[28] 王志军, 赵宏, 陈丽. 基于远程学习教学交互层次塔的学习活动设计[J]. 中国远程教育, 2017(6): 39-47.

[29] KRESS G R, VAN LEEUWEN T. Multimodal discourse: The modes and media of contemporary communication[M]. London: Arnold, 2001.