基于混合智能的学习状态实时采集与动态分析方法

Real-time acquisition and dynamic analysis of learning state based on hybrid intelligence

摘要

针对课堂上学生状态变化细微、关键特征难以捕捉的问题，提出了一种基于混合智能的学习状态实时采集与动态分析方法，及时发现异常学习状态。通过图像增强技术预处理采集图像，将增强图像输入卷积神经网络，经过卷积处理后，提取深层次特征图、关键特征图，并进一步将其输入长短期记忆网络中，实现对课堂学生学习状态的动态分析与识别。通过实验验证，该方法可实时反馈学生学习状态，识别效果良好且稳定性较高，借助该方法后，依据相关教务人员的纠正，学生学习成绩得到有效提升，具有一定的应用价值。

Abstract

In the classroom， student state changes are subtle and key features are difficult to capture. Therefore， a real-time collection and dynamic analysis method based on hybrid intelligence is proposed to detect abnormal learning states in a timely manner. By using image enhancement technology to preprocess and collect images， the enhanced images are input into a convolutional neural network. After convolutional processing， deep level feature maps and key feature maps are extracted， and further input into a long short-term memory network to achieve dynamic analysis and recognition of the learning status of classroom students. Through experimental verification， this method can provide real-time feedback on the learning status of students， with good recognition effect and high stability. With the help of this method， students' academic performance can be effectively improved based on the correction of relevant academic personnel， and it has certain application value.

Graphical abstract

关键词

混合智能 / 学习状态实时采集 / 动态分析 / 图像增强技术 / 卷积神经网络 / 长短期记忆网络

Key words

hybrid intelligence / real-time acquisition of learning status / dynamic analysis / image enhancement technology / convolutional neural network / long short-term memory network

0 引 言

学习状态是一个复杂而多维的概念，学生在课堂学习过程中，学习状态表示了其在学习过程中的认真程度，反映了学生对待学习的态度和动力，它不仅包括学生的注意力、情绪、兴趣等心理特征，还包括学生与教学内容的互动、学习进度等行为特征^［1］。这些特征的变化往往细微而难以捕捉，但对学生学习效果的影响却是深远的。因此，开发一种能够实时采集学生学习状态并对其进行动态分析的方法，对于提高教学效果^［2］、促进学生个性化学习具有重要意义。

王涛春等^［3］通过无源RFID技术对学生学习状态的射频信号进行采集，并从其中提取出能够反映学生动作状态的特征，通过深度学习算法学习大量的训练数据，能够得到准确识别学生动作的模型，将采集到的学习状态射频信号特征输入已经训练好的深度学习模型中，从而识别出学生当前学习状态。但该方法在实际应用中，实时性与准确性平衡较差，过于追求实时性，导致识别准确率降低，影响用户体验。苏悦等^［4］借助摄像头对学生课堂图像进行采集，通过预处理过程实现采集图像的效果优化，通过人脸检测技术识别并提取出学生的人脸数据，借助表情识别算法对提取出的人脸数据进行分析，分为多种不同的类别，通过在实现检测的轻量级模型中引入通道注意力机制，最终实现学习状态的识别。在实现检测的轻量级模型中引入通道注意力机制虽然可以提高模型的性能，但轻量级模型本身的性能可能受到限制，无法完全满足高准确性、高效率的要求。Chen等^［5］利用结合残差网络和三维卷积的时空剩余注意力网络，提取学习状态表情特征；对于关键特征；通过引入时空注意力机制实现，采用深度卷积神经网络记录学生的行为特征，借助构建的数据集对时空剩余注意力网络模型进行训练，通过调整网络参数和训练策略，优化模型的性能，确保模型能够准确识别学习状态。但引入残差网络和三维卷积增加了模型的复杂度，需要更高的计算成本，导致在学习状态动态分析过程中，该方法无法满足实时性需求。

为此，本文提出一种基于混合智能的学习状态实时采集与动态分析方法，可及时发现学生异常学习状态，并以某市中学课堂为研究对象，进行了实验验证，结果表明，本文方法及时、直观、准确地识别出学习状态，可应用于实际教学管理中。

1 学习状态实时采集与动态分析方法

1.1　采集图像预处理

通过相机对课堂中学生的学习状态图像进行实时采集，得到的图像可能存在视觉效果较差的问题，因此，需要对采集到的学生学习状态图像进行图像增强操作，实现图像视觉效果的优化^［6］。

图像增强技术主要是通过处理采集的学生学习状态图像，将图像中无关的内容剔除，凸显出需要被检测的区域^［7］。学习状态图像增强的过程主要包括图像的膨胀和图像的腐蚀，分别表示为：

A\cdot B=\left\{a\left|\left[\left(B\right)c\bigcap A\right]\subseteq A\right.\right\}（1）

A\circ B=\left\{a\left|\left(B\right)c\subseteq A\right.\right\}（2）

式中：A、B、C为采集的学习状态图像分量，a\subseteq A，c\subseteq C；A\cdot B为学习状态图像扩大的过程，即分量B将分量A膨胀；A\circ B为学习状态图像缩小的过程，即分量B将分量A腐蚀^［8］。结合学习状态图像膨胀和腐蚀的过程，则得到开、闭操作的表达式表示为：

A\mathrm{{\rm O}}B=\left(A\circ B\right)\cdot B（3）

A\mathrm{\Theta }B=\left(A\cdot B\right)\circ B（4）

式中：A\mathrm{{\rm O}}B、A\mathrm{\Theta }B分别为开、闭操作，能够通过对图像进行处理，实现图像效果优化。以开、闭操作为基础，得到顶帽运算和黑帽运算表示为：

TH=A-\left(A\mathrm{{\rm O}}B\right)（5）

BH=\left(A\mathrm{\Theta }B\right)-A（6）

式中：TH、BH为顶帽运算和黑帽运算。顶帽运算表示相较于原图边界四周较亮的部分，通过对开操作减运算实现；黑帽运算则表示相较于原图边界四周较暗的部分，原始学习状态图像通过顶帽、黑帽运算后能够提升图像的效果，以达成视觉增强的目的^［9］，表示为：

x^{\text{'}}=x-TH\left(x\right)+BH\left(x\right)（7）

式中：x^{\text{'}}为增强后的学习状态图像。

针对图像增强后的学习状态图像，通过引入空间、时间约束到边界框回归和关键点定位中，实现了更加稳定的效果，通过对候选窗口其与上一帧边界框间的偏离程度进行预测，采用欧氏距离表示为：

l_i^{\mathrm{b}\mathrm{o}\mathrm{x}}={‖{g_i^{\mathrm{b}\mathrm{o}\mathrm{x}}}^{\mathrm{\text{'}}}-g_i^{\mathrm{b}\mathrm{o}\mathrm{x}}‖}_{\mathrm{2}}^{\mathrm{2}}（8）

式中：l_i^{\mathrm{b}\mathrm{o}\mathrm{x}}为欧氏距离损失；g_i^{\mathrm{b}\mathrm{o}\mathrm{x}}表示实际目标框；{g_i^{\mathrm{b}\mathrm{o}\mathrm{x}}}^{\mathrm{\text{'}}}为理想目标框。

在本文中将图像增强后的学习状态图像中的人脸目标检测过程视为回归问题，则待识别目标与前一帧图像中人脸关键点间欧氏距离表示为：

{l_i}^{\mathrm{c}\mathrm{r}\mathrm{u}\mathrm{x}}={‖{{g_i}^{\mathrm{c}\mathrm{r}\mathrm{u}\mathrm{x}}}^{\mathrm{\text{'}}}-{g_i}^{\mathrm{c}\mathrm{r}\mathrm{u}\mathrm{x}}‖}_{\mathrm{2}}^{\mathrm{2}}（9）

式中：{g_i}^{\mathrm{c}\mathrm{r}\mathrm{u}\mathrm{x}}为前一帧图像中人脸关键点实际坐标；{{g_i}^{\mathrm{c}\mathrm{r}\mathrm{u}\mathrm{x}}}^{\mathrm{\text{'}}}为其理想坐标。

通过得到的目标框和前一帧目标框间的关联性，判断是否在图像中存在所需的人脸，设当交并比大于0.7时，则认为能够有效检测出人脸，其中交并比是指检测框和实际框之间交集和并集的比值情况。

通过对增强后的图像中人脸目标进行检测，能够得到真正适用于后续分析的图像情况，对无关的图像进行筛选剔除。

1.2　基于卷积神经网络的学习状态图像特征提取

在实时采集学习状态的过程中，图像数据是一种直观且丰富的信息源。通过摄像头捕捉到的学习状态图像能够反映学生的面部表情、身体姿态以及注意力分布等重要信息。然而，原始的图像数据通常包含大量的冗余信息，且缺乏结构化的表征能力，难以直接用于学习状态的分析。

因此，采用卷积神经网络对1.1节预处理后的学习状态图像进行特征提取。卷积神经网络凭借其强大的图像处理能力，能够自动学习并提取图像中的关键特征，包括边缘、纹理、形状等，反映学生的专注度、兴趣程度以及情绪状态等。

通过卷积神经网络从处理后的学习状态图像中提取特征的过程为：

（1）卷积操作作为卷积神经网络中最重要的部分，通过卷积操作稀疏交互、参数共享的特征，能够对学习状态图像特征进行有效提取^［10］，该过程实质上是通过卷积核对处理后的图像进行卷积操作实现的，通过卷积操作，得到特征图，输出为：

y_i^k=\mathrm{R}\mathrm{e}\mathrm{L}\mathrm{U}\left({\omega }_j{x_j^{\text{'}}}^{k-\mathrm{1}}+{\delta }_j^k\right),j=\mathrm{1,2},\cdots ,M（10）

式中：i、j分别为第i、j卷积核实现的卷积操作；k为卷积层的层数；y_i^k、{\delta }_j^k分别为第i个卷积核在第k个卷积层的输出、偏置； {\omega }_j、{x_j^{\text{'}}}^{k-\mathrm{1}}分别为卷积核、第k-\mathrm{1}个卷积层的输入；{N_j}^{k-\mathrm{1}}、M、\mathrm{R}\mathrm{e}\mathrm{L}\mathrm{U}\left(\right)分别为k-\mathrm{1}个卷积层输出的学习状态图像特征图的数量、输出的特征数、ReLU函数。

原始学习状态图像的特征图y_j^k通过卷积操作实现提取过程，通过多层卷积操作能够实现对原始学习状态图像的更深层特征图进行提取，从而能够为后续的分析过程提供更有用的特征信息。

（2）在进行多层卷积操作的过程中，能够得到深层次原始学习状态图像的同时，特征图的数量也比较多，将特征图y_j^k输入池化层进行降维处理，能够实现从大量特征图中提取更具有代表性的特征图^［11］。池化操作通过最大池化方式实现，最大池化的过程如图1所示。

设池化窗口大小为p\times p、步长为s，特征图y尺寸为d\times d，则最终的特征图尺寸表示为\left[\left(d-p\right)/s+\mathrm{1}\right]\times \left[\left(d-p\right)/s+\mathrm{1}\right]，对其中元素y\left[i,j\right]进行最大池化，表示为：

（11）

式中：u为窗口横坐标；v为窗口纵坐标；si+u为特征图中相对应的横坐标；sj+v为特征图中相对应的纵坐标。

则通过式（11）能够得到输入特征图的子域中的最大值。

（3）为实现卷积神经网络的非线性能力增强，通过将最大池化后得到的结果输入全连接层中，在该层中，通过层间神经元得到最终的全连接层输出值^［12］，表示为：

q_{{\omega }_{\mathrm{1}},{\delta }_{\mathrm{1}}}\left(y\right)=f\left({\omega }_{\mathrm{1}}y[i,j]+{\delta }_{\mathrm{1}}\right)（12）

式中：q_{{\omega }_{\mathrm{1}},{\delta }_{\mathrm{1}}}\left(y\right)为输出；{\omega }_{\mathrm{1}}为全连接层间权值；{\delta }_{\mathrm{1}}为全连接层偏置；f\left(\right)为激活函数。通常情况下，设{\delta }_{\mathrm{1}}=\mathrm{0}，此时能够降低卷积神经网络的复杂度。

（4）设卷积神经网络最终输出层通过Softmax分类器实现，表示为：

q_{\alpha }=q_{{\omega }_{\mathrm{1}},{\delta }_{\mathrm{1}}}\left(y\right)e^{w_{\alpha }}/{\displaystyle \sum _{\alpha }^{\zeta }}{e}^{w_{\alpha }}（13）

式中：q_{\alpha }为输入分类器的学习状态特征图；\alpha为学习状态特征图的类别；\zeta为学习状态总类别数目。

通过上述过程，逐步从图像中提取出更高级别的特征，最终形成具有表征能力的深度特征图。这些深度特征图不仅包含图像中的局部信息，还融合了图像的全局结构信息，因此，能够更准确地代表学习者的学习状态。

1.3　基于长短期记忆网络的学习状态图像动态分析

尽管卷积神经网络在提取学习状态图像特征方面表现出色，但它们主要关注图像的静态信息，无法有效捕捉学习状态的动态变化。学习状态的动态变化是一个连续的过程，其中包含了学生的心理状态、学习进度以及与教学内容的互动等方面的信息。这些信息对全面理解学生的学习状态至关重要。

为了实现对学习状态的动态分析，引入长短期记忆网络，将1.2节中得到的学习状态特征图输入长短期记忆网络中，有效解决长序列数据处理时存在的梯度消失和梯度爆炸问题^［13］。通过引入门控机制，能够选择性地保留或遗忘历史信息，从而实现对学习状态动态变化的有效捕捉。

输入门I对输入的学习状态特征图进行确定，保留一部分学习状态特征图储存在单元状态中，表示为{\lambda }_t，其中主要包括当前输入中需要保存到单元状态的学习状态特征图I_t和添加到单元状态的输入产生的新学习状态特征图{{\lambda }_t}^{\mathrm{\text{'}}}。

在遗忘门F中，对需要丢弃的学习状态特征图舍弃^［14］，根据输入门和遗忘门，实现对学习状态特征图的保留和舍弃进行选择确定^［15］，通过输出门O输出结果。长短期记忆网络的结构图如图2所示。

由图2可知，长短期记忆网络各个部分的参数更新表示为：

o_{f_t}=S\mathrm{i}\mathrm{g}\mathrm{m}\mathrm{o}\mathrm{i}\mathrm{d}\left[{\omega }_{f_t}\left(h_{t-\mathrm{1}},q_t\right)+{\delta }_{f_t}\right]（14）

o_{i_t}=\mathrm{S}\mathrm{i}\mathrm{g}\mathrm{m}\mathrm{o}\mathrm{i}\mathrm{d}\left[{\omega }_{i_t}\left(h_{t-\mathrm{1}},q_t\right)+{\delta }_{i_t}\right]（15）

{{\lambda }_t}^{\mathrm{\text{'}}}=\mathrm{t}\mathrm{a}\mathrm{n}\mathrm{h}\left[{\omega }_{{{\lambda }_t}^{\mathrm{\text{'}}}}\left(h_{t-\mathrm{1}},q_t\right)+{\delta }_{{{\lambda }_t}^{\mathrm{\text{'}}}}\right]（16）

{\lambda }_t=o_{f_t}\times o_{f_{t-\mathrm{1}}}+o_{i_t}\times {{\lambda }_t}^{\mathrm{\text{'}}}（17）

o_{o_t}=\mathrm{S}\mathrm{i}\mathrm{g}\mathrm{m}\mathrm{o}\mathrm{i}\mathrm{d}\left[{\omega }_{o_t}\left(h_{t-\mathrm{1}},q_t\right)+{\delta }_{o_t}\right]（18）

h_t=o_{o_t}\times \mathrm{t}\mathrm{a}\mathrm{n}\mathrm{h}\left({\lambda }_t\right)（19）

式中：\mathrm{S}\mathrm{i}\mathrm{g}\mathrm{m}\mathrm{o}\mathrm{i}\mathrm{d}\left(\right)和\mathrm{t}\mathrm{a}\mathrm{n}\mathrm{h}\left(\right)为\mathrm{S}\mathrm{i}\mathrm{g}\mathrm{m}\mathrm{o}\mathrm{i}\mathrm{d}函数和tanh激活函数；{\omega }_{i_t}和{\delta }_{i_t}为输入门的权重和偏置；{\omega }_{f_t}和{\delta }_{f_t}为遗忘门的权重和偏置；{\omega }_{{{\lambda }_t}^{\mathrm{\text{'}}}}和{\delta }_{{{\lambda }_t}^{\mathrm{\text{'}}}}为单元状态的权重和偏置；{\omega }_{o_t}和{\delta }_{o_t}为单元状态的权重和偏置；q_t为输入长短期记忆网络中的学习状态的特征图；h_t为隐藏层的状态；{\lambda }_t为单元状态；o_{f_t}为遗忘门输出值；o_{i_t}为输入门输出值；o_{o_t}为输出门输出值；h_t为学习状态识别模型的最终输出。

通过上述过程，最终能够实现对采集的学习状态实时图像进行动态分析，识别出图像中的异常学习状态并进行分类。

2 实验验证

为验证本文方法实现学习状态实时采集与动态分析的有效性，以某市中学为研究对象，通过相机对该中学课堂上的学生学习状态图像进行采集，采用本文方法对采集的图像进行动态分析，识别出课堂上学生异常的学习状态，结果如图3所示。

设置卷积神经网络和长短期记忆网络的相关参数，如表1所示。

本文方法能够实现对采集的学习状态图像进行识别，并通过页面对识别的结果进行显示，以便教师以及教务人员进行直观的识别，具体的学生学习状态动态识别页面如图4所示。

由图4可知，本文方法能够实现对采集的实验课堂学习状态图像进行识别，对于识别出的学习状态为正常的情况，会自动用绿色的标识框标注出来，表示学生的学习状态稳定且符合预期；而对于识别出的学习状态为异常的情况，如学生注意力分散、行为异常等，则会以醒目的红色标识框进行警示，以便教师及时察觉并采取相应的教学措施。这种实时反馈的机制不仅有助于提升教师的教学效果，还能提升学生的学习质量，为教学领域提供良好的技术支持。

随机选取15张课堂学习状态的图像，通过将本文方法得到的结果与实际的状态情况进行对比，以验证本文方法实现学习状态识别的有效性，得到的对比情况如表2所示。

由表2可知，本文方法实现的学习状态识别情况与实际情况高度一致，针对异常学习状态中常出现的睡觉、注意力分散、交头接耳等行为，本文方法展现出了极高的识别准确率。这些异常学习状态往往会影响学生的学习效果，本文方法能够准确捕捉到这些行为，为教育工作者提供有力的工具，帮助他们更好地监控学生的学习状态，从而及时采取干预措施，提升学生的学习效率和质量。

为进一步验证本文方法实现实验课堂学习状态的效果，对不同课堂学习状态图像数据量下的稳定性情况进行研究，将本文方法与学习状态识别中常用的反向传递神经网络和随机森林方法实现的学习状态识别的稳定性效果进行对比，得到的对比结果如图5所示。

由图5可知，几种方法实现的学习状态识别的稳定性存在较大差异，相较于反向传递神经网络和随机森林方法，本文方法能够在较少的学习状态图像下达到较高的识别稳定性，意味着该种方法在实际应用中遇到的学习状态图像不足的情况下，依然具有良好的学习状态识别效果，证明了本文方法具有高效且稳定的学习状态识别能力，在学习状态识别领域具有显著的优势和潜力。

通过本文方法实现实验课堂异常学习状态的识别，通过相关教务人员对异常状态行为进行教育，以实现对学生异常状态进行纠正，统计两个学期内实验课堂的学生异常状态次数和月考平均成绩情况，其中上半学期为未使用本文方法的情况，下半学期为使用本文方法的情况，对比结果如图6所示。

由图6可知，在使用本文方法前后，最终的结果存在较大差异，在未使用本文方法时，月课堂异常行为次数均高于60次，月考平均成绩在70分以下；在使用本文方法后，通过相关教务人员的纠正，月课堂异常行为次数均低于10次，月考平均成绩在80分以上，学生存在的异常状态次数有效减少，学生月考成绩得到有效提升。验证了本文方法在减少学生异常行为次数、提升学生学习成绩方面取得了显著的效果，在教学领域具有重要的意义。

3 结束语

在教育领域，实现学习状态实时采集与动态分析能够对课堂上学生的学习状态进行较为精准的识别，通过将结果反馈至相关教务人员，其可以对学生学习中的异常状态采取相应的措施进行干预，从而实现学生成绩的提升。本文提出一种基于混合智能的学习状态实时采集与动态分析方法，能够实现高效且稳定的学习状态识别，为教育管理工作提供了一种良好的技术支持。

参考文献

[1] 姜雨辰, 何赫, 刘涛, 等. 基于人工智能的图书馆学生学习状态监测技术研究[J]. 电子器件, 2023, 46(4): 1070-1074.

[2] Jiang Yu-chen, He He, Liu Tao, et al. Research on student learning state monitoring technology for library based on artificial intelligence[J]. Electronic Devices, 2023, 46(4): 1070-1074.

[3] 林铭炜, 许江松, 林佳胤, 等.面向在线教育的学习者情感识别综述[J]. 控制与决策, 2024, 39(4): 1057-1074.

[4] Lin Ming-wei, Xu Jiang-song, Lin Jia-yin, et al. A review of emotion recognition of learners for online education[J]. Control and Decision, 2024, 39(4): 1057-1074.

[5] 王涛春, 邱庆, 王成田, 等. LD-identify:基于无源RFID的网络学习状态识别[J]. 控制与决策, 2024, 39(1): 219-226.

[6] Wang Tao-chun, Qiu Qing, Wang Cheng-tian, et al. LD-identify:network learning state recognition based on passive RFID[J]. Control and Decision,2024, 39(1): 219-226.

[7] 苏悦, 杨春金, 王建霞. 基于表情识别技术的学生课堂状态检测[J]. 河北工业科技, 2022, 39(5): 396-403.

[8] Su Yue, Yang Chun-jin, Wang Jian-xia. Detection of students' classroom states based on expression recognition technology[J]. Hebei Industry Science and Technology,2022,39(5):396-403.

[9] Chen Z, Liang M, Xue Z,et al.STRAN: student expression recognition based on spatio-temporal residual attention network in classroom teaching videos[J].Applied Intelligence: The International Journal of Artificial Intelligence, Neural Networks, and Complex Problem-Solving Technologies,2023,53(21):25310-25329.

[10] 刘劲, 罗晓曙, 徐照兴. 权重推断与标签平滑的轻量级人脸表情识别[J]. 计算机工程与应用, 2024, 60(2): 254-263.

[11] Liu Jin, Luo Xiao-shu, Xu Zhao-xing. Weight inference and label smoothing for lightweight facial expression recognition[J]. Computer Engineering and Applications, 2024, 60(2): 254-263.

[12] 顾文娟, 丁灿, 魏金, 等.基于双边滤波MSR与AutoMSRCR融合的低光照图像增强[J]. 光学精密工程, 2023, 31(24): 3606-3617.

[13] Gu Wen-juan, Ding Can, Wei Jin, et al. Low-light image enhancement based on the fusion of bilateral filter MSR and AutoMSRCR[J]. Optics and Precision Engineering, 2023, 31(24): 3606-3617.

[14] 李国民, 邵姮, 朱代先, 等. 改进同态滤波与多尺度融合的腐蚀图像增强[J]. 电子测量技术, 2023, 46(13): 118-123.

[15] Li Guo-min, Shao Heng, Zhu Dai-xian, et al. Improved homomorphic filtering and multiscale fusion for corroded image enhancement[J]. Electronic Measurement Technology, 2023, 46(13): 118-123.

[16] 刘波, 田广粮, 肖斌, 等. 利用自适应光照初始化的弱光图像增强方法[J]. 电子与信息学报, 2024, 46(2): 643-651.

[17] Liu Bo, Tian Guang-liang, Xiao Bin, et al. Low light image enhancement with adaptive light initialization[J]. Journal of Electronics & Information Technology, 2024, 46(2): 643-651.

[18] 杜芳芳, 王福忠, 高继梅. 空洞卷积网络下微表情实时识别方法仿真[J]. 计算机仿真, 2023, 40(7):172-175, 461.

[19] Du Fang-fang, Wang Fu-zhong, Gao Ji-mei. Simulation of real-time recognition method of microexpression under empty convolution network[J]. Computer Simulation, 2023, 40(7): 172-175, 461.

[20] 云涛, 潘泉, 郝宇航, 等. 基于HRRP时频特征和多尺度非对称卷积神经网络的目标识别算法[J]. 西北工业大学学报, 2023, 41(3): 537-545.

[21] Yun Tao, Pan Quan, Hao Yu-hang, et al. Target recognition algorithm based on HRRP time-spectrogram feature and multi-scale asymmetric convolutional neural network[J]. Journal of Northwestern Polytechnical University, 2023, 41(3): 537-545.

[22] 任艳丽, 余凌赞, 何港, 等. 一种隐私保护的卷积神经网络预测方案[J]. 计算机学报, 2023, 46(8): 1606-1619.

[23] Ren Yan-li, Yu Ling-zan, He Gang, et al. A scheme of privacy-preserving convolutional neural network prediction[J]. Chinese Journal of Computers,2023, 46(8): 1606-1619.

[24] 冒鑫鑫, 吴胜昔, 咸博龙, 等.基于骨架的自适应图卷积和LSTM行为识别[J]. 华东理工大学学报: 自然科学版, 2022, 48(6): 816-825.

[25] Mao Xin-xin, Wu Sheng-xi, Xian Bo-long, et al. Adaptive graph convolution and LSTM action recognition based on skeleton[J]. Journal of East China University of Science and Technology(Natural Science Edition), 2022, 48(6): 816-825.

[26] 柳长源, 李文强, 毕晓君. 基于RCNN-LSTM的脑电情感识别研究[J]. 自动化学报, 2022, 48(3): 917-925.

[27] Liu Chang-yuan, Li Wen-qiang, Bi Xiao-jun. Research on EEG emotion recognition based on RCNN-LSTM[J]. Acta Automatica Sinica, 2022, 48(3):917-925.

[28] 余金锁, 卢先领. 基于分割注意力的特征融合CNN-Bi-LSTM人体行为识别算法[J]. 电子测量与仪器学报, 2022, 36(2): 89-95.

[29] Yu Jin-shuo, Lu Xian-ling. Human action recognition algorithm of feature fusion CNN-Bi-LSTM based on split-attention[J]. Journal of Electronic Measurement and Instrumentation, 2022, 36(2): 89-95.

基金资助

国家自然科学基金项目(61702093)