基于大小语言模型协同的评教文本方面级情感分析模型

A Collaborative Approach for Aspect-Level Teaching Evaluation Texts Based on Large and Small Language Models

摘要

利用方面级情感分析方法对学生评教文本进行分析，对于促进教学质量的提升具有重要意义。现有的方面级情感四元组抽取方法主要包括基于判别式的方法和基于生成式的方法，然而基于判别式的方法未充分考虑方面级情感元素之间的关联语义，基于生成式的方法过于依赖模板质量，在理解隐式情感方面仍有改进的空间。针对上述问题，提出一种基于大小语言模型协同的评教文本方面级情感分析模型，该模型通过基于大语言模型的推理策略对评价文本进行深层次的语义理解和隐式情感推理，将模糊情感明晰化，以增强模型对于隐式情感的识别能力；接着设计了基于小模型的双层交互策略，通过浅层次和深层次交互充分捕捉上下文信息，实现评教文本中隐式情感的细粒度分析。实验结果表明，在Laptop、Restaurant公共数据集以及自构建的教学评价数据集中，该模型相较于最优对比模型的F1分别提高了0.24、0.60和1.05个百分点。此外，通过一系列消融实验和对比实验进一步验证了该方法的有效性。

Abstract

Using aspect-based sentiment analysis methods to analyze student evaluation texts is of significant importance for promoting the improvement of teaching quality. Existing aspect-based sentiment analysis methods include discriminative-based methods and generative-based methods. However, discriminative-based methods do not fully consider the associative semantics between aspect-level sentiment elements, while generative methods are overly dependent on template quality and still have room for improvement in understanding implicit sentiments. To address these issues, we propose a collaborative approach for aspect-level teaching evaluation texts based on large and small models. This model uses reasoning strategies based on large language models to deeply understand the semantics of evaluation texts and reason about implicit emotions, clarifying ambiguous emotions to enhance the model's ability to identify implicit emotions. Subsequently, we propose a dual-level interaction strategy based on small models, which fully captures contextual information through shallow-level and deep-level interactions, achieving fine-grained analysis of implicit emotions in teaching evaluation texts. The experimental results demonstrate that on the Laptop, Restaurant public datasets and self-constructed teaching evaluation text dataset, the F1 values of this model are 0.24, 0.60 and 1.05 percentage points higher than the optimal baseline model, respectively. A series of ablation and comparison experiments further confirm the method's effectiveness.

Graphical abstract

关键词

学生评教文本 / 方面级情感分析 / 大小语言模型协同 / 深度学习 / 隐式情感

Key words

student evaluation texts / aspect-based sentiment analysis / collaboration of large and small models / deep learning / implicit emotion

0　 引 言

学生教学评价是教学活动的重要组成部分，对于改进教师教学、保障教学质量具有重要意义。2020年中共中央、国务院印发的《深化新时代教育评价改革总体方案》（http://www.moe.gov.cn/jyb_xxgk/moe_1777/moe_1778/202010/t20201013_494381.html,2020-10-13）指出要建立以学生评价等为主体的全链条多维度教学质量反馈机制，利用人工智能、大数据等现代信息技术深化教育评价改革。然而，学校内普遍缺乏学生评教文本处理机制^[1]，教师和学生认为学生评教的实际效用有限，难以切实达到以评促教的目的^[2]。因此，如何利用人工智能技术对教学评价文本进行深入分析以精确诊断教学质量、推动以评促教，是当前教育研究的热点和难点。

随着人工智能技术的发展，情感分析任务在教学评价文本分析中展现出巨大潜力。情感分析是指对文本中所包含的情感倾向进行分析，包括粗粒度情感分析和细粒度情感分析^[3]。现有的教评文本情感分析以粗粒度情感分析为主^[4]，例如，Tseng等^[5]、孔繁钰等^[6]通过改进LSTM对大学生教学评价中的句子级情感信息进行判断和分类。然而，该类方法难以处理具有多种情感倾向的教学评价，且分析结果的应用价值有限。与传统的粗粒度情感分析任务相比，细粒度情感分析即方面级情感分析，需要针对文本中具体方面进行精准的分类和识别。其中方面情感四元组抽取能够充分挖掘文本中的词级情感信息，并提取方面词、情感词、方面类别和情感极性四元组。例如，对于句子“上课非常认真”，其对应的四元组为（上课,认真,教学态度,积极）。其中“上课”和“认真”对应提取的方面词和情感词，“教学态度”和“积极”对应方面类别和情感极性。该类方法能够充分挖掘句子中的细粒度情感，然而目前鲜有针对评教文本进行方面级情感分析的相关研究。

现有方面情感四元组抽取方法主要分为基于判别式的方法和基于生成式的方法^[7]。基于判别式的方法^[8]通过将任务分解为多个步骤提取四元组。该类方法依赖于前一个任务的输出，易受到错误传播的影响，并且任务间相互独立，难以捕捉元素间的复杂特征交互。基于生成式的方法^[9-12]是指利用T5等预训练生成模型或GPT等大语言模型通过设计各种模板或数据增强机制预测四元组。然而，该类方法在很大程度上依赖于模板的质量，且现有的多模板组合的方法会大幅增加计算资源和时间的消耗，并且在理解隐式情感方面仍有改进的空间。在真实教学评价文本中，包含大量隐式情感，例如“课上总是能听到老师的众多观点，但大多跟课程主题不太相关。”中不包含的明显的负面情感词，但整体表达了学生对于教师上课讲授与主题方面的不满。除此之外，在教学评价中学生会用一些反讽的方式进行表达，通过显示的情感词表达相反的含义，例如“要是能有趣一点就好了”中“有趣”代表消极的含义。因此，探究如何增强模型对文本中隐式情感的理解能力，对于准确捕捉和解析学生的真实情感倾向是至关重要的。

为了解决以上问题，本文提出了一种基于大小语言模型协同的评教文本方面级情感分析模型(Collaborative Approach Based on Large and Small Language Models，CO-LSM)。本文的主要贡献如下： 1） 针对现有方法对隐式情感的感知能力不足的问题，设计了基于大语言模型的隐式情感增强策略，对评价文本进行深层次的语义理解和隐式情感推理； 2） 针对现有方法未充分考虑方面级情感元素之间的关联语义的问题，设计了基于小模型的双层交互策略，通过浅层和深层交互充分捕捉评教文本的上下文信息； 3） 针对现有教学评价文本分析语义解析粒度不足的问题，提出大小语言模型协同的方面四元组抽取框架，以全面挖掘学生评教文本中蕴含的信息，及时为教学改进提供反馈意见，实现教师个性化服务，促进教育评价的科学化、规范化和智能化。

1　 相关工作

学生教学评价是指学生以自己的知识、经验评判教师教学水平和质量，其对象是以教师为载体的教学属性和质量^[13]。传统的评价侧重于对内容、方法、组织管理等评价工作本身的要素进行规制，而不重视评价结果的处理、保存和使用，存在评教结果不公开、缺乏实质性反馈等情况^[14]。部分学校利用SPSS和数据库进行数据挖掘和数据分析，从而发现教育和教学规律^[15-16]，但上述方法难以帮助教师进行个性化实时反馈。随着自然语言处理的快速发展，自动分析学生评教文本成为了可能。现有自动化教学评价文本分析方法可以分为基于机器学习的方法和基于深度学习的方法。基于机器学习的方法通过支持向量机、随机森林等传统机器学习方法对句子级情感进行分类。例如，Lin等^[17]使用机器学习模型和多词汇特征来对学生评论文本的句子级情感进行分类。然而，该类方法对复杂语境的理解能力有限，可扩展性差且泛化能力不足。基于深度学习的教学评价方法是指通过循环神经网络等方法对句子级的文本情感进行分类。例如，Onan等^[18]采用基于RNN（Recurrent Neural Network）模型对教师评估评论进行意见挖掘，准确率优于传统机器学习方法。为了充分捕捉句子上下文信息，孔繁钰等^[6]通过改进LSTM对大学生教学评价的情感信息进行判断和分类，解决了传统深度学习模型特征提取能力不足的问题。为了进一步提升任务精度，吴奇林等^[19]利用混合特征网络对学生评教文本进行情感分类。虽然基于深度学习的方法在泛化能力和分类精度上显著优于传统机器学习方法，但二者均针对句子级情感进行分析，导致语义解析粒度不足，难以满足教师教学需求。

方面级情感分析是更细粒度的情感分析任务，包括二元组提取^[20-21]、三元组提取^[22-24]和四元组提取^[25]。相比于二元组提取和三元组提取任务，四元组提取能够获取更多的词级文本信息。目前四元组抽取主要包括基于判别式的方法和基于生成式的方法。其中，Cai等^[8]提出基于判别式的方法，通过将四元组预测任务分解为多个步骤，再通过分类模块预测情感元素。彭文忠等^[7]通过提示学习先预测方面类别和情感类别，再通过基于完型填空的方式预测方面词和情感词，进一步提升了模型的准确率，但该类方法易受到错误传播的影响。Zhang等^[25]提出了一种基于生成的方法，通过大语言生成模型直接对方面情感四元组进行抽取，以降低错误传播的影响。为了进一步探究模板数量对生成模型的影响，Hu等^[11]通过组合多个模板进行数据增强提高模型效果。接着，Gou等^[12]提出了MvP（Multi-view Prompting）模型，通过引导语言模型生成多个情感元组，聚合不同顺序生成的情感元素，再通过投票选择最合理的元组。基于生成式方法显著提高了四元组预测效果，但在很大程度上依赖于模板的质量，且现有的多模板组合的方法会大幅增加计算资源和时间的消耗。然而评教文本中存在大量的隐式情感，目前关于隐式情感分析的研究主要通过模型学习隐式情感的上下文表示。例如，Wang等^[26]通过识别句子与情感之间的因果关系，建立了隐式情感的因果表征，然而从实体或相邻句子的分布中获得的上下文信息并不充分。Cui等^[27]通过对比学习和超图从显式句子中挖掘意见以帮助内隐情感分类。上述方法虽然取得了较好的效果，但没有充分利用大语言模型在理解能力上的优势。随着大语言模型的发展，部分研究者探索通过大语言模型进行增强。例如，刘御等^[28]通过大语言模型情感增强和图卷积神经网络进行方面三元组抽取，但目前仍缺乏适用于方面情感四元组的大语言模型隐式情感增强策略的探索。因此探究如何利用大语言模型增强四元组抽取模型对文本中隐式情感的理解能力，以准确捕捉和解析学生的真实情感倾向是至关重要的。

综上所述，目前学生评教存在分析机制异化、语义解析粒度不足的问题；现有的方面四元组抽取方法未充分考虑方面情感分析中四元组元素之间的关联语义，并且关于方面情感四元组的隐式情感分析仍有改进空间。因此本文运用大小语言模型协同方法对评教文本进行方面级情感分析，通过大模型强大的语境理解和推理能力识别和转化文本中的隐式情感表达，并通过小模型的双层次特征交互模块进一步捕捉文本中的上下文信息和元素间复杂的关联关系，增强了模型对隐式情感的理解能力。

2　 本文模型

基于大小语言模型协同的评教文本方面级情感分析模型主要由基于大语言模型的隐式情感增强策略模块和双层次特征交互网络模块组成，如图1所示。其中，基于大语言模型的隐式情感增强策略将大语言模型的外部知识进行引入，弥补小语言模型在理解上的缺陷；双层次特征交互模块用于增强模型对上下文信息和元素间关联的理解能力。最后通过四元组解码层输出预测结果。

2.1　问题定义

给定一个文本S\in \left\{\left.w_{\mathrm{1}},w_{\mathrm{2}},\cdots ,w_n\right\}\right.，方面情感分析的目标是识别并提取方面词\mathrm{a}\mathrm{t}、情感词\mathrm{o}\mathrm{t}、方面类别\mathrm{a}\mathrm{c}和情感极性\mathrm{s}\mathrm{p}。

Q=\left\{{\left.\mathrm{a}\mathrm{t},\mathrm{o}\mathrm{t},\mathrm{a}\mathrm{c},\mathrm{s}\mathrm{p}\right\}}_m^{}\right.（1）

其中，情感极性\mathrm{s}\mathrm{p}\in \left\{\left.\mathrm{积极},\mathrm{消极},\mathrm{中性}\right\}\right.，m是句子中的四元组数量。

2.2　基于大语言模型的隐式情感增强策略

在自然语言处理领域，大语言模型如ChatGPT展示了卓越的上下文理解能力。该类模型生成的额外知识为评价文本提供了更丰富的上下文语义和背景信息，使得模型不仅能够捕捉表层含义，而且能理解潜在的情感倾向和语境影响。本文采用GPT-3.5-turb大语言模型具有的提示响应和因果推理能力，针对方面情感分析任务特点优化提示设计，以提高方面词和显示情感词的生成质量。其中，因果推理是指引导模型在找出句子中包含的方面词和情感词前进行相应的推理和解释。该策略能够更好地引导模型理解文本各元素之间的内在联系，进而有效提升模型最终生成结果的质量，使其更加符合实际的语义和情感逻辑。其次通过大语言模型编码层，将提示词和文本转换为模型可识别的输入序列，并输入到大语言模型解码层进行解码，生成大语言模型推理后的结果。最后将大语言模型生成的额外知识与原始句子整合，生成一个新的文本S^{\text{'}}=\left\{\left.{w_{\mathrm{1}}}^{\mathrm{\text{'}}},{w_{\mathrm{2}}}^{\mathrm{\text{'}}},\dots ,{w_k}^{\mathrm{\text{'}}}\right\}\right.。该句子融合了大语言模型提供的语义和情感信息，为后续的方面情感分析任务提供了更全面的文本表示，其计算公式如下：

S^{\text{'}}=\mathrm{L}\mathrm{L}\mathrm{M}\left(S,\mathrm{p}\mathrm{r}\mathrm{o}\mathrm{m}\mathrm{p}\mathrm{t}\right)（2）

其中，\mathrm{p}\mathrm{r}\mathrm{o}\mathrm{m}\mathrm{p}\mathrm{t}指对大模型进行引导的提示词，\mathrm{L}\mathrm{L}\mathrm{M}指大语言模型。

2.3　双层次特征交互网络

在方面四元组抽取中，方面词和情感词均来自于原始文本，而方面类别和情感极性需要基于方面词和情感词间的语义关系以及上下文进行分析和判断。为了更有效地捕捉句子中的上下文信息，本文通过浅层交互网络分别获取“方面词-情感词-情感极性”和“方面词-情感词-方面类别”的上下文特征，接着通过深层交互网络模块将两个任务的特征进行互相补充，以增强模型的上下文表示能力。

首先本文使用BERT作为句子编码器，提取新句子S^{\text{'}}的上下文表示，计算公式如下：

\mathit{H}=\mathrm{B}\mathrm{E}\mathrm{R}\mathrm{T}\left(\left[\mathrm{C}\mathrm{L}\mathrm{S}\right]+{w_{\mathrm{1}}}^{\mathrm{\text{'}}},{w_{\mathrm{2}}}^{\mathrm{\text{'}}},\dots ,{w_k}^{\mathrm{\text{'}}}+\left[\mathrm{S}\mathrm{E}\mathrm{P}\right]\right)（3）

其中，\mathrm{B}\mathrm{E}\mathrm{R}\mathrm{T}\left(•\right)表示编码模型，\left[\mathrm{C}\mathrm{L}\mathrm{S}\right]和\left[\mathrm{S}\mathrm{E}\mathrm{P}\right]是句子标识符。其次通过浅层交互网络分别获取两个任务的上下文表示。为了降低特征混淆的风险并更好地表示特征，本文采用并行编码使用不同的多层感知器（MLPs）为各个子任务获取特定任务的表示，公式如下：

{\mathit{H}}^{\mathrm{a}\mathrm{t},\mathrm{o}\mathrm{t}}=\mathrm{M}\mathrm{L}{\mathrm{P}}_{\mathrm{1}}\left(\mathit{H}\right)（4）

{\mathit{H}}^{\mathrm{a}\mathrm{c}}=\mathrm{M}\mathrm{L}{\mathrm{P}}_{\mathrm{2}}\left(\mathit{H}\right)（5）

{\mathit{H}}^{\mathrm{s}\mathrm{p}}=\mathrm{M}\mathrm{L}{\mathrm{P}}_{\mathrm{3}}\left(\mathit{H}\right)（6）

其中，{\mathit{H}}^{\mathrm{a}\mathrm{t},\mathrm{o}\mathrm{t}}表示方面词和情感词特征，{\mathit{H}}^{\mathrm{a}\mathrm{c}}表示方面类别特征，{\mathit{H}}^{\mathrm{s}\mathrm{p}}表示情感类别特征。获取子任务表示后，引入矩阵\mathit{D}表示相对距离嵌入，并将其与子任务表示结合作为\mathrm{3}\times \mathrm{3}卷积层的输入，获得子任务的共享特征表示，其计算公式如下：

{\mathit{H}}^{\mathrm{a}\mathrm{t}.\mathrm{o}\mathrm{t}\to \mathrm{a}{\mathrm{c}}_{\mathrm{s}\mathrm{h}\mathrm{a}\mathrm{r}\mathrm{e}}}=\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}\mathrm{2}d\left(\left[{\mathit{H}}^{\mathrm{a}\mathrm{t},\mathrm{o}\mathrm{t}};{\mathit{H}}^{\mathrm{a}\mathrm{c}};\mathit{D}\right]\right)（7）

{\alpha }^{\mathrm{a}\mathrm{t}.\mathrm{o}\mathrm{t}\to \mathrm{a}\mathrm{c}}=\mathrm{S}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}\left(\mathrm{F}\mathrm{F}\mathrm{N}\mathrm{N}\left({\mathit{H}}^{\mathrm{a}\mathrm{t}.\mathrm{o}\mathrm{t}\to \mathrm{a}{\mathrm{c}}_{\mathrm{s}\mathrm{h}\mathrm{a}\mathrm{r}\mathrm{e}}}\right)\right)（8）

{\beta }^{\mathrm{a}\mathrm{c}\to \mathrm{a}\mathrm{t},\mathrm{o}\mathrm{t}}=\mathrm{S}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}\left(\mathrm{F}\mathrm{F}\mathrm{N}\mathrm{N}\left({{\mathit{H}}^{\mathrm{a}\mathrm{t},\mathrm{o}\mathrm{t}\to \mathrm{a}{\mathrm{c}}_{\mathrm{s}\mathrm{h}\mathrm{a}\mathrm{r}\mathrm{e}}}}^{\mathrm{T}}\right)\right)（9）

其中，{\mathit{H}}^{\mathrm{a}\mathrm{t}.\mathrm{o}\mathrm{t}\to \mathrm{a}{\mathrm{c}}_{\mathrm{s}\mathrm{h}\mathrm{a}\mathrm{r}\mathrm{e}}}表示方面词-情感词到方面类别的共享表示，\mathrm{F}\mathrm{F}\mathrm{N}\mathrm{N}是前馈神经网络，{\alpha }^{\mathrm{a}\mathrm{t}.\mathrm{o}\mathrm{t}\to \mathrm{a}\mathrm{c}}和{\beta }^{\mathrm{a}\mathrm{c}\to \mathrm{a}\mathrm{t},\mathrm{o}\mathrm{t}}分别表示方面词-情感词到方面类别的注意力和方面类别到方面词-情感词的注意力。接着通过协同注意力机制捕获上下文信息获得新的特征表示，其计算公式如下：

g_i^{\mathrm{a}\mathrm{t},\mathrm{o}\mathrm{t}}=h_i^{\mathrm{a}\mathrm{t},\mathrm{o}\mathrm{t}}+{\displaystyle \sum _{j=\mathrm{1}}^n}{\alpha }_{ij}^{\mathrm{a}\mathrm{c}}{h}_j^{\mathrm{a}\mathrm{c}}（10）

g_i^{\mathrm{a}\mathrm{c}}=h_i^{\mathrm{a}\mathrm{c}}+{\displaystyle \sum _{j=\mathrm{1}}^n}{\beta }_{ij}^{\mathrm{a}\mathrm{c}}{h}_j^{\mathrm{a}\mathrm{t},\mathrm{o}\mathrm{t}}（11）

其中g_i^{\mathrm{a}\mathrm{t},\mathrm{o}\mathrm{t}}表示新的方面词-情感词特征表示，g_i^{\mathrm{a}\mathrm{c}}表示新的方面类别特征表示。类似地，{\mathit{H}}^{\mathrm{a}\mathrm{t},\mathrm{o}\mathrm{t}}和{\mathit{H}}^{\mathrm{s}\mathrm{p}}向量在经过浅层交互后，得到新的方面词-情感词特征表示{g_i^{\mathrm{a}\mathrm{t},\mathrm{o}\mathrm{t}}}^{\mathrm{\text{'}}}和新的情感极性特征表示g_i^{\mathrm{s}\mathrm{p}}。通过浅层交互网络捕获到语义级别的关联后，本文利用深层次交互网络对任务级别的关联进行建模。通过协同注意力机制实现“方面词-情感词-情感极性”和“方面词-情感词-方面类别”两个任务之间的信息共享，增强模型的上下文理解能力，其计算公式如下：

{\mathit{H}}^{\mathrm{a}\mathrm{c}\to \mathrm{s}{\mathrm{p}}_{\mathrm{s}\mathrm{h}\mathrm{a}\mathrm{r}\mathrm{e}}}=\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}\mathrm{2}d\left(\left[g^{\mathrm{a}\mathrm{c}};g^{\mathrm{s}\mathrm{p}};\mathit{D}\right]\right)（12）

{\alpha }^{\mathrm{a}\mathrm{c}\to \mathrm{s}\mathrm{p}}=\mathrm{S}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}\left(\mathrm{F}\mathrm{F}\mathrm{N}\mathrm{N}\left({\mathit{H}}^{\mathrm{a}\mathrm{c}\to \mathrm{s}{\mathrm{p}}_{\mathrm{s}\mathrm{h}\mathrm{a}\mathrm{r}\mathrm{e}}}\right)\right)（13）

{\beta }^{\mathrm{s}\mathrm{p}\to \mathrm{a}\mathrm{c}}=\mathrm{S}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}\left(\mathrm{F}\mathrm{F}\mathrm{N}\mathrm{N}\left({{\mathit{H}}^{\mathrm{a}\mathrm{c}\to \mathrm{s}{\mathrm{p}}_{\mathrm{s}\mathrm{h}\mathrm{a}\mathrm{r}\mathrm{e}}}}^{\mathrm{T}}\right)\right)（14）

{g_i^{\mathrm{a}\mathrm{c}}}^{\mathrm{\text{'}}}=h_i^{\mathrm{a}\mathrm{c}}+{\displaystyle \sum _{j=\mathrm{1}}^n}{\alpha }_{ij}^{\mathrm{a}\mathrm{c}\to \mathrm{a}\mathrm{p}}{h}_j^{\mathrm{s}\mathrm{p}}（15）

{g_i^{\mathrm{s}\mathrm{p}}}^{\mathrm{\text{'}}}=h_i^{\mathrm{s}\mathrm{p}}+{\displaystyle \sum _{j=\mathrm{1}}^n}{\beta }_{ij}^{\mathrm{s}\mathrm{p}\to \mathrm{a}\mathrm{p}}{h}_j^{\mathrm{a}\mathrm{c}}（16）

其中，{\alpha }_{ij}^{\mathrm{a}\mathrm{c}\to \mathrm{a}\mathrm{p}}表示方面类别到方面词-情感词的注意力，{\beta }_{ij}^{\mathrm{s}\mathrm{p}\to \mathrm{a}\mathrm{p}}表示情感极性到方面词-情感词的注意力，{g_i^{\mathrm{a}\mathrm{c}}}^{\mathrm{\text{'}}}是方面类别的最终特征表示，g_i^{\mathrm{s}\mathrm{p}}是情感极性的最终特征表示。方面词-情感词的最终特征表示{g_i^{\mathrm{a}\mathrm{t},\mathrm{o}\mathrm{t}}}^{\mathrm{\text{'}}\mathrm{\text{'}}}由g_i^{\mathrm{a}\mathrm{t},\mathrm{o}\mathrm{t}}和{g_i^{\mathrm{a}\mathrm{t},\mathrm{o}\mathrm{t}}}^{\mathrm{\text{'}}}相加得到，其计算公式如下：

{g_i^{\mathrm{a}\mathrm{t},\mathrm{o}\mathrm{t}}}^{\mathrm{\text{'}}\mathrm{\text{'}}}=g_i^{\mathrm{a}\mathrm{t},\mathrm{o}\mathrm{t}}+{g_i^{\mathrm{a}\mathrm{t},\mathrm{o}\mathrm{t}}}^{\mathrm{\text{'}}}（17）

最后通过四元组解码层将四元组抽取任务作为表填充问题，即使用二维表格分别预测方面词-情感词、方面类别和情感极性标签，获取模型预测结果。通过使用Sigmoid函数获得每个元组的概率分布，其计算公式如下：

P\left(t\left|x_i,\right.x_j\right)=\mathrm{S}\mathrm{i}\mathrm{g}\mathrm{m}\mathrm{o}\mathrm{i}\mathrm{d}\left(W_b\delta \left(W_a{u}_{ij}^t+b_a\right)+b_b\right)（18）

其中，t为方面词-情感词任务或方面类别任务或情感极性任务，W_a和W_b是可学习参数，b_a和b_b是偏置，u_{ij}^t是指将特定于任务t的表示g^t与共享表示h^t进行连接，i和j分别表示词的起始和结束位置，\delta (\cdot )表示激活函数。为了衡量模型预测与实际标签之间的差异，本文采用交叉熵损失函数进行计算，最终损失函数表示如下：

L={\lambda }_{\mathrm{1}}{L}_{\mathrm{a}\mathrm{t},\mathrm{o}\mathrm{t}}+{\lambda }_{\mathrm{2}}{L}_{\mathrm{a}\mathrm{c}}+{\lambda }_{\mathrm{3}}{L}_{\mathrm{s}\mathrm{p}}（19）

其中，L_{\mathrm{a}\mathrm{t},\mathrm{o}\mathrm{t}}是方面词和情感词任务的损失，L_{\mathrm{a}\mathrm{c}}是方面类别任务的损失，L_{\mathrm{s}\mathrm{p}}是情感极性任务的损失，当{\lambda }_{\mathrm{1}}、{\lambda }_{\mathrm{2}}和{\lambda }_{\mathrm{3}}分别取0.25、0.25和0.5时模型表现良好。

3　 实验结果及其分析

3.1　数据集设置

为了验证本文提出模型的有效性，本文在Laptop数据集、Restaurant数据集和自构建的教学评价文本数据集（Teaching Evaluation Text Dataset，TETD）上进行实验，数据分布如表1所示。其中，Restaurant为餐厅评论数据集，Laptop为笔记本电脑评论数据集，TETD为自构建的教学评价数据集。TETD数据集采用H大学的真实评教文本数据，根据李建龙等^[29]设计的学生评教指标对教师教学方面进行方面类别划分，包含教学态度、教学内容、教学方法、教学效果和教学能力5项评价指标。并在标注过程中邀请两位数据标注专家进行双盲标注，以减少主观标注偏差，提高标注数据的质量。

3.2　评价指标及实验设置

为综合评估算法性能，本文采用精确率（P)、召回率(R)和F\mathrm{1}值作为评估指标。F\mathrm{1}值综合考虑了模型预测为正类中实际为正类的比例以及实际为正类的样本中被正确预测为正类的比例，也是方面情感四元组抽取任务的核心评估指标。

本文实验基于PyTorch 1.11.0框架和Python 3.8环境，在NVIDIA GeForce RTX 3090 GPU上实现。针对Restaurant和Laptop英文数据集，采用bert-base-uncased编码器和Adam优化器构建本文框架，使用50个epoch进行训练，批量大小为4，初始学习率设为1E-5，dropout设置为0.3。针对中文TETD数据集，使用bert-base-chinese实现本文方法和基于判别式的方法，使用t5-base-chinese实现基于生成的方法。除此之外，本文方法的超参数与英文数据集上的设置相似，但初始学习率设为1E-4，其他对比方法的超参数与原文献实验配置相同。

3.3　对比实验结果

本文在三个数据集上与基于判别式的方法和基于生成的方法进行对比实验，实验结果显示本文提出的CO-LSM模型在核心评估指标F1值上取得了最好的效果，如表2所示。与基于判别式的方法相比，去除大语言模型增强模块后的CO-LSM（CO-LSM w/o LG）相较于目前最先进的判别式模型DC-ASQP^[7]的F\mathrm{1}值分别提高了2.12和8.26个百分点，这是由于基于判别式的方法通过多阶段预测存在误差传播，而本文提出的模型整体框架为基于端到端的框架，通过双层次特征交互网络捕捉上下文信息直接生成四元组，降低了误差传播的影响。本文所提出的完整的CO-LSM模型相较于DC-ASQP的F\mathrm{1}值得到了进一步提升，这是由于引入了大语言模型中丰富的额外知识，进一步提高了模型对隐式情感的理解能力。与基于T5生成的方法相比，CO-LSM相较于MvP^[12]在Laptop、Restaurant和TETD数据集上F\mathrm{1}值分别提高了0.80、1.51和1.27个百分点。这是由于现有基于T5生成的方法通过将离散模板作为解码器的输入，使得编码器难以捕获到模板中情感元素之间的语义关系，而CO-LSM通过浅层特征交互网络充分捕捉上下文信息，并通过深层交互网络帮助模型深入理解元素间的语义关系。本文提出的CO-LSM相较于基于大模型生成的GPT3.5和GPT4有了大幅度提升，这是由于本文提出的大小语言模型协同策略降低了大语言模型的“幻觉效应”，而利用大语言模型GPT3.5和GPT4来直接生成情感四元组的方法受大语言模型“幻觉效应”影响较大，导致模型生成看似合理但不符合实际情感逻辑的四元组。除此之外，相较于目前最新的SCRAP^[30]，本文提出的CO-LSM模型在三个数据集中F1分别提高了0.24、0.60和1.05个百分点。这是因为与微调大模型逐步提取四元组相比，本文提出的方法在充分利用了大模型强大的语境理解和推理能力的同时，能够通过双层次特征交互充分捕捉文本中的上下文信息和元素间复杂的关联关系。由表2可知，CO-LSM的精确率高而召回率略低，但在方面情感四元组抽取任务的核心评估指标F\mathrm{1}值上相较于其他模型取得了最优的结果，这是由于为了平衡模型整体效果，本文权衡准确率与召回率来有效降低误判率以增强整体预测可靠性。同时这表明模型预测结果可靠，虽然可能漏检部分真实样本，但更符合教育场景中高精确率的要求。

3.4　消融实验

为了验证所提出的大模型生成(Large Language Model Generation,LG)和深层次交互(Deep Level Interaction,DLI)的有效性，本文在三个数据集上进行了消融实验，结果如表3所示。实验结果表明，在引入大模型生成和深层次交互两个模块后，模型性能显著提升。这说明大模型生成和深层次交互两个模块的结合能够实现模型的协同增效，更有效地捕捉和分析文本中的隐式情感促进更深层次的语义分析和信息整合。

3.5　参数敏感性实验

为了探究提示词对模型的影响，本文采用三种不同的提示（提示1：“请推理找出以下句子的方面词和情感词”；提示2：“请推理找出以下句子的方面词，并根据情感倾向给出不同的情感词”；提示3：“请推理找出以下句子的方面词，并将句子中的隐式情感用显示的情感词进行描述”）在TETD数据集上进行实验，结果如表4所示。从表4中可以看出，不同提示对模型性能的影响存在差异，提示3在三者中的综合性能最优。这是由于提示3降低了模型对显式情感词的依赖，将隐式情感转换为模型可理解的显示情感词，增强了对复杂语义的解析能力，从而实现整体效果提升。

在生成文本的过程中，大语言模型的温度参数控制着模型输出概率分布，其直接影响基于大语言模型的隐式情感增强策略部分生成文本的多样性和确定性。为了进一步探究不同温度参数设置对模型结果的影响，本文通过设置不同的温度参数在TETD数据集上进行实验，结果如表5所示。随着温度参数的升高，各评价指标呈现“先升后降”的趋势，当温度参数为0.7时，模型效果最优。这是因为当温度参数较低时，模型倾向于输出高置信度的结果，抑制了语义多样性。当温度参数为0.9时，模型输出的随机性和风险性增加，导致引入了更多的无关或错误信息，使得模型效果降低。

本文在TETD、Restaurant和Laptop数据集中探究了双层次交互网络中注意力的层数对模型结果的影响，如图2所示。随着注意力层数的增加，模型的F1整体呈先上升后下降的趋势。当注意力层数较低时，模型训练不充分，无法完全捕捉数据中的复杂特征和关系，导致模型效果不佳,难以处理具有丰富语义和结构的数据。当注意力层数为2或3时，F1达到最高点。随后，F1开始呈现波动并逐渐下降，这是由于过多的注意力层数导致模型过于复杂，增加了过拟合的风险。

3.5　案例研究

从TETD数据集中抽取出真实评教文本比较了Extract-Classify-ACOS^[22]、SCRAP^[30]和CO-LSM三个模型在处理隐式情感评论时的表现，如表6所示。相比之下，Extract-Classify-ACOS模型在方面词和情感词的抽取效果要略低于其他两个模型，并且在处理较复杂评论时存在不足，导致情感识别错误。这主要是因为该模型没有充分利用句子间上下文信息，存在误差传播。SCRAP模型在预测隐式情感倾向方面也显示出一些局限性，这是由于该模型没有充分引导大模型发挥在隐式推理上的作用。CO-LSM模型在处理隐式情感评论方面表现最佳，能够准确识别出评论中的情感倾向。

4　 结 语

本文提出了一种基于大小语言模型协同的评教文本方面级情感分析模型，通过利用小语言模型和大语言模型的优势提高了方面级情感分析任务的性能。该模型通过基于大语言模型的隐式情感增强策略对评价文本进行深层次的语义理解和隐式情感推理，将模糊情感明晰化；接着提出了基于小模型的双层交互策略，通过浅层和深层交互充分捕捉上下文信息，最终实现评教文本中隐式情感的细粒度分析，并且在公共数据集和自构建数据集中验证了模型的有效性。通过基于大小语言模型协同的评教文本方面级情感分析模型可以全面挖掘学生评教文本中蕴含的信息，对助力学生数据赋能教师教学改进，帮助学校实现智能化教务管理，推动高等教育内涵式高质量发展具有重要意义。尽管如此，本文仅探讨了隐式情感方面，在解决方面情感分析中的其他问题如虚假相关性问题、少样本情境下的方面情感分析任务时，如何通过有效的策略促使大语言模型生成丰富的额外知识与更先进的小模型进行协同，仍有待进一步的系统性探究与分析。

参考文献

[1] 叶晓力，秦玉欣，夏玲丽.教学学术视域下高校教师教学评价的逻辑理路、现实困境与可为路径［J］.当代教育论坛， 2024，23（5）： 33-40. DOI： 10.13694/j.cnki.ddjylt.20240628.002 .

[2] YE X L， QIN Y X， XIA L L. Logical reasoning， realistic dilemmas， and potential paths of evaluation of teachers teaching in universities in the perspective of scholarship of teaching［J］. Forum on Contemporary Education， 2024， 23（5）： 33-40. DOI： 10.13694/j.cnki.ddjylt.20240628.002（Ch ）.

[3] 张雨晨， 李勉. 高校学生评教的理想和现实： 基于利益相关者的视角［J］. 中国考试， 2022（9）： 29-38. DOI： 10.19360/j.cnki.11-3303/g4.2022.09.005 .

[4] ZHANG Y C， LI M. Ideal and reality of college students’ evaluation of teaching： From the perspective of stakeholders［J］. Journal of China Examinations， 2022（9）： 29-38. DOI： 10.19360/j.cnki.11-3303/g4.2022.09.005（Ch ）.

[5] 张换香， 彭俊杰. 基于方面级情感分析的深度语义挖掘模型［J］. 电子学报， 2024， 52（7）： 2307-2319. DOI： 10.12263/DZXB.20230037 .

[6] ZHANG H X， PENG J J. A deep semantic mining model based on aspect-level sentiment analysis［J］. Acta Electronica Sinica， 2024， 52（7）： 2307-2319. DOI： 10.12263/DZXB.20230037（Ch ）.

[7] 郭贤伟， 赖华， 余正涛， 等. 融合情绪知识的案件微博评论情绪分类［J］. 计算机学报， 2021， 44（3）： 564-578. DOI： 10.11897/SP.J.1016.2021.00564 .

[8] GUO X W， LAI H， YU Z T， et al. Emotion classification of case-related microblog comments integrating emotional knowledge［J］. Chinese Journal of Computers， 2021， 44（3）： 564-578. DOI： 10.11897/SP.J.1016.2021.00564（Ch ）.

[9] TSENG C W， CHOU J J， TSAI Y C. Text mining analysis of teaching evaluation questionnaires for the selection of outstanding teaching faculty members［J］. IEEE Access， 2018， 6： 72870-72879. DOI: 10.1109/ACCESS.2018.2878478 .

[10] 孔繁钰， 陈纲. 基于改进双向LSTM的评教文本情感分析［J］. 计算机工程与设计， 2022， 43（12）： 3580-3587. DOI： 10.16208/j.issn1000-7024.2022.12.035 .

[11] KONG F Y， CHEN G. Sentiment analysis of teaching evaluation text based on improved bidirectional LSTM［J］. Computer Engineering and Design， 2022， 43（12）： 3580-3587. DOI： 10.16208/j.issn1000-7024.2022.12.035（Ch ）.

[12] 彭文忠， 夏家莉， 万齐智， 等. 基于完形填空的方面级情感四元组预测［J］. 计算机学报， 2024， 47（8）： 1744-1768. DOI： 10.11897/SP.J.1016.2024.01744 .

[13] PENG W Z， XIA J L， WAN Q Z， et al. Modeling aspect sentiment quad prediction as cloze task［J］. Chinese Journal of Computers， 2024， 47（8）： 1744-1768. DOI： 10.11897/SP.J.1016.2024.01744（Ch ）.

[14] CAI H J， XIA R， YU J F. Aspect-category-opinion-sentiment quadruple extraction with implicit aspects and opinions［C］//Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing （Volume 1： Long Papers）. Stroudsburg： Association for Computation Linguistics， 2021： 340-350. DOI：10.18653/v1/2021.acl-long.29 .

[15] ZHANG W X， LI X， DENG Y， et al. Towards generative aspect-based sentiment analysis［C］//Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing （Volume 2： Short Papers）. Stroudsburg： Association for Computation Linguistics， 2021： 504-510. DOI：10.18653/v1/2021.acl-short.64 .

[16] MAO Y， SHEN Y， YANG J C， et al. Seq2Path： Generating sentiment tuples as paths of a tree［C］//Findings of the Association for Computational Linguistics. Stroudsburg： Association for Computation Linguistics， 2022： 2215-2225. DOI：10.18653/v1/2022.findings-acl.174 .

[17] HU M T， WU Y K， GAO H， et al. Improving aspect sentiment quad prediction via template-order data augmentation［C］//Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing. Stroudsburg： Association for Computation Linguistics， 2022： 7889-7900. DOI：10.18653/v1/2022.emnlp-main.538 .

[18] GOU Z B， GUO Q Y， YANG Y J. MvP： Multi-view prompting improves aspect sentiment tuple prediction［C］//Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics （Volume 1： Long Papers）. Stroudsburg： Association for Computation Linguistics， 2023： 4380-4397. DOI：10.18653/v1/2023.acl-long.240 .

[19] 梁迎春， 宋书琴， 赵爱杰. 高校学生评教制度异化研究［J］. 学校党建与思想教育， 2020（18）： 55-57. DOI： 10.19865/j.cnki.xxdj.2020.18.018 .

[20] LIANG Y C， SONG S Q， ZHAO A J. Study on alienation of college students’ evaluation of teaching system［J］. The Party Building and Ideological Education in Schools， 2020（18）： 55-57. DOI： 10.19865/j.cnki.xxdj.2020.18.018（Ch ）.

[21] 张雨晨， 李勉. 高校学生评教的理想和现实：基于利益相关者的视角［J］. 中国考试， 2022， 32（9）： 29-38 .DOI： 10.19360/j.cnki.11-3303/g4.2022.09.005 .

[22] ZHANG Y C， LI M. Ideal and reality of college students’ evaluation of teaching：From the perspective of stakeholders［J］. Journal of China Examinations， 2022， 32（9）：29-38. DOI：10.19360/j.cnki.11-3303/g4.2022.09.005（Ch ）.

[23] 马秀麟， 衷克定， 刘立超. 从大数据挖掘的视角分析学生评教的有效性［J］. 中国电化教育， 2014（10）： 78-84. DOI： 10.3969/j.issn.1006-9860.2014.10.013 .

[24] MA X L， ZHONG K D， LIU L C. Research of the validity about SETQ by big data analysis［J］. China Educational Technology， 2014（10）： 78-84. DOI： 10.3969/j.issn.1006-9860.2014.10.013（Ch ）.

[25] LI G M， HOU G Y， WANG X J， et al. A multivariate generalizability theory approach to college students’ evaluation of teaching［J］. Frontiers in Psychology， 2018， 9（1）： 1065. DOI：10.3389/fpsyg.2018.01065 .

[26] LIN Q K， ZHU Y F， ZHANG S F， et al. Lexical based automated teaching evaluation via students’ short reviews［J］. Computer Applications in Engineering Education， 2019， 27（1）： 194-205. DOI：10.1002/cae.22068 .

[27] ONAN A. Mining opinions from instructor evaluation reviews： A deep learning approach［J］. Computer Applications in Engineering Education， 2020， 28（1）： 117-138. DOI：10.1002/cae.22179 .

[28] 吴奇林， 党亚固， 熊山威， 等. 基于混合特征网络的学生评教文本情感分析模型［J］. 计算机工程， 2023， 49（11）： 24-29. DOI： 10.19678/j.issn.1000-3428.0066181 .

[29] WU Q L， DANG Y G， XIONG S W， et al. Sentiment analysis model of students’ teaching evaluation text based on hybrid feature network［J］. Computer Engineering， 2023， 49（11）： 24-29. DOI： 10.19678/j.issn.1000-3428.0066181（Ch ）.

[30] WANG W Y， PAN S J， DAHLMEIER D， et al. Coupled multi-layer attentions for co-extraction of aspect and opinion terms［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2017， 31（1）： 3316-3322. DOI：10.1609/aaai.v31i1.10974 .

[31] CAI H J， TU Y F， ZHOU X S， et al. Aspect-category based sentiment analysis with hierarchical graph convolutional network［C］//Proceedings of the 28th International Conference on Computational Linguistics. Stroudsburg： Association for Computation Linguistics，2020： 833-843. DOI：10.18653/v1/2020.coling-main.72 .

[32] PENG H Y， XU L， BING L D， et al. Knowing what， how and why： A near complete solution for aspect-based sentiment analysis［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2020， 34（5）： 8600-8607. DOI：10.1609/aaai.v34i05.6383 .

[33] 黄礼东，胡慧君，陈佳逸，等.基于知识增强与多层注意力机制的方面级情感分析方法［J］.武汉大学学报（理学版）， 2024， 70（4）： 473-481. DOI： 10.14188/j.1671-8836.2023.0014 .

[34] HUANG L D， HU H J， CHEN J Y， et al. Aspect-based sentiment analysis method based on knowledge enhancement and multi-layer attention mechanism［J］. Journal of Wuhan University（Natural Science Edition）， 2024， 70（4）：473-481. DOI： 10.14188/j.1671-8836.2023.0014（Ch ）.

[35] SU G X， WU M M， HUANG Z Q， et al. Refine， align， and aggregate： Multi-view linguistic features enhancement for aspect sentiment triplet extraction［C］//Findings of the Association for Computational Linguistics 2024. Stroudsburg： Association for Computation Linguistics， 2024： 3212-3228. DOI：10.18653/v1/2024.findings-acl.191 .

[36] ZHANG W X， DENG Y， LI X， et al. Aspect sentiment quad prediction as paraphrase generation［C］//Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing. Stroudsburg： Association for Computation Linguistics， 2021： 9209-9219. DOI：10.18653/v1/2021.emnlp-main.726 .

[37] WANG S， ZHOU J， SUN C， et al. Causal intervention improves implicit sentiment analysis［C］//Proceedings of the 29th International Conference on Computational Linguistics. Stroudsburg： Association for Computation Linguistics， 2022：6966-6977.

[38] CUI J， FUKUMOTO F， WANG X F， SUZUKI Y， et al. Aspect-category enhanced learning with a neural coherence model for implicit sentiment analysis［C］//Findings of the Association for Computational Linguistics EMNLP 2023. Stroudsburg： Association for Computation Linguistics， 2023： 11345-11358. DOI：10.18653/v1/2023.findings-emnlp.759 .

[39] 刘御， 曾子明， 孙守强. 基于LLM情感增强的方面级情感分析研究［J/OL］. 数据分析与知识发现， 2024： 1-17. （2024-12-10）.

[40] LIU Y， ZENG Z M， SUN S Q. Research on aspect-level sentimen analysis based on LLM sentimen enhancement［J/OL］. Data Analysis and Knowledge Discovery， 2024： 1-17. （2024-12-10）.

[41] 李建龙，李立国. 基于评教文本挖掘的高校教学质量评价指标构建与应用［J］. 重庆高教研究， 2024， 12（3）： 11-24. DOI： 10.15998/j.cnki.issn1673-8012.2024.03.002 .

[42] LI J L， LI L G. Construction and application of university teaching quality evaluation index based on teaching evaluation text mining［J］. Chongqing Higher Education Research， 2024， 12（3）： 11-24. DOI： 10.15998/j.cnki.issn1673-8012.2024.03.002（Ch ）.

[43] KIM J， HEO R， SEO Y， et al. Self-consistent reasoning-based aspect-sentiment quad prediction with extract-then-assign strategy［C］//Findings of the Association for Computational Linguistics ACL 2024. Stroudsburg： Association for Computational Linguistics， 2024： 7295-7303. DOI：10.18653/v1/2024.findings-acl.435 .

基金资助

国家自然科学基金(62007007)

中国博士后科学基金(2022M710419)

湖南省自然科学基金面上项目(2023JJ30415)

湖南省自然科学基金面上项目(2025JJ50362)

湖南省学位与研究生教学改革研究重点项目(2022JGZD026)

湖南省教育厅优秀青年项目(24B0081)

宁夏回族自治区2023年重点研发计划项目(2023BEG03066)