融合VAD知识的情感分布增强细粒度情绪识别方法

VAD Emotion Distribution Augmented Fine-grained Emotion Recognition

摘要

细粒度情绪识别模型采用几十种情绪类别对人类情绪进行建模，能够比传统模型更准确地捕捉人们表达的细微情绪。然而，现有的情绪预测模型并未充分考虑到数量众多的细粒度情绪之间存在的复杂相关性。针对这一问题，本文提出了一种融合VAD(Valence-Arousal-Dominance，效价-唤醒-支配)知识的情感分布增强细粒度情绪识别方法（VAD Emotion Distribution Augmented Fine-grained Emotion Recognition,EDAER）。EDAER模型采用情感分布建模VAD空间中情绪的相关性，结合文本语义信息与心理学先验知识进行细粒度情绪识别。EDAER模型包括语义信息模块、情感分布信息模块和融合预测模块。语义信息模块通过预训练的BERT(Bidirectional Encoder Representation from Transformers)模型提取文本的语义特征；情感分布信息模块基于VAD距离度量情绪间的相似度，为情感词生成情感分布；融合预测模块则利用注意力机制将文本语义信息与情感分布信息整合，并实现情绪预测。在GoEmotions数据集上的实验结果表明，EDAER模型的宏平均F1值达到51.75%，优于使用情感词典作为外部知识的KEA(Knowledge-Embedded Attention)模型和采用情绪层级关系作为外部知识的HGCN-EC(Hierarchy Graph Convolution Networks based Emotion Recognition)模型。特别是在三个样本量较少的情绪类别上，EDAER的F1值显著高于其他模型。实验结果验证了通过情感分布建模VAD空间中情绪的相关性，可以有效学习罕见情绪的相关知识，从而提升模型对细粒度情绪的识别能力。

Abstract

Fine-grained emotion recognition models, which employ dozens of emotion categories to model human emotions, are capable of capturing subtle emotional expressions more accurately than traditional models. However, existing emotion prediction models have not fully considered the complex correlations that exist among the numerous fine-grained emotions. To address this issue, this paper proposes an VAD (Valence-Arousal-Dominance) Emotion Distribution Augmented Fine-grained Emotion Recognition (EDAER). EDAER models the emotional correlations in the VAD space using emotion distributions and combines textual semantic information with psychological priors for fine-grained emotion recognition. The EDAER model consists of three modules: a semantic information module, an emotion distribution information module, and a fusion prediction module. The semantic information module extracts textual semantic features using a pre-trained BERT (Bidirectional Encoder Representation from Transformers) model; the emotion distribution information module generates emotion distributions for emotion words based on VAD distance metrics to measure the similarity between emotions; and the fusion prediction module integrates textual semantic features and emotion distribution information through an attention mechanism to predict emotions. Experimental results on the GoEmotions dataset demonstrate that the macro-average F1 score of the EDAER model reaches 51.75%, outperforming both the KEA (Knowledge-Embedded Attention) model, which uses emotion lexicons as external knowledge, and the HGCN-EC (Hierarchy Graph Convolution Networks based Emotion Recognition) model, which utilizes hierarchical emotion relationships as external knowledge. Notably, for three emotion categories with fewer samples, EDAER significantly outperforms other models in terms of F1 score. These results validate that modeling emotional correlations in the VAD space through emotion distributions can effectively capture knowledge related to rare emotions, thus improving the model's ability to recognize fine-grained emotions.

Graphical abstract

关键词

VAD情绪空间 / 外部知识 / 情绪分类 / GoEmotions

Key words

VAD emotion space / external knowledge / emotion classification / GoEmotions

0 引言

随着自媒体时代到来，文本情绪识别成为自然语言处理领域的重要研究方向，在医疗健康，网络舆情，消费者行为分析等方面得到广泛应用^［1-3］。早期的研究主要集中在识别文本的正面或负面的情感极性；而近年来，细粒度情绪分析成为研究热点，情绪类别的大幅增加及情绪间复杂的关联性显著提升了情绪识别任务的难度。

传统情绪识别模型，一般采用基本情绪模型对情绪识别进行研究。心理学家Ekman^［4］和Plutchink^［5］将人类情绪划分为6种或8种基本情绪，如愤怒、恐惧、害怕、悲伤和惊讶等。例如，张海涛等^［6］利用word2vec训练词向量，构建CNN（Convolutional Neural Networ，卷积神经网络）模型识别微博语料库的7种情绪；Khanpour等^［3］基于CNN和LSTM（Long Short-Term Memory，长短期记忆网络）模型，从健康相关的文本中检测6种基本情绪；Lei等^［7］使用图卷积网络，在Bi-LSTM（Bidirectional Long Short-Term Memory Network，双向长短时记忆网络）提取语义特征的基础上，从中文语料中识别7种情绪。基本情绪模型只包括6或8种情绪，无法准确地描述人们经历和表达的广泛情绪。因此，研究者们对基本情绪模型进行了扩展，采用细粒度情绪模型更准确地研究人类情绪。心理学家Keltner等^［8］根据人类社会环境和文化背景不同提出34种情绪构成的情绪模型。Cowen等提出人类语音韵律表达的24种情绪^［9］和面部表达的28种情绪^［10］。Demszky等^［11］采用28种情绪标签对红迪网（Reddit）评论进行标注，提出GoEmotions细粒度文本情绪数据集。

细粒度情绪模型采用大量的情绪类别建模人们的情感状态，相比传统情绪模型具有更优秀的情绪表达能力。然而，大量增加的情绪类别以及细粒度情绪之间的相互关联和模糊性，使得细粒度情绪识别变得更加困难。为了解决这些挑战，目前已有的一些研究通过引入心理学模型等外部知识来提升情绪预测模型的性能。例如，Dhar等^［12］使用情感词典对企业推文（Tweet）进行情绪分类；Zhong等^［13］引入VAD（Valence-Arousal-Dominance）心理学情绪模型^［14］，提出一种基于情感词VAD分数的动态图注意力模型；Suresh等^［15］提出一种知识嵌入的注意力，将情感词的VAD分数与预训练模型提供的上下文表示相结合。上述方法通过引入外部知识，在细粒度情绪识别任务上取得一定成效。但是，现有的细粒度情绪识别模型引入VAD模型知识的方式是直接采用情感词的VAD三维得分，忽略了VAD空间中情绪间的相关性。事实上，细粒度情绪在心理学情绪模型中的距离反映了情绪之间的相互关联程度。构建基于情绪距离的情感分布可以定量记录情感词在各个情绪类别上的表达程度，在处理具有情绪模糊性的情绪识别任务时有明显优势^［16］。

通过引入情感分布建模VAD空间中细粒度情绪的相关性，本文提出融合VAD知识的情感分布增强的细粒度情绪识别方法（VAD Emotion Distribution Augmented Fine-grained Emotion Recognition，EDAER）。EDAER模型基于VAD模型在连续情绪空间中计算情绪间距离，并基于情绪间距离构建情感分布，再将情感分布信息与语义信息融合用于情绪预测。EDAER模型包括三个模块：语义信息模块、情感分布信息模块和融合预测模块。语义信息模块基于预训练语言模型BERT提取文本语义信息；情感分布信息模块基于VAD心理学模型计算情绪间距离构建情感分布，定量记录情感词在各个情绪类别的表达程度；融合预测模块采用注意力机制和拼接操作^［17］，将情感分布信息与语义信息融合，并将其用于情绪预测。在GoEmotions细粒度情绪数据集上的实验结果表明，EDAER模型在细粒度情绪识别任务上的性能优于对比模型。

本文结构安排如下：第1节概述了细粒度情绪识别领域的相关研究，提供了背景知识和理论基础；第2节介绍了融合VAD知识的情感分布增强方法，阐述了其设计思路和实现过程；第3节展示了实验设置、结果及分析；第4节对全文进行了总结。

1 相关工作

1.1　情绪识别

情绪识别是自然语言处理中的一项重要任务，广泛应用于不同领域，包括人工智能、消息过滤系统和心理学等^［18-19］。近年来，文本情绪识别工作主要依赖于CNN、LSTM和RNN（Recurrent Neural Network，循环神经网络）等神经网络。随着深度学习的发展，Google提出的基于转换器模型（Transformer）的预训练模型（Bidirectional Encoder Representations From Transformers，BERT）^［20］在自然语言处理领域取得了突破性的进展。由于BERT在多种自然语言处理任务中的出色表现，越来越多的学者将预训练模型用于情绪识别研究。传统的情绪识别模型基于心理学家Ekman^［4］提出的6种基本情绪（高兴、愤怒、恐惧、惊讶、悲伤和厌恶）进行探索，或者是Plutchik^［5］提出的8种基本情绪（增加了“期待”和“信任”）。例如，Li等^［21］利用中文情感词数据库识别微博中的6种情绪；Akhtar等^［22］提出带有CNN和LSTM的多任务学习框架，利用不同特征表示实现情绪识别；Khanpour等^［3］基于CNN和LSTM模型，从健康相关的文本中检测6种基本情绪。

然而，基于只有6到8种情绪的基本情绪模型往往无法全面捕捉人类情绪的复杂性。细粒度情绪模型通过大量的情绪类别，提供了更强的情绪表达能力。心理学家Keltner等^［8］提出34种情绪构成的细粒度情绪模型。在此基础上，Demszky等^［11］构建了包含5.4万条Reddit评论的GoEmotions细粒度文本情绪数据集，该数据集包含27种情绪标签和“neutral”标签。这些情绪标签包括12个正面（Positive），11个负面（Negative），4个模糊（Ambiguous）和1个中性（Neutral）情感类别，如表1所示。

虽然细粒度情绪模型提供了更丰富的情绪表达，但大量增加的情绪类别以及它们之间的相互关联和模糊性，给细粒度情绪识别模型带来了挑战。为了解决这些挑战，已有的细粒度情绪识别研究通过引入心理学情绪知识来提升模型性能。例如，Bruyne等^［17］将BERT的上下文表示与词典分数结合起来，并通过Bi-LSTM进行分类；Dhar等^［12］使用VADER（Valence Aware Dictionary and sEntiment Reasoner）词典对Tweet文本进行情绪分类；Zhong等^［13］基于NRC-VAD（National Research Council Canada - Valence， Arousal， Dominance）词典中情感词的VAD分数作为外部知识，提升模型细粒度情绪识别性能。上述这些方法只采用情感词的VAD三维得分，没有充分考虑VAD空间中情绪间的相关性。

1.2　VAD情绪知识

心理学情绪模型中维度模型认为情绪的构成依赖于多个评价维度，如效价和唤醒等因素，通过定量的变量来描述情绪，进而形成一个高维的连续情绪空间系统^［17］。连续空间情绪模型基于连续值来定义情绪，因此更能揭示情绪之间潜在的联系，能够更精确地描述不同情绪之间的关系。Russell提出的VAD情绪模型^［14］认为，效价（Valence，情感极性）、唤醒（Arousal，兴奋或平静程度）和支配（Dominance，感知控制程度）是定义情绪的必要维度。VAD模型利用均值和标准差在这三个维度上定义了151种情绪状态。如图1所示，27种情绪的VAD模型。

该模型采用欧氏距离度量情绪之间的相似性，距离越小表示情绪之间的差异越小，相关性越强；反之，距离越大则情绪差异越明显，相关性较弱。由于情绪间的距离为连续值，VAD模型相比于离散情绪模型能更捕捉情绪间的差别。图2给出了27种情绪基于VAD情绪知识的情绪距离矩阵。

例如，在一些情绪相近的类别（如excitement和pride）中，图1展示了它们在VAD空间中的分布，表明两个情绪具有相似性。在图2中可以看到excitement到pride的VAD距离为0.4，这一距离小于它与其他情绪类别之间的VAD距离。这种额外信息使得模型能够区分出语义相近但情感特征不同的情绪类别。excitement和pride在语义上较为接近，但VAD模型通过情绪的唤醒度和支配度等维度信息，能增强模型区分出易混淆情绪的能力。

1.3　融合VAD知识的细粒度情绪识别

外部知识能够为细粒度情绪识别任务提供宝贵的情感信息，有效补充深度学习模型的表征。常见的方法是通过注意力机制和拼接操作^［17］，将外部知识与预训练模型得到的上下文表征进行融合。例如，Wang等^［23］使用适配器模型分别对知识数据进行预训练，并将其与BERT表示相结合；Bruyne等^［17］将预训练模型BERT的上下文表示与情感词典的外部知识通过Bi-LSTM进行融合；Suresh等^［15］设计了一种知识嵌入注意力，将情感词典中情感词分数作为外部知识，通过注意力机制与预训练模型BERT提供的上下文表示相结合。上述方法通过添加额外的知识来源，取得了一定的效果^［24-25］。然而，直接从情感词典获取情绪分数作为外部知识的方法，没有考虑到VAD心理学情绪模型是一个三维连续的空间。在VAD空间中，情绪之间的距离反映了细粒度情绪之间的相互关联和模糊性。因此，直接使用VAD分数的做法未能充分挖掘细粒度情绪间的细致联系，无法为细粒度情绪识别模型提供更充分的外部知识。

2 融合VAD知识的细粒度情绪识别方法

为解决上述问题，本文提出融合VAD知识的情感分布增强细粒度情绪识别模型（VAD Emotion Distribution Augmented BERT for Fine-grained Emotion Recognition，EDAER），通过情感分布的方式量化每个情感词在VAD情绪模型空间中各情绪类别上的表达强度，如图3所示。EDAER模型构架如图4所示，包括语义信息模块、情感分布信息模块和融合预测模块。

2.1　语义信息模块

语义信息模块基于预训练模型BERT提取文本的语义特征，预训练模型被证明能够利用上下文信息，通过对每个词及其周围环境的编码，显著提高对文本内容的理解^［20］。

语义信息提取的具体流程如下：假设训练集为X，其中x_i(i\in \{\mathrm{1,2},\mathrm{3},\dots ,m\})表示第i个句子，m是训练集中的句子总数。首先，将句子x_i输入模型；随后，预训练模型BERT将输入文本转化成词向量；最后，词向量输入预训练模型BERT得到该句子的语义信息{\mathit{H}}_{\mathbf{c}}=\{h_{\mathrm{0}},h_{\mathrm{1}},\dots ,h_n\}，其中，n为句子的单词数，{\mathit{H}}_{\mathbf{c}}\in {\mathbb{R}}^{n\times l_{\mathrm{c}}}，l_{\mathrm{c}}为隐藏状态层的输出维度（在BERT-base版本中l_{\mathrm{c}}=768）。

2.2　情感分布信息模块

情感分布模块目的是将句子中情感词的情绪标签转换为情感分布。每个句子表达的情绪可以视为由多种强度不同的基本情绪组成，模块基于VAD情绪模型，将所有情绪类别表达强度结合起来，共同构建情感分布。如图3所示，构建流程分为两个主要步骤：1）使用情感词典从句子中提取情感词；2）为情感词的情绪标签生成情感分布。

第一步，通过情感词典从输入句子x_i中提取出第k情感词w_{i,k}，并得到相应的情感词集合W，W=\{w_{i,k}{\}}_{k=\mathrm{1}}^{n_i}，其中n_i为句子x_i中情感词的数量。每个情感词至少对应一个情绪标签，即w_{i,k}的第t个情绪标签q_{i,k}^t。

第二步，基于每个情绪标签，生成相应的情感分布{\mathit{f}}_{q_{i,k}^t}。每个情感词的情感分布由{\mathit{d}}_k表示，其中m为每个情感词情绪标签个数。

{\mathit{d}}_k=\frac{\mathrm{1}}{m}·{\displaystyle \sum _{t=\mathrm{1}}^m}{\mathit{f}}_{q_{i,k}^t}。（1）

主要情绪\alpha通过情感词的情绪标签确定，VAD情绪空间中其他情绪类别作为次要情绪e。两种情绪之间的相关性通过主要情绪\alpha和次要情绪e在VAD空间中的距离度量，并利用高斯核将该距离转换为相应的情感分布。情感分布的生成规则如下：1）为突出主要情绪\alpha，其得分为情感分布中的最大值；2）次要情绪的得分则随其与主要情绪\alpha的VAD距离成反比。情感分布计算公式如下：

f_{\alpha }^e=\frac{\mathrm{1}}{Z}\mathrm{e}\mathrm{x}\mathrm{p}\left(-\frac{({‖{\mathit{\mu }}_e-{\mathit{\mu }}_{\alpha }‖}_{\mathrm{2}}{+b)}^{\mathrm{2}}}{\mathrm{2}{\tau }^{\mathrm{2}}}\right),（2）

Z=\sum _e\mathrm{e}\mathrm{x}\mathrm{p}\left(-\frac{({‖{\mathit{\mu }}_e-{\mathit{\mu }}_{\alpha }‖}_{\mathrm{2}}{+b)}^{\mathrm{2}}}{\mathrm{2}{\tau }^{\mathrm{2}}}\right),（3）

其中{\mathit{\mu }}_e=\left[V^e,A^e,D^e\right]是情绪e在VAD情绪模型中三个维度上的坐标，b是偏置量，取b=1，\tau为控制情感分布散布度的局部加权带宽参数；Z是归一化因子，确保{\sum }_e{f}_{\alpha }^e=\mathrm{1}；{‖{\mathit{\mu }}_e-{\mathit{\mu }}_{\alpha }‖}_{\mathrm{2}}是情绪e与主要情绪\alpha在VAD空间中的欧式距离。基于每个情感词的情绪标签，最终得到句子的情感分布序列{\mathit{D}}_{\mathit{e}}，{\mathit{D}}_{\mathit{e}}=\{d_{\mathrm{0}},d_{\mathrm{1}},\dots ,d_{l_e}\}，l_e为句子中情感词的数量。

2.3　融合预测模块

融合预测模块的作用是将语义信息和情感分布信息结合，通过注意力机制和拼接操作实现信息融合并进行预测。如图4所示，首先，通过情感分布信息模块提取句子中的情感词，并将其转换为情感分布序列{\mathit{D}}_{\mathit{e}}；其次，通过全连接层将情感分布序列{\mathit{D}}_{\mathit{e}}转化为情感知识编码{\mathit{H}}_{\mathit{e}}，{\mathit{H}}_{\mathit{e}}\in {\mathbb{R}}^{l_e\times l_{\mathrm{c}}}；然后，利用自注意力机制，其中{\mathit{H}}_{\mathit{e}}作为键（Key， K ），h_{\mathrm{0}}作为查询（Query， Q ）， K 和 Q 做矩阵乘法经过Softmax得到注意力分数s，将{\mathit{H}}_{\mathit{e}}再作为值（Value， V ）与s做矩阵乘法；

s=\mathrm{S}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}\left(h_{\mathrm{0}}^{\mathrm{T}}\bullet {\mathit{H}}_{\mathit{e}}\right),（4）

h_a=s^{\mathrm{T}}\bullet {\mathit{H}}_{\mathit{e}},（5）

{\mathit{H}}_{\mathit{c}\mathit{e}}=\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{c}\mathrm{a}\mathrm{t}\left({\mathit{H}}_{\mathit{c}},h_{\mathrm{a}}\right)\mathrm{。}（6）

最后，将语义信息{\mathit{H}}_{\mathit{c}}与注意力机制的输出h_a拼接形成{\mathit{H}}_{\mathit{c}\mathit{e}}输入全连接层，经过Sigmoid激活函数得到情绪预测概率。该模型使用二元交叉熵损失函数进行训练。

3 实验结果与分析

3.1　实验设置

本文使用谷歌发布的GoEmotions数据集，该数据集包括约5.4万条来自Reddit的英文评论，标注了27个情绪类别以及一个“中性”类别。在这些样本中，83%仅标注了一个情绪标签，15%标注了两个标签，2%标注了三个或更多标签。

在数据预处理阶段，GoEmotions数据集中的54 263条数据按8∶1∶1的比例划分为训练集、验证集和测试集。该数据集存在样本分布不平衡的情况，例如neutral类别的训练集样本数为14 219，而grief、pride、relief和nervousness类别的训练集样本数低于200。

本文使用的英文情感词典通过合并NRC emotion lexicon和EmoSenticSpace得到，保留两个词典的情绪标签交集，并且对于两个词典共有的情感词，其情绪标签为原有标签的并集。

为了评估模型的表现，我们采用宏平均F\mathrm{1}（Macro-F\mathrm{1}）作为评价指标。宏平均F\mathrm{1}基于真性（True Positives，TP）、真负性（True Negatives，TN）、假正性（False Positives，FP）和假负性（False Negatives，FN）计算。精确率（Precision，P）为真正样本与预测为正样本的比例，计算公式P=TP/(TP+FP)，召回率（Recall，R）为正确识别的正样本与总正样本的比例，计算公式R=TP/(TP+FN)，F\mathrm{1}值为精确率与召回率的调和平均数，计算公式为F\mathrm{1}=\mathrm{2}\times P\times R/(P+R)，Macro-F\mathrm{1}为所有类别F\mathrm{1}值的平均数，计算公式为Macro-F\mathrm{1}={\sum }_{i=\mathrm{1}}^{K}F{\mathrm{1}}_i/K，其中K为类别数。

3.2　在GoEmotions数据集上的性能对比实验

为了检验EDAER模型在细粒度情绪识别任务上的性能，我们将EDAER模型与4种基线模型在GoEmotions数据集上进行对比实验。4种基线模型的介绍如下：

● TextRCNN（Recurrent Convolutional Neural Networks for Text Classification）模型： TextRCNN模型是结合了卷积神经网络和时间序列神经网络来构建的文本分类模型。单层双向RNN用于学习上下文信息，并通过最大池化层进行特征选择以及全连接分类器。

● BERT模型： BERT是一种预训练语言模型，通过在大规模文本数据上进行预训练，捕捉语言的深层双向表征，再针对不同的自然语言处理任务进行微调。本文在BERT模型的基础上添加一个全连接层，用以实现情绪识别。

● KEA-BERT^［15］模型： KEA-BERT模型是融合情感词典知识的情绪识别模型。该模型使用BERT提取文本语义特征，引入情感词典中的情感信息作为外部知识，使用知识嵌入注意力机制将情感信息与BERT提供的上下文表示相融合用于细粒度情绪识别。根据融合方式的不同分为句子级融合KEA-BETRsentence和字词级融合KEA-BERTword。

● HGCN-EC^［26］模型： HGCN-EC模型是基于层级图卷积网络的情绪识别模型。该模由一个文本编码器和一个层级结构编码器组成。该模型使用图卷积网络将文本特征表示与标签层级结构知识融合后输入全连接层进行分类。

对于TextRCNN模型本文使用300维的GloVe向量初始化词向量，RNN层使用的是Bi-GRU，隐藏层的维度为100，训练批次大小和学习率为64和\mathrm{1}\times {\mathrm{10}}^{-\mathrm{4}}，使用Adam作为优化器。对于BERT模型、KEA-BERT模型、HGCN-EC模型以及EDAER模型，训练批次大小和学习率为10和\mathrm{3}\times {\mathrm{10}}^{-\mathrm{5}}，采用Adam优化器。同时，使用值为0.2的Dropout参数在训练过程中随机忽略部分神经元来增加模型的泛化能力。具体的对比实验结果如表2所示，其中每个情绪类别F\mathrm{1}分数最高的结果用粗体表示。

如表2的实验结果所示，没有一个模型能够在所有的类别上同时表现出最好的效果，总体上本文提出的EDAER模型获得了最优的性能，其宏平均F\mathrm{1}得分高于其他基线模型。具体而言，EDAER模型比TextRCNN、BERT、KEA-BETRsentence、KEA-BERTword、HGCN-EC模型分别高出8.32%、2.62%、0.86%、3.62%和0.60%。

与未使用外部知识的TextRCNN和BERT模型相比，融合外部知识的EDAER、HGCN-EC模型和KEA-BETRsentence模型的表现均有所提升。这与大多数学者的研究结果一致，表明引入外部知识可以丰富文本表示，能有效提升模型的细粒度情绪识别性能。

EDAER、HGCN-EC、KEA-BERTsentence、KEA-BERTword模型均引入了外部知识，相较而言，本文提出的EDAER模型在GoEmotions数据集上的表现更优。其中，EDAER模型分别比KEA-BERTsentence和KEA-BERTword的宏平均F\mathrm{1}高出0.86%、3.62%，侧面证明了EDAER模型能更好地挖掘文本的情感特征，由此可知，对于细粒度情绪识别任务，利用情感分布定量衡量情绪间的相互关系能够有效地增强情绪可区分度，比传统情感词典知识更有助于提高模型的性能。

EDAER模型和HGCN-EC模型相比宏平均F\mathrm{1}高出0.6%，在多个情绪类别如admiration、approval和relief等的表现优于HGCN-EC。我们认为EDAER的优势是它基于VAD模型中的情感距离构建情感分布作为外部知识输入模型，相比HGCN-EC使用情绪类别之间的层级知识，能够更好地捕捉情绪类别之间的细微差异，提升对细粒度情绪类别的识别能力。

此外，所有模型在pride、relief、grief和nervousness这四个情绪类别上表现不佳，我们认为主要原因是这几类情绪在训练数据集中样本较少（均少于200个），并且与测试集中样本差异较大。样本数据少对于情绪识别任务意味着信息量少，从而模型不能很好地识别罕见情绪。特别是grief类情绪，样本数量仅为39个，极少的样本量使所有模型在该类别上的分类得分均为0。外部知识可以增加罕见情绪类别的信息量，我们提出的EDAER采用情感分布建模VAD空间中情绪的相关性作为外部知识，能够从VAD空间中不同情绪的VAD距离中学习罕见情绪的相关知识，增加信息量。模型利用这些增加的信息量能更好地区分细粒度情绪之间的差异，我们的EDAER模型在pride、relief和nervousness三个类别上的表现显著优于其他模型。例如在relief，除EDAER模型、HGCN-EC和KEA-BERT_sentence，其他模型的得分均为0，并且EDAER模型的宏平均F\mathrm{1}比HGCN-EC模型和KEA-BERT_sentence模型分别高出7.37%和12.1%。

3.3　消融实验

融合VAD知识的情感分布增强的细粒度情绪识别方法包括情感分布和注意力机制，为了验证以上两项技术对EDAER模型性能的具体影响，在GoEmotions数据集上进行了消融实验。其中，为验证情感分布比直接使用VAD分数能包含情绪间更细致的联系，我们使用从情感词典中获取情感词VAD分数的方法替换了EDAER中的情感分布信息模块；为验证注意力机制结合外部知识可以构建更有效的上下文表示，我们使用对情感分布知识{\mathit{H}}_{\mathit{e}}做平均后直接拼接语义信息{\mathit{H}}_{\mathit{c}}用于最终的情绪预测。消融实验结果如表3所示（“√”表示使用该方法）。

表3的实验结果表明，情感分布和注意力机制均能提升模型性能。二者都使用时，EDAER模型性能最优，宏平均F\mathrm{1}取得了1.93%的提升。仅使用情感分布时，宏平均F\mathrm{1}提高了1.40%；仅使用注意力机制的情况下，宏平均F\mathrm{1}提高了0.57%。相比之下，使用情感分布信息时模型性能提升更加显著。

使用情感分布定量记录情感词在每个情绪类别上的表达程度时与直接使用VAD分数相比，模型宏平均F\mathrm{1}提高1.36%，这验证了在VAD情绪空间中基于VAD距离度量情绪间的相似度，并以此为情感词情绪标签建模情感分布，能更精细的反映情绪间的相关性，为细粒度情绪识别任务提供了更有效的外部知识。

另外，使用注意力机制与使用对情感分布知识做平均后直接拼接语义信息的做法相比，模型的宏平均F\mathrm{1}提高0.53%，这说明通过注意力机制可以帮助外部知识与预训练语言模型的上下文表示构建更有效的数据表示用于细粒度情绪识别，从而提升模型的细粒度情绪识别能力。

4 结语

针对细粒度情绪识别问题，本文提出了一种融合VAD心理学模型知识的情感分布增强的细粒度情绪识别EDAER模型。通过情感分布定量地建模情感词在各种情绪上的表达程度，EDAER模型可以较好地表达细粒度情绪在心理学VAD情绪空间中的相关性。在GoEmotions数据集上的对比实验结果表明，EDAER模型优于其他对比的基线模型，验证了情感分布信息中包含更丰富的情绪相关信息。

在未来的研究工作中，我们将研究如何挖掘文本中的更多的相关特征用于丰富情绪模型的表征，探索采用更复杂的图网络结构或知识图谱建模细粒度情绪之间的关系，提升模型的细粒度情绪识别能力。

参考文献

[1] CARDONE B, DI MARTINO F, SENATORE S. Improving the Emotion-based Classification by Exploiting the Fuzzy Entropy in FCM Clustering[J]. Int J Intell Syst, 2021, 36(11): 6944-6967. DOI: 10.1002/int.22575 .

[2] 胡慧君, 杨雨烟, 易洋, 基于细粒度信息感知BERT-EEP的情绪分类方法[J]. 计算机工程与科学, 2023, 45(4): 751-760. DOI: 10.3969/j.issn.1007-130X.2023.04.023 .

[3] HU H J, YANG Y Y, YI Y, et al. An Emotion Classification Method Based on Fine-grained Information Perception BERT-EEP[J]. Comput Eng Sci, 2023, 45(4): 751-760. DOI: 10.3969/j.issn.1007-130X.2023.04.023 .

[4] KHANPOUR H, CARAGEA C. Fine-grained emotion detection in health-related online posts[C]//Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing. Brussels: ACL, 2018: 1160-1166.DOI:10.18653/v1/D18-1147 .

[5] EKMAN P. An Argument for Basic Emotions[J]. Cogn Emot, 1992, 6(3/4): 169-200. DOI: 10.1080/02699939208411068 .

[6] PLUTCHIK R. The Nature of Emotions[J]. Am Sci, 2001, 89(4): 344. DOI: 10.1511/2001.4.344 .

[7] 张海涛, 王丹, 徐海玲, 基于卷积神经网络的微博舆情情感分类研究[J]. 情报学报, 2018, 37(7): 695-702. DOI: 10.3772/j.issn.1000-0135.2018.07.005 .

[8] ZHANG H T, WANG D, XU H L, et al. Sentiment Classification of Micro-blog Public Opinion Based on Convolution Neural Network[J]. J China Soc Sci Tech Inf, 2018, 37(7): 695-702. DOI: 10.3772/j.issn.1000-0135.2018.07.005 .

[9] LEI Z Y, YANG Y J, YANG M, et al. A Multi-sentiment-resource Enhanced Attention Network for Sentiment Classification[C]//Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers). Stroudsburg, PA, USA: ACL, 2018: 758-763. DOI: 10.18653/v1/p18-2120 .

[10] KELTNER D, LERNER J S. Handbook of Social Psychology[M]. New Jersey: Wiley, 2010: 317-352. DOI: 10.1007/978-94-007-6772-0 .

[11] COWEN A S, ELFENBEIN H A, LAUKKA P, et al. Mapping 24 Emotions Conveyed by Brief Human Vocalization[J]. Am Psychol, 2019, 74(6): 698-712. DOI: 10.1037/amp0000399 .

[12] COWEN A S, KELTNER D. What the Face Displays: Mapping 28 Emotions Conveyed by Naturalistic Expression[J]. Am Psychol, 2020, 75(3): 349-364. DOI: 10.1037/amp0000488 .

[13] DEMSZKY D, MOVSHOVITZ-ATTIAS D, KO J, et al. GoEmotions: A Dataset of Fine-grained Emotions[C]//Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. Stroudsburg, PA, USA: ACL, 2020: 4040-4054. DOI: 10.18653/v1/2020.acl-main.372 .

[14] DHAR S, BOSE I. Emotions in Twitter Communication and Stock Prices of Firms: The Impact of Covid-19 Pandemic[J]. Decision, 2020, 47(4): 385-399. DOI: 10.1007/S40622-020-00264-4 .

[15] ZHONG P X, WANG D, MIAO C Y. Knowledge-enriched Transformer for Emotion Detection in Textual Conversations[C]//Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP). Stroudsburg, PA, USA: ACL, 2019: 165-176. DOI: 10.18653/v1/d19-1016 .

[16] RUSSELL J A, MEHRABIAN A. Evidence for a Three-factor Theory of Emotions[J]. J Res Pers, 1977, 11(3): 273-294. DOI: 10.1016/0092-6566(77)90037-X .

[17] SURESH V, ONG D C. Using Knowledge-embedded Attention to Augment Pre-trained Language Models for Fine-grained Emotion Recognition[C]//2021 9th International Conference on Affective Computing and Intelligent Interaction (ACII). New York: IEEE, 2021: 1-8. DOI: 10.1109/acii52823.2021.9597390 .

[18] 赖金水, 万中英, 曾雪强. 基于情感轮和多任务卷积神经网络的图像情感分布学习[J]. 江西师范大学学报(自然科学版), 2022, 46(4): 363-371. DOI: 10.16357/j.cnki.issn1000-5862.2022.04.06 .

[19] LAI J S, WAN Z Y, ZENG X Q. The Image Emotion Distribution Learning Based on Emotion Wheel and Multi-task Convolutional Neural Network[J]. J Jiangxi Norm Univ Nat Sci Ed, 2022, 46(4): 363-371. DOI: 10.16357/j.cnki.issn1000-5862.2022.04.06 .

[20] DE BRUYNE L, ATANASOVA P, AUGENSTEIN I. Joint Emotion Label Space Modeling for Affect Lexica[J]. Comput Speech Lang, 2022, 71: 101257. DOI: 10.1016/j.csl.2021.101257 .

[21] ALSWAIDAN N, BACHIR MENAI M EL. A Survey of State-of-the-art Approaches for Emotion Recognition in Text[J]. Knowl Inf Syst, 2020, 62(8): 2937-2987. DOI: 10.1007/s10115-020-01449-0 .

[22] HO N H, YANG H J, KIM S H, et al. Multimodal Approach of Speech Emotion Recognition Using Multi-level Multi-head Fusion Attention-based Recurrent Neural Network[J]. IEEE Access, 2020, 8: 61672-61686. DOI: 10.1109/access.2020.2984368 .

[23] DEVLIN J, CHANG M W, LEE K, et al. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding[C]//Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics. Minneapolis, Minnesota: Association for Computational Linguistics. Stroudsburg, PA, USA: ACL, 2019: 4171-4186. DOI: 10.18653/v1/N19-1423 .

[24] LI Q, WEI C, DANG J N, et al. Tracking and Analyzing Public Emotion Evolutions During COVID-19: A Case Study from the Event-driven Perspective on Microblogs[J]. Int J Environ Res Public Health, 2020, 17(18): 6888. DOI: 10.3390/ijerph17186888 .

[25] AKHTAR S, GHOSAL D, EKBAL A, et al.All-in-One: Emotion, Sentiment and Intensity Prediction Using a Multi-task Ensemble Framework[J]. IEEE Trans Affect Comput, 2019, 13(1): 285-299. DOI: 10.1109/TAFFC.2019.2926724 .

[26] WANG R Z, TANG D Y, DUAN N, et al. K-Adapter: Infusing Knowledge into Pre-trained Models with Adapters[C]//Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021. Stroudsburg, PA, USA: ACL, 2021: 1405-1418. DOI: 10.18653/v1/2021.findings-acl.121 .

[27] ABAS A R, ELHENAWY I, ZIDAN M, et al. BERT-CNN: a Deep Learning Model for Detecting Emotions from Text[J]. Comput Mater Continua, 2022, 71(2): 2943-2961. DOI: 10.32604/cmc.2022.021671 .

[28] KUMAR P, RAMAN B. A BERT Based Dual-channel Explainable Text Emotion Recognition System[J]. Neural Netw, 2022, 150: 392-407. DOI: 10.1016/j.neunet.2022.03.017 .

[29] 聂小芳, 谭宇轩, 曾雪强, 基于层级图卷积网络的情绪识别模型[J]. 中文信息学报, 2024, 38(6): 139-150. DOI: 10.3969/j.issn.1003-0077.2024.06.014 .

[30] NIE X F, TAN Y X, ZENG X Q, et al. Emotion Recognition Based on Hierarchical Graph Convoluation Networks[J]. J Chin Inf Process, 2024, 38(6): 139-150. DOI: 10.3969/j.issn.1003-0077.2024.06.014 .

基金资助

国家自然科学基金(62266021)

江西省教育厅科学技术研究(GJJ2200330)