融合情感分布的多标签emoji预测模型

Emotion Distribution Enhanced Multi-label Emoji Prediction

摘要

表情符号（emoji）作为一种有效的情感表达工具，已被广泛用于基于互联网的日常交流。目前，大多数emoji预测模型采用词嵌入方法构建emoji表示，但并未考虑emoji与情绪的直接关联和emoji在目标数据集中的共现模式，导致学习到的emoji表示的情绪区分度不足。针对上述问题，该文基于与情绪直接关联的emoji情感分布构建emoji表示，提出一种融合情感分布的多标签emoji预测模型（Emotion distribution Information Fusion for multi-label Emoji Prediction， EIFEP）。EIFEP模型的结构由三个模块组成：文本语义模块、emoji信息模块和信息融合预测模块。文本语义模块采用基于转换器的双向编码器表示（Bidirectional Encoder Representations from Transformers，BERT）模型提取文本语义表示；emoji信息模块使用多层图卷积网络构建融合emoji情感分布和共现模式信息的emoji嵌入表示；信息融合预测模块利用emoji嵌入注意力机制将文本语义表示与emoji嵌入表示矩阵融合，并进行emoji预测。在Mu-Emoji英文数据集上进行的对比实验表明，EIFEP模型在准确率（Accuracy，Acc）、微平均F1分数（Micro-F1 score，micF1）、杰卡德系数（Jaccard Score，JS）和汉明损失（ Hamming Loss，HL）四个评价指标上均优于现有的多标签emoji预测模型，分别达到60.88%、58.79%、74.05%和6.92%。

Abstract

Emoji, as an effective tool for emotional expression, has been widely used in daily internet-based communication. Currently, most emoji prediction models employ word embedding methods to construct emoji representations, but consider neither the direct association between emoji and emotions, nor the co-occurrence patterns of emoji in the target dataset, resulting in insufficient emotional discriminability of the learned emoji representations. To address these issues, this paper proposes a multi-label emoji prediction model based on the emotional distribution of emojis directly related to emotion, which is named EIFEP (i.e., Emotion distribution Information Fusion for multi-label Emoji Prediction). The EIFEP model consists of three modules: a semantic information module, an emoji information module, and an information fusion prediction module. The semantic information module uses BERT to extract text semantic representation; the emoji information module applies a multi-layer graph convolutional network to construct emoji embedding that integrate emotion distribution and co-occurrence pattern information; the information fusion prediction module uses emoji embedding attention mechanism to integrate the text semantic and the emoji embedding matrix for emoji prediction. The comparative experiments on the Mu-Emoji English dataset demonstrate that the EIFEP model outperformers the existing multi-label emoji prediction model, achieving 60.88% in Acc, 58.79% in JS, 74.05% in micF1, and 6.92% in HL, respectively.

Graphical abstract

关键词

Emoji预测 / 多标签分类 / 标签相关性 / 情感分析 / 图卷积网络

Key words

emoji prediction / multi-label classification / label correlation / sentiment analysis / graph convolutional network

0 引言

表情符号（emoji）作为一种视觉化的符号语言，在短文本信息的情感表达和视觉增强方面具有重要作用，目前已被广泛应用于社交媒体平台的日常交流中^［1］。与纯文本相比，emoji能够有效地辅助理解语义和情感的细微差别。Emoji预测任务的目标是针对给定文本预测与其最相关的emoji，在情感分析、情绪识别、反讽检测等自然语言处理（Natural Language Processing，NLP）任务中具有广泛的应用价值^［2］。

Emoji具有多义性和同义性，即同一个emoji可以同时表达多种情绪，而同一种情感也能由多个相似的emoji来表达^［3］。由于emoji在描述和理解上存在不一致性，且受上下文约束，增加了情感表达的歧义性^［4］。因此，有效构建emoji信息表示对于emoji预测任务至关重要。借鉴单词的向量化表示方法，目前主流的emoji嵌入表示方法主要采用词嵌入模型。例如，Chen等^［5］将emoji视为特殊单词，借助FastText模型学习emoji嵌入表示；Eisner等^［6］基于Unicode对emoji描述构建emoji嵌入表示。通过在特定数据集上训练，传统的词嵌入模型能够获得富含语义信息的emoji嵌入表示。但是，emoji嵌入表示的训练过程主要是关注训练数据中的共现规律，未考虑emoji与情绪的直接关联。此外，在分析情感复杂或微妙的文本时，往往能观察到某些emoji频繁共现或与特定文本内容相伴出现。现有大多数emoji预测方法主要基于emoji与文本之间的语义相似性^［7］，未充分考虑emoji在目标数据集中的共现模式，导致模型难以区分不同emoji与特定情感、语境之间的细微差别，使学习的emoji嵌入表示在情绪区分度方面表现不足，影响预测的准确性。

针对上述问题，本文采用与情绪直接关联的emoji情感分布构建emoji表示，提出了一种融合情感分布的多标签emoji预测（Emotion distribution Information Fusion for multi-label Emoji Prediction， EIFEP）模型。基于预训练的emoji情感分布表示，EIFEP模型采用在目标数据集中的emoji共现模式计算emoji的相关性，再利用多层图卷积网络（Graph Convolutional Network， GCN）将emoji情感分布增强为包含共现模式信息的emoji嵌入表示。EIFEP模型的结构由三个模块组成：文本语义模块、emoji信息模块和信息融合预测模块。文本语义模块采用基于转换器的双向编码器表示（Bidirectional Encoder Representations from Transformers，BERT）模型提取文本语义表示；emoji信息模块使用多层GCN构建融合emoji情感分布和共现模式信息的emoji嵌入表示；信息融合预测模块利用emoji嵌入注意力机制将文本语义表示与emoji嵌入表示矩阵融合，并进行emoji预测。在Mu-Emoji英文数据集上进行的对比实验结果表明，本文提出的EIFEP模型相较于现有的多标签emoji预测模型具有更优的性能。本文的主要贡献概括如下：

（1） 提出了一种融合情感分布的多标签emoji预测模型EIFEP。EIFEP模型将包含情感分布先验知识的emoji表示和基于BERT模型提取的文本语义信息融合，并将其用于emoji预测。

（2） 设计了一种目标数据集emoji相关性信息增强的emoji表示。在基于目标数据集emoji共现模式构建的emoji相似度矩阵的基础上，本文采用多层GCN将emoji相关性信息与emoji情感分布进行融合。

本文的结构安排如下：第1节回顾emoji预测的相关研究背景；第2节介绍所提出的融合情感分布的多标签emoji预测模型；第3节展示实验设计及结果分析；第4节总结全文和讨论未来的研究方向。

1 相关工作

1.1　Emoji预测

随着emoji的广泛应用，emoji作为一种由图形化符号组成的小型表意文字，已经成为人们日常互动的重要组成部分^［1］。目前，emoji预测任务已经成为NLP领域的一项重要挑战。

Emoji预测任务主要分为单标签emoji预测和多标签emoji预测。早期的研究大多采用单标签emoji预测，例如，Barbieri等^［8］通过研究单词和emoji之间的关系，提出基于长短期记忆网络的单标签emoji预测模型；Felbo等^［2］提出了一种基于长短期记忆网络（Long Short-Term Memory，LSTM）框架的预训练模型DeepMoji，用于单个emoji预测。然而，在实际交流中人们使用多个emoji增强情感表达。因此，在给定文本中预测多个emoji对于捕捉文本的完整意义至关重要。例如，Peng和Zhao^［9］提出一种Seq2Emoji的混合序列生成模型，将多标签emoji预测任务视为序列生成问题；Lee等^［10］提出一种基于多任务框架MultiEmo，通过考虑情绪检测任务来预测最相关的emoji。因此，本文提出了一种预测多个emoji的深度学习框架。

Emoji预测模型中融入emoji的先验语义知识的关键在于实现对emoji的有效表示。已有的emoji表示方法主要包括两类：一是基于描述文本的表示，该方法将emoji描述性文本的语义表示作为emoji嵌入表示。例如，emoji2vec^［6］和表情符号替换为其文本描述（Emoji Description，EMJ-DESC）策略^［11］实际上是利用emoji的文本描述来获得其在向量空间中的表示。二是基于模型训练的emoji表示，该方法通过词嵌入模型将emoji与单词一同训练，得到所有emoji和单词的嵌入表示。例如，Chen等^［5］将每个emoji视为一个单词，通过FastText模型结合上下文生成emoji嵌入表示。这些方法通过大量的文本来学习emoji嵌入表示，缺乏与情绪的直接关联，导致学习的emoji嵌入表示包含区分度的情绪信息较少。

1.2　情感分布学习

情感分布学习（Emotion Distribution Learning， EDL）^［12］通过构建情感分布来定量描述情绪模糊性，对于处理文本情绪识别和情感分析任务，尤其是涉及情绪模糊性和复杂性的场景下具有明显的优势。在表达复杂情感方面，emoji所呈现的情绪与人脸表情具有相似性，均可被视为由多种基本情绪以不同强度组合而成的情感分布。观察图1发现， 不仅表达joy这一种情绪，还同时蕴含了optimism和love等多种其他情绪。

近年来，受EDL的启发，Xiong等^［13］通过同时考虑情绪标签的结构化和稀疏性的特点，有效地解决了图像情感分析中的标签模糊问题；赖金水等^［14］在情感分布学习中融入情感轮心理学的先验知识，借助多任务卷积神经网络实现对情绪间相关性信息的有效学习；Zhang等^［15］通过生成情绪标签在效价-活跃度空间中的离散概率分布，动态地捕捉文本中情绪的变化；刘烨等^［16］基于软标签的方法在SemEval2018数据集上学习与目标情绪直接关联的emoji情感分布表示，并构建emoji情感分布知识库用于多标签文本情绪分类任务中且取得不错效果。因此，本文引入emoji情感分布知识库，将预训练的emoji情感分布表示作为emoji嵌入表示。相较于传统的基于词嵌入的emoji嵌入表示，emoji情感分布表示直接与情绪关联，提供了更具情绪区分度的情绪信息。

1.3　图卷积网络

图卷积网络是一种用于处理图结构数据的神经网络模型，通过不同节点的连接关系对节点特征进行更新^［17］。近年来，越来越多的研究人员尝试通过GCN同时考虑先验标签语义信息和标签之间的相关性^［18］。例如，Chen等^［19］基于GCN从先验的标签表示中学习相互依赖的目标分类器用于多标签图像识别；Schoene等^［20］使用GCN融合知识图中的情感知识用于细粒度情绪分类；Vu等^［21］基于标签的共现规律，利用GCN增强标签嵌入表示用于多标签文本分类。这些研究表明基于GCN的模型能有效地融合标签语义信息和标签之间的相关性。因此，考虑到emoji共现模式是一种复杂的图数据结构，本文使用多层GCN融合emoji情感分布和目标数据集的emoji共现模式信息。

2 融合情感分布的多标签emoji预测模型

本文基于与情绪直接关联的emoji情感分布表示，提出了一种融合情感分布的多标签emoji预测（Emotion distribution Information Fusion for multi-label Emoji Prediction， EIFEP）模型。EIFEP模型将包含情感分布先验知识和目标数据集emoji相关性信息的emoji表示与文本语义信息融合，用于多标签emoji预测。模型由文本语义模块、emoji信息模块和信息融合预测模块组成。具体框架如图2所示。

任务定义：多标签emoji预测的目标是预测与文本相关的一个或多个emoji。形式上，给定数据集S=\left\{X,Y\right\}，对于每一个X_i，预测Y_i中的一个或多个emoji。其中X_i=\left\{w_{\mathrm{1}},w_{\mathrm{2}},\cdots ,w_n\right\}为数据集中第i个文本，Y_i\in {\left\{\mathrm{0,1}\right\}}^C是对应文本的emoji标签集合，w_n表示文本中的最后一个单词，C是emoji标签的数量。

2.1　文本语义模块

文本语义模块使用一个预训练BERT模型{\delta }_{\mathrm{b}\mathrm{e}\mathrm{r}\mathrm{t}}抽取文本的语义信息。通过BERT的词向量编码层将输入的文本X_i转换成词向量，获得第i个文本嵌入表示；然后将其通过BERT编码器输出X_i的最终隐藏状态表示{\mathit{H}}_i。

{\mathit{H}}_i={\delta }_{\mathrm{b}\mathrm{e}\mathrm{r}\mathrm{t}}\left\{[\mathrm{C}\mathrm{L}\mathrm{S}]+X_i+[\mathrm{S}\mathrm{E}\mathrm{P}]\right\}。（1）

本文将特殊标记[\mathrm{C}\mathrm{L}\mathrm{S}]的最终隐藏状态{\mathit{h}}_{[\mathrm{C}\mathrm{L}\mathrm{S}]}作为文本语义模块的输出，即文本语义表示\mathit{H}\in R^{d^{\text{'}}\times \mathrm{1}}，d^{\mathrm{\text{'}}}表示隐藏层的维度。

2.2　Emoji信息模块

2.2.1　Emoji情感分布表示

本文利用预训练的emoji情感分布知识库^［16］，抽取与Mu-Emoji数据集中对应的30个emoji标签的预训练情感分布表示作为emoji嵌入表示。

预训练的emoji情感分布知识库包含203个与目标情绪直接关联的emoji情感分布表示，是通过软标签的方法从SemEval2018英文数据集中学习得到。其中，emoji情感分布表示采用一个11维向量来量化emoji在不同情绪上的表达程度，这些情绪包括anger，anticipation，disgust，fear，joy，love，optimism，pessimism，sadness，surprise和trust。Emoji情感分布知识库的构建流程如图3。

2.2.2　Emoji共现模式相似度矩阵

本文通过数据分析构建emoji共现模式相似度矩阵，具体方法是寻找emoji在目标数据集中的共现模式，从而定义emoji标签之间的相关性。这种数据驱动的方式增强了emoji情感分布表示与目标数据集的关联性。

联合概率相似度矩阵是度量不同标签之间相关性的常见做法。通过联合概率的形式对emoji关联性进行建模，即P(i,j)来表示e_i和e_j共同出现的概率。首先统计训练集中emoji对的出现次数，得到emoji共现矩阵\mathit{M}\in R^{C\times C}，{\mathit{M}}_{ij}表示e_i 和e_j 的共现次数。利用emoji共现矩阵得到联合概率相似度矩阵如下：

\mathit{P}=\mathit{M}/N，（2）

其中N表示训练集样本数，P_{ij}=P(i,j)表示e_i和e_j共同出现的概率。

然而，联合概率相似度矩阵可能存在两个局限性。首先，由于受到数据集标签不平衡的影响，联合概率较为稀疏且难以准确捕捉罕见标签和常见标签之间的关系；其次，联合概率相似度矩阵的值域为［0，1］，这使其仅能表达emoji之间正相关与不相关性，而无法有效揭示 和 等情绪表达上完全相反（即负相关）的关系。为了克服联合概率相似度矩阵的局限性，本文对emoji的联合概率向量两两之间计算皮尔逊相关系数，得到共现模式相似度矩阵\mathit{A}如式（3）所示：

{\mathit{A}}_{ij}=\frac{{\sum }_{k=\mathrm{1}}^C\left(P_{ik}-{\overline{P}}_i\right)\left(P_{jk}-\overline{P_j}\right)}{\sqrt[]{{\sum }_{k=\mathrm{1}}^C{\left(P_{ik}-{\overline{P}}_i\right)}^{\mathrm{2}}}\sqrt[]{{\sum }_{k=\mathrm{1}}^C{\left(P_{jk}-\overline{P_j}\right)}^{\mathrm{2}}}}，（3）

其中{\overline{P}}_i=\frac{\mathrm{1}}{C}{\displaystyle \sum _{k=\mathrm{1}}^c}{P}_{ik}，{\mathit{A}}_{ij}表示e_i和e_j之间共现模式的相似度，其值越大，意味着这两种emoji的组合更常见或可以互相替换；若{\mathit{A}}_{ij}为负数，则表示二者负相关，通常不会同时出现或者互为替代。

2.2.3　图卷积网络

图卷积网络^［17］作为一种专门用于处理图结构数据的深度学习架构，其核心原理是通过在图上的节点之间传播信息来更新和丰富节点嵌入表示。GCN的目标是学习图上的函数f_{\mathrm{g}\mathrm{c}\mathrm{n}}，该函数将节点嵌入表示{\mathit{E}}^{l-\mathrm{1}}\in R^{C\times d}和其相似度矩阵\mathit{A}\in R^{C\times C}作为输入（其中C是节点的数量，d表示节点嵌入表示的维度），得到下一层节点嵌入表示{\mathit{E}}^l\in R^{C\times d^{\text{'}}}如式（4）所示：

{\mathit{E}}^l=f_{\mathrm{g}\mathrm{c}\mathrm{n}}\left({\mathit{E}}^{l-\mathrm{1}},\mathit{A}\right)，（4）

具体而言，f_{\mathrm{g}\mathrm{c}\mathrm{n}}可以表示为：

{\mathit{E}}^l=h\left(\widehat{\mathit{A}}{\mathit{E}}^{l-\mathrm{1}}{\mathit{W}}^l\right)，（5）

其中{\mathit{W}}^l\in R^{d\times d^{\text{'}}}是第l层的权重矩阵，\widehat{\mathit{A}}\in R^{C\times C}是归一化的相关性矩阵\mathit{A}，h(\cdot )表示非线性运算，本文使用LeakyReLU。

2.3　信息融合预测模块

2.3.1　基于文本语义的emoji嵌入注意力

为了增强emoji标签之间的语义关联性，本文提出一种基于文本语义的emoji嵌入注意力（Emoji-Embedded Attention， EEA）机制。该机制通过emoji嵌入表示矩阵与文本语义进行交互，捕捉emoji在上下文中的独特含义，从而获得基于文本语义联系的emoji嵌入表示。

信息融合预测模块将BERT输出的文本语义表示\mathit{H}作为EEA的查询（Query），emoji信息模块输出的emoji嵌入表示矩阵\mathit{E}充当键（Key）和值（Value）。{\mathit{W}}_Q、{\mathit{W}}_K、{\mathit{W}}_V为权重矩阵，查询向量\mathit{Q}、键矩阵\mathit{K}以及值矩阵\mathit{V}的表达式如式（6）所示：

\left\{\begin{array}{l}\mathit{Q}=\mathit{H}{\mathit{W}}_Q\\ \mathit{K}=\mathit{E}{\mathit{W}}_K\\ \mathit{V}=\mathit{E}{\mathit{W}}_V\end{array}\right.，（6）

每个emoji嵌入表示的注意力得分由\mathit{Q}和\mathit{K}的内积得到，再经过softmax函数归一化为概率分布，将其与\mathit{V}进行加权求和，从而获得基于文本语义联系的emoji嵌入表示{\mathit{E}}^{\text{'}}：

{\mathit{E}}^{\text{'}}=\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}\left(\frac{\mathit{Q}{\mathit{K}}^{\mathrm{T}}}{\sqrt[]{d_k}}\right)\mathit{V}，（7）

其中d_k是向量的维度，\sqrt[]{d_k}是为了维持梯度稳定，避免因向量维度增加而使内积值过大。

2.3.2　多标签emoji预测

本文将基于文本语义的emoji嵌入表示{\mathit{E}}^{\text{'}}与文本语义表示\mathit{H}拼接，得到信息融合表示\mathit{L}。通过全连接层进行预测，并使用sigmoid激活函数输出预测结果\widehat{y}。

\begin{array}{c}\mathit{L}=\mathit{H}+{\mathit{E}}^{\text{'}},\end{array}（8）

\widehat{y}=\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{m}\mathrm{o}\mathrm{i}\mathrm{d}\left({\mathit{W}}^{\mathrm{T}}\mathit{L}\right)。（9）

在计算多标签分类的损失\mathrm{ℒ}时，使用二元交叉熵损失函数得到如式（10）所示：

\mathrm{ℒ}={\displaystyle \sum _{i=\mathrm{1}}^c}\left(\left(y^i\mathrm{l}\mathrm{o}\mathrm{g}\left({\widehat{y}}^i\right)\right)+\left(\mathrm{1}-y^i\right)\mathrm{l}\mathrm{o}\mathrm{g}\left(\mathrm{1}-{\widehat{y}}^i\right)\right),（10）

其中y^i是真实标签值，{\widehat{y}}^i是预测概率值。

3 实验及结果分析

3.1　实验设置

本文使用Mu-Emoji数据集^［22］，该数据集包含583 048条推文，30个emoji标签。每条推文至少包含一个emoji，多标签的推文有455 537条。

在数据预处理部分，本文将句子中的网页链接、邮箱地址等替换成“〈url〉”、“〈email〉”的形式；去除换行符和停用词；对hashtag进行展开和标注，例如将“#ilikedogs”转换成“〈hashtag〉 I like dogs 〈/hashtag〉”；对延长单词进行恢复和标注，例如将“suuuucks”转换成“sucks 〈elongated〉”；对重复的标点符号丢弃并标注，例如将“！！！”标注成“！〈repeated〉”；对颜表情进行替换成对应的情绪单词，例如将“（^.^）”转换成“〈happy〉”；对所有英文单词进行词性还原、展开缩写并转换为小写的操作；最后丢弃tokens少于5的样本。经过数据预处理后，推文从583 048条减少到526 993条，减少了56 055条。

为了保证每个子集中各类别比例的一致性，本文使用Iterative Stratification方法将预处理后的数据按8∶1∶1的比例分为训练集、验证集和测试集。数据统计如表1所示。

本文对模型性能的评价指标包括准确率（Accuracy，Acc）、微平均F1分数（Micro-F1 score，micF1）、杰卡德系数（Jaccard Score，JS）和汉明损失（Hamming Loss，HL）。其中，Acc被定义为正确预测数与总样本数的比值；micF1是精确率和召回率的综合表现，对每个样本的每个标签进行全局评估；JS是预测结果与真实标签集合的交集与并集之比；HL是衡量错误预测的标签比例。

实验参数设置：使用BERT-base模型，隐藏层的维度为768；BiLSTM的层数为2和隐藏单元数为200，TextCNN的卷积核大小为（2，3，4），图注意力网络（Graph Attention Network， GAT）层数和GCN层数设置为3层；Batch Size和全局Learning Rate分别设置为32和\mathrm{1}\times {\mathrm{10}}^{-\mathrm{3}}；BERT编码器的Learning Rate为\mathrm{5}\times {\mathrm{10}}^{-\mathrm{6}}；Early Stop Patience设置为4，Epoch设置为32，Dropout设置为0.1；Threshold设置为0.4；Optimizer选择Adam。

3.2　多种emoji预测模型的性能对比实验

为了评估所提出的EIFEP模型的性能，将其与以下6个基线模型进行对比实验。

●TextCNN：是用于文本分类的卷积神经网络（Convolutional Neural Network，CNN）模型。采用多个卷积核提取文本特征。

●双向长短期记忆网络（Bidirectional Long Short-Term Memory，BiLSTM）：是一种双向循环神经网络，与单向LSTM网络不同，能同时考虑序列数据中的前向和后向信息，从而更全面地捕获文本中的上下文信息。

●BiLSTM+Attention：将BiLSTM与注意力机制结合，使模型关注文本的不同部分，更好地捕获上下文信息。

●BERT^［23］：是一种预训练的语言模型，通过双向编码器来捕捉上下文的语义特征。

●BERT模型的精简版（A Lite version of BERT，ALBERT）^［24］：是BERT的一种变体，通过因子分解嵌入矩阵和共享跨层参数减少模型参数量。

●BERT+GAT^［22］：是通过将BERT输出的语义向量和GAT获取的emoji嵌入表示做点积，得到最终的emoji预测分数。

在Mu-Emoji英文数据集上的对比实验结果如表2所示。本文提出的EIFEP模型整体上的表现均优于其他6个基线模型，Acc、JS、micF1和HL分别达到60.88%，58.79%，74.05%和6.92%。

与TextCNN模型相比，BiLSTM模型对于多标签emoji预测的性能有较大的提升，体现在Acc上提高了3.03%。这可能是由于TextCNN主要关注局部邻近的语义信息，而BiLSTM通过前后向信息传播机制，能够捕获文本序列中的长期依赖关系，展现出更优的性能。BiLSTM+Attention模型通过引入注意力机制，能更有效地关注与emoji标签相关的文本信息。与未引入注意力机制的BiLSTM相比，BiLSTM+Attention的表现较好，在Acc、JS、micF1和HL上分别高出0.12%，0.36%，0.29%和0.13%。

与BERT、ALBERT相比，EIFEP模型的表现均有所提升。具体而言，EIFEP模型在micF1上分别取得了0.83%和0.59%的提升。BERT和ALBERT预测结果不准确可能是因为忽略了句子中的emoji信息。而本文提出的EIFEP模型通过融入emoji信息，提升了多标签emoji的预测性能。

相较于其他基线模型中较优的BERT模型，使用图结构的BERT+GAT和EIFEP模型在Mu-Emoji数据集上的表现更好，具体体现在micF1上分别取得了0.73%和0.83%的提升。这表明，基于图神经网络结构的模型对数据集中的每个emoji标签节点和邻域emoji标签节点做聚合操作，可以捕获全局emoji之间的共现关系，有助于模型学习到更多的emoji共现信息。此外，EIFEP模型相比于BERT+GAT，在Acc、JS、micF1和HL上分别高出0.22%、0.12%、0.1%和0.01%。由此可见，本文提出的EIFEP模型利用GCN能更好地捕捉emoji之间的相关性，并通过EEA机制将文本语义向量与emoji嵌入表示矩阵融合，有效地增强emoji嵌入表示，从而提升模型的emoji预测性能。

3.3　Emoji嵌入表示方法的对比实验

在本文的研究工作中，我们提出了利用emoji情感分布的先验知识来丰富emoji嵌入表示的方法。为了验证emoji情感分布表示的有效性，本文采用FastText和Emoji2Vec两种不同的词嵌入方法生成emoji嵌入表示，并在Mu-Emoji数据集上进行对比实验，结果如表3所示。其中，EIFEP-FT模型是利用FastText模型训练得到emoji嵌入表示；EIFEP-E2V模型则是通过Emoji2Vec方法生成emoji嵌入表示。

通过表3的实验结果显示，与本文提出的EIFEP模型相比，EIFEP-FT模型的预测性能显著下降。这可能是由于FastText模型主要关注词汇的语义信息和形态学特征，忽略了emoji的情绪信息，从而导致生成的emoji嵌入表示在情绪表达上不够充分。相较于EIFEP-FT模型，EIFEP-E2V模型的整体性能下降幅度较小。这是由于Emoji2Vec通过分析emoji在实际语境中的上下文共现关系来生成emoji嵌入表示，能够更准确地捕捉emoji包含的情绪信息。然而，EIFEP-FT和EIFEP-E2V模型在生成emoji嵌入表示时，均依赖于单词与emoji的共现规律，而未直接与情绪信息建立显式映射，导致emoji嵌入表示的情绪可区分度不足。

相比之下，EIFEP模型在整体上的表现优于上述两个模型，在micF1指标上分别高出0.98%和0.57%。原因可能是EIFEP模型引入了预训练的emoji情感分布知识库，提取emoji在11种基本情绪上的情感分布表示，使得每个emoji嵌入表示包含情绪标签信息。对比实验结果表明，本文提出的EIFEP模型利用预训练的emoji情感分布表示，为emoji嵌入表示提供了更具区分度的情绪信息，有效提升了模型的预测性能。

3.4　Emoji标签相关性

为了分析多标签emoji之间的相关性，本文将Mu-Emoji测试集的真实emoji与预测emoji标签的共现模式相似度进行比较，如图4所示。从图4中可以清晰地观察到emoji之间越密切相关，其共现模式相似度越大。例如， 和 之间的共现模式相似度接近最大值1.0，两者在情感表达时几乎同时出现，揭示了emoji之间存在显著的正相关性。相反， 与 之间的相似度为-0.1，这表明两个emoji在语义上存在负相关性。

从图4可以观察到，图4（a）与图4（b）的结果大致相同，这表明EIFEP可以有效捕捉emoji之间的相关性。在图4（b）中，两种相机的emoji（ 、 ）几乎具有相同的模式，这充分说明了它们在语义上的相似性。类似地，与心形相关的emoji，如 、 、 、 、 和 ，它们都表达了对某人或某物的喜爱之情。此外，比如 、 、 、 和 等消极emoji都传达了失望或伤心的情绪。Emoji之间的相关性不仅体现在语义的相似性上，还体现在用户的使用习惯上。这些emoji由于具有相似的含义或情绪，在实际使用中容易出现混淆或被替换的情况。

图4揭示了两种emoji标签共现模式相似度整体上几乎一致，但由于使用习惯和情感表达方式的不同，导致某些emoji的预测结果存在差异。例如， 和 的真实emoji标签的共现相似度值为0.05，而两者的预测emoji标签的共现模式相似度达到0.30。这表明，对于数据集中几乎不共现的emoji，EIFEP模型也能够学习到emoji之间的共现模式信息。

此外，即使对于数据集中标签数较少的emoji，如 、 、 和 ，EIFEP也能够有效地捕捉它们与其他emoji之间的关系。这证明了本文提出的模型在数据不平衡的情况时仍能保持不错的性能，能够有效地学习emoji之间的情绪和语义关系。

4 总结与展望

本文基于与情绪直接关联的emoji情感分布表示，提出了一种融合情感分布的多标签emoji预测EIFEP模型。该模型由文本语义模块、emoji信息模块和信息融合预测模块组成。为了解决传统emoji嵌入表示中情绪区分度不足的问题，EIFEP模型基于emoji情感分布先验知识与emoji共现模式相似度矩阵，采用多层GCN将emoji情感分布表示增强为包含共现模式信息的emoji嵌入表示，使模型获得更好的性能。在Mu-Emoji数据集上实验表明，EIFEP模型在多标签emoji预测任务中优于现有的预测模型。

未来研究中可以引入更细粒度的情绪，结合心理学和语言学理论来建模emoji情感分布表示，以及探索更复杂的emoji知识图谱或异构图来挖掘emoji之间的相关性，进一步提升模型的预测性能。

参考文献

[1] FRANCESCO B, LUIS E A, HORACIO S. Revealing Patterns of Twitter Emoji Usage in Barcelona and Madrid[M]//Artificial Intelligence Research and Development. Amsterdam, Netherlands: IOS Press, 2016: 239-244. DOI:10.3233/978-1-61499-696-5-239 .

[2] FELBO B, MISLOVE A, SØGAARD A, et al. Using Millions of Emoji Occurrences to Learn Any-domainrepresentations for Detecting Sentiment, Emotion and Sarcasm[C]//Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing. Stroudsburg, PA, USA: ACL, 2017: 1615-1625. DOI:10.18653/v1/d17-1169 .

[3] YANG Z P, YE X, XU H T. TGCN-bert Emoji Prediction in Information Systems Using TCN and GCN Fusing Features Based on BERT[J]. Int J Semant Web Inf Syst, 2023, 19(1): 1-16. DOI:10.4018/ijswis.331082 .

[4] MILLER H, KLUVER D, THEBAULT-SPIEKER J, et al. Understanding Emoji Ambiguity in Context: The Role of Text in Emoji-related Miscommunication[C]//Proceedings of the International AAAI Conference on Web and Social Media. Menlo Park, California, USA: AAAI, 2017: 152-161. DOI:10.1609/icwsm.v11i1.14901 .

[5] CHEN Y X, YUAN J B, YOU Q Z, et al. Twitter Sentiment Analysis via Bi-sense Emoji Embedding and Attention-based LSTM[C]//Proceedings of the 26th ACM International Conference on Multimedia. New York: ACM, 2018: 117-125. DOI:10.1145/3240508.3240533 .

[6] EISNER B, ROCKTÄSCHEL T, AUGENSTEIN I, et al. Emoji2vec: Learning Emoji Representations from Their Description[C]//Proceedings of The Fourth International Workshop on Natural Language Processing for Social Media. Stroudsburg, PA, USA: ACL, 2016: 48-54. DOI:10.18653/v1/w16-6208 .

[7] WIJERATNE S, BALASURIYA L, SHETH A, et al. A Semantics-based Measure of Emoji Similarity[C]//Proceedings of the International Conference on Web Intelligence. New York: ACM, 2017: 646-653. DOI:10.1145/3106426.3106490 .

[8] BARBIERI F, BALLESTEROS M, SAGGION H. Are Emojis Predictable? [C]//Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics. Stroudsburg, PA, USA: ACL, 2017: 105-111. DOI:10.18653/v1/e17-2017 .

[9] PENG D, ZHAO H. Seq2Emoji: A Hybrid Sequence Generation Model for Short Text Emoji Prediction[J]. Knowl Based Syst, 2021, 214: 106727. DOI:10.1016/j.knosys.2020.106727 .

[10] LEE S, JEONG D, PARK E. MultiEmo: Multi-task Framework for Emoji Prediction[J]. Knowl Based Syst, 2022, 242: 108437. DOI:10.1016/j.knosys.2022.108437 .

[11] SINGH A, BLANCO E, JIN W. Incorporating Emoji Descriptions Improves Tweet Classification[C]//2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. Stroudsburg, PA, USA: ACL, 2019: 2096-2101. DOI:10.18653/v1/n19-1214 .

[12] ZHOU Y, XUE H, GENG X. Emotion Distribution Recognition from Facial Expressions[C]//Proceedings of the 23rd ACM International Conference on Multimedia. New York: ACM, 2015: 1247-1250. DOI:10.1145/2733373.2806328 .

[13] XIONG H T, LIU H F, ZHONG B N, et al. Structured and Sparse Annotations for Image Emotion Distribution Learning[C]//Proceedings of the AAAI Conference on Artificial Intelligence. Menlo Park, California, USA:AAAI, 2019: 363-370. DOI:10.1609/aaai.v33i01.3301363 .

[14] 赖金水, 万中英, 曾雪强. 基于情感轮和多任务卷积神经网络的图像情感分布学习[J]. 江西师范大学学报(自然科学版), 2022, 46(4): 363-371. DOI: 10.16357/j.cnki.issn1000-5862.2022.04.06 .

[15] LAI J S, WAN Z Y, ZENG X Q. The Image Emotion Distribution Learning Based on Emotion Wheel and Multi-task Convolutional Neural Network[J]. J Jiangxi Norm Univ Nat Sci Ed, 2022, 46(4): 363-371. DOI: 10.16357/j.cnki.issn1000-5862.2022.04.06 .

[16] ZHANG B Q, ESSL G, MOWER PROVOST E. Predicting the Distribution of Emotion Perception: Capturing Inter-rater Variability[C]//Proceedings of the 19th ACM International Conference on Multimodal Interaction. New York: ACM, 2017: 51-59. DOI:10.1145/3136755.3136792 .

[17] 刘烨, 刘仕鑫, 曾雪强, 等. 融合Emoji情感分布的多标签情绪识别方法[J]. 中文信息学报, 2024, 38(4): 120-133. DOI: 10.3969/j.issn.1003-0077.2024.04.012 .

[18] LIU Y, LIU S X, ZENG X Q, et al. Emoji Emotion Distribution Information Fusion for Multi-label Emotion Recognition[J]. J Chin Inf Process, 2024, 38(4): 120-133. DOI: 10.3969/j.issn.1003-0077.2024.04.012 .

[19] ZHANG S, TONG H H, XU J J, et al. Graph Convolutional Networks: a Comprehensive Review[J]. Comput Soc Netw, 2019, 6(1): 11. DOI:10.1186/s40649-019-0069-y .

[20] GOYAL P, FERRARA E. Graph Embedding Techniques, Applications, and Performance: a Survey[J]. Knowl Based Syst, 2018, 151: 78-94. DOI:10.1016/j.knosys.2018.03.022 .

[21] CHEN Z M, WEI X S, WANG P, et al. Multi-label Image Recognition with Graph Convolutional Networks[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE, 2019: 5177-5186. DOI:10.1109/cvpr.2019.00532 .

[22] SCHOENE A M, TURNER A P, DETHLEFS N. Bidirectional Dilated LSTM with Attention for Fine-grained Emotion Classification in Tweets[J]. Affcon@AAAI, 2020, 2614: 100-117. DOI: 10.1007/s00521-022-08186-1 .

[23] VU H T, NGUYEN M T, NGUYEN V C, et al. Label-representative Graph Convolutional Network for Multi-label Text Classification[J]. Appl Intell, 2023, 53(12): 14759-14774. DOI:10.1007/s10489-022-04106-x .

[24] SINGH G V, FIRDAUS M, EKBAL A, et al. Unity in Diversity: Multilabel Emoji Identification in Tweets[J]. IEEE Trans Comput Soc Syst, 2023, 10(3): 1029-1038. DOI:10.1109/TCSS.2022.3162865 .

[25] DEVLIN J, CHANG M W, LEE K, et al. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding[C]//Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics. Stroudsburg PA, USA: ACL, 2019: 4171-4186. DOI: 10.18653/v1/N19-1423 .

[26] CHI P H, CHUNG P H, WU T H, et al. Audio Albert: a Lite Bert for Self-supervised Learning of Audio Representation[C]//2021 IEEE Spoken Language Technology Workshop (SLT). New York: IEEE, 2021: 344-350. DOI:10.1109/SLT48900.2021.9383575 .

基金资助

国家自然科学基金(62266021)

江西省教育厅科学技术研究(GJJ2200330)