基于知识增强与多层注意力机制的方面级情感分析方法

Aspect-Based Sentiment Analysis Method Based on Knowledge Enhancement and Multi-Layer Attention Mechanism

摘要

方面级文本情感分析旨在分析长句子中不同方面各自对应的情感极性。目前，较新的神经网络模型着重考虑了文本中方面词提取对情感预测的作用，但忽略了文本信息歧义和生僻等现实文本缺陷，导致外部知识和方面词信息之间的互补性还未得到充分的研究，模型性能仍有优化空间。因此，提出一种基于知识增强与多层注意力机制的方法，通过双向长短期记忆网络存储文本表示与辅助信息，利用图卷积神经网络获得句法信息并用知识增强来提取方面词的归类表示，引入多层注意力机制将融合后特征输入全局平均池化层，提高精准度。实验表明，在SemEval任务和Twitter数据集上，所提方法性能超过基线系统，获得了较好的实验结果。

Abstract

Aspect-level sentiment analysis aims to analyze the corresponding sentimental polarity of different aspects in long sentences. Currently, newer neural network models primarily concentrate on the impact of aspect term extraction on sentiment prediction but overlook real text defects such as ambiguity and lack of textual information. This oversight leads to inadequate exploration of the complementarity between external knowledge and aspect term information, leaving room for further optimization of model performance. To solve this problem, this paper proposes a method based on knowledge enhancement and a multi-layer attention mechanism. The model stores text representation and auxiliary information through a bi-directional long short-term memory network, obtains syntax information using a graph convolutional network, and extracts categorical representation of aspect terms by knowledge enhancement. This means a multi-layer attention mechanism is introduced to input the fused features into the global average pooling layer to improve accuracy. On the SemEval task and Twitter dataset, the proposed model outperforms the baseline and achieves good experimental results.

Graphical abstract

关键词

方面级情感分析 / 知识增强 / 图卷积神经网络 / 多层注意力机制

Key words

aspect-based sentiment analysis / knowledge enhancement / graph convolutional network / multi-level attention mechanism

0　 引 言

情感分析（Sentiment Analysis）又称为观点挖掘（Opinion Mining），其主要任务是以文本为基础，利用语言学、文本分析等方法对有情感色彩的句子进行处理、分析、推理和归纳^[1，2]，常用于对各社交网站的博文和评论进行观点分析和情感判断。在以往工作中，情感分析任务主要将整个句子的情感极性推断为“积极、中性、消极”三类。但随着互联网信息化的高速发展，被分析的语料呈现出信息量大、涉及方面丰富、句式组织化程度低等特点。为了解决上述实际文本的问题，方面级情感分析（Aspect-based Sentiment Analysis，ABSA）应运而生，方面级情感分析是判断句子中各个方面词情感极性的任务，可分拆为方面词提取、方面词归类、方面词情感分类三个子任务^[3]。

方面级情感分析的早期研究中，基于统计、手工标注特征、支持向量机等方法均存在人工消耗多、效率低的问题。在深度学习引入研究后，如Kim^[4]运用卷积神经网络（Convolutional Neural Network，CNN）在提取局部特征的能力上十分显著，提升了模型方面词提取的能力，但是因为没有时间依赖性而丢失了句子的全局信息，情感分类效果达不到预期。长短期记忆网络（Long Short-Term Memory networks，LSTM）弥补了这一的缺点，注意力机制的加入使得方面词在文本中的位置更清晰，如TD/TC-LSTM^[5]、ATAE-LSTM^[6]、IAN^[7]、RAM^[8]等，发掘了隐含在上下文之间的信息并给予权重，使模型得到一个完整且有权重的文本表示。此外，模型的注意力层会将距离方面词较近且有意义的上下文赋以较高权重，提高了准确率^[9]。

方面级情感分析的方面词提取和情感分类能力已经表现不错，但在现实中，一方面文本冗长，导致方面词需要关联的上下文处于较远位置；另一方面文本的用词偏生活化，文本出现歧义、生僻等现象后，方面词无法利用全文信息找到对应的情感信息。于是，方面词归类子任务的重要性逐渐显现。例如，“Food was good, but for the price here, four raviolis doesn’t cut it as an entre.”这一例句中谈及了三个方面，它们分别是：food、price和raviolis。简单地，food的情感极性是积极的，但price的情感极性则需要借助文本距离较长的后半句来辅助判断；文本后半句的ravioli则较为生僻，在以往工作中不易被归为方面词，导致所有方面的情感分类准确率降低。

本文期望通过知识增强来改进方面词归类的方法，将ravioli归类到food大类后，结合上下文信息可判断其情感极性是消极的；也可以判断句法关系较远的方面词price情感极性为消极。

为此，本文提出一种基于知识增强和多层注意力机制的方法（Knowledge Enhancement and Multi-Level Attention，KEMA），主要贡献如下：

1） 引入了基于句法依赖树的图卷积神经网络，提取文本的句法特征，关联上下文各相关词与方面词。

2） 融合了知识图谱，以更新并归类有上下文关联后的方面词，提升了方面词提取和归类的能力。

3） 通过多层注意力机制依次结合各项特征，增强了方面词及关联上下文的有效权重。

1　 相关工作

1.1　方面级情感分析

早期的方面级情感分析方法主要基于人工制定的规则，Ding^[10]手工标识种子形容词列表，使用WordNet^[11]对列表扩充。在数据量爆炸式增长后，早期专家系统给予的情感词典或情感倾向规则无法满足新词汇、冷门词汇被引入到数据中，准确率低。传统机器学习方法包括最大熵、决策树、支持向量机^[12]等。这些方法不需要构建词典等专家系统，转而标注数据的情感标签以构建特征模板来分类情感，但特征提取过程中存在数据稀疏和梯度爆炸问题，同时数据量增长带来的处理效率问题未能得到解决。

近年来，深度学习方法被广泛应用于方面级情感分析任务中，Kim^[4]将视觉领域的CNN技术在文本分类任务中应用,该模型使用多个滤波器来获得多个特征，捕获及时特性，完全连接到最大池化层后判断情感极性。Tang等^[5]建立了两个目标相关的长短时记忆网络,一方面捕获目标词周围的短距离上下文信息，另一方面捕获较远上下文与目标词之间的相互作用，两者相互承接，各司其职，初具语法依赖树的雏形。Zhu等^[13]将长短时记忆结构扩展到树结构，其中一个存储单元可以唤醒多个子单元的历史记忆从而反映到分层结构中的多个子单元，考虑了在更高层次结构上的远程交互。Sun等^[14]提出一种图卷积神经网络（Graph Convolutional Network，GCN）解决语法约束和长距离单词依赖问题，GCN方法利用句法依赖树内特定词的局部位置确保了局部位置下相邻依赖信息可编码。Zhang等^[15]改进了GCN方法的使用，将原上下文编码与句法处理结果融合后重新分配注意力权重，使模型达到最优性能。

1.2　知识增强

知识增强是一种借助原文本以外的外部知识，辅助文本内容挖掘情感信息，从而增强情感特征的方法。知识增强应用到方面级情感分析任务中主要有两种形式：调用外部知识库的单词权重或得分和知识图谱的三元组嵌入。WordNet就是其中一种外部知识库，旨在关联单词和概念。单词在句法集的形式中，通过上下文关系、整体部分关系和隐含的关联关系联系到一起，单词是下层次的概念也是上层次的子类，概念总是能从结构化语义特征集中分解成单词，从而分析语义成分。

Chen等^[16]按照机器翻译、音译链接的思路，将带有强烈情感色彩的种子词的情感极性传递给WordNet中与种子词语义相似的词，建立了一个由多种主要语言构建的情感词汇库，增强了种子词的情感特征。Zhu等^[17]将句法上与否定词相关的名词作为研究对象，使用情感树知识库挖掘和推理情感极性，改进了分类的效果。方面词的情感极性也受描述词周围单词情感强度的影响，使用句法知识库可以聚合增强周围单词的情感强度并显现真实的极性。Wang等^[18]在SemEval 2016的task 7任务中，提出了一个可以确定情感强度的专家系统。此系统自监督地学习数据集内各个单词情感强度的排名，并以此来预测单词相关得分。

Lin等^[19]将知识图谱三元组嵌入到词序列中，改进了单词间一一对应的特征挖掘方式，将多目标对应到文本中，实现多场景下的准确知识增强。Teng等^[20]使用递归神经网络学习句子的情感强度词、否定词和上下文敏感词，从上下文句法的角度增强了文本的情感表征。Lei等^[21]在文献[20]研究的基础上采用单头和多头注意力机制将情感词典完全嵌入到神经网络中。单头注意力机制根据与情感词汇相关的意图重要性，计算不同单词位置的注意力权重；多头注意力机制则允许模型关注句法知识上不同位置的不同信息，以达到准确增强情感信息的效果。

本文方法调用句法知识库提取方面词及相关词的有效序列，结合知识图谱WordNet的三元组嵌入特征，更新方面词及相关词的归类表示，增强了情感信息与方面词的联系。

1.3　多层注意力机制

方面级情感分析任务的目标就是完成对方面词情感极性的分类，而深度学习方法只是对方面词及可能存在关联的情感强度进行计算，注意力机制关注联系最紧密的信息，以达到优良的效果。因此，深度学习与注意力机制结合的方法也成为了方面级情感分析的主要研究方法。Wang等^[6]为了充分利用方面信息，设计了ATAE-LSTM依据上下文单词和方面之间依赖性进行建模，其中的AT-LSTM捕获句子的主干部分去检测方面词，AE-LSTM加入注意力机制来输出给定方面，学习方面信息。Li等^[22]采用协同注意机制区分方面词和上下文，去除不相关的信息并获得基本的表示。Feng等^[23]发现在大多数情况下，只有一小部分术语与一个方面的情感极性有关，于是在双向注意力机制中加入遮掩因子。模型第一遍选择权重最高的单词，接着设定阈值遮掩文本中不重要的成分，进一步提升准确度。Lu等^[24]引入了一个方面门控LSTM，用于指导方面特定信息的编码并丢弃与方面词无关的信息，在使用基于检索的注意力机制后得到情感极性。总而言之，注意力机制通过对模型不同关注部分赋予不同的权重，可以得到更为关键的信息，而赋予权重的限制则需要句法信息和外部知识依托深度学习模型给出。

本文方法从多层注意力机制的结构出发，利用长短时记忆网络整理文本围绕方面词的上下文信息，通过句法信息和外部知识依次指导方面词在上下文中的文本表示，根据其结果得到情感极性预测。

2　 本文方法

本文方法主要分为三个部分：词嵌入层，特征融合层和情感分类层。词嵌入层将句子转化为初始的词向量序列；特征融合层更新信息表示；情感分类层将方面词的情感极性分类。

2.1　词嵌入层

首先，输入句子被拆分为给定句子S和方面词T，其中，S=\{v_{\mathrm{1}},\dots ,v_{p+\mathrm{1}},\dots ,v_{p+q},\dots ,v_n\}包含n个单词，T=\{v_{p+\mathrm{1}},\dots ,v_{p+q}\}包含q个单词，本文计算的是方面词T在句子S中的情感极性。然后，使用预训练模型GloVe嵌入矩阵\mathit{E}将每个单词v_i嵌入到低维向量空间中,\mathit{E}\in {\mathbb{R}}^{d\times \left|V\right|}，其中\left|V\right|和d分别是预训练模型的大小和词嵌入的维度。在词嵌入方法的指导下，获得文本词向量表示\mathit{W}=\{w_{\mathrm{1}},\dots ,w_{p+\mathrm{1}},\dots ,w_{p+q},\dots ,w_n\}\in {\mathbb{R}}^{d_{\mathrm{e}\mathrm{m}\mathrm{b}}}。

2.2　特征融合层

这一层的工作是对词向量序列进行编码，提取并更新方面词及相关词的特征，输出带权重的情感信息特征到情感分类层。特征融合层如图1所示。

2.2.1　长短时记忆网络

基于单词嵌入，使用两个独立的双向LSTM（BiLSTM）捕获句子间方面词与其他词长距离和短距离的依赖信息，本文用\overrightarrow{\mathrm{L}\mathrm{S}\mathrm{T}\mathrm{M}}表示正向操作，\stackrel{⃖}{\mathrm{L}\mathrm{S}\mathrm{T}\mathrm{M}}表示反向操作，隐藏状态向量可以通过以下公式获得：

h_i^s=\left[\overrightarrow{\mathrm{L}\mathrm{S}\mathrm{T}\mathrm{M}}\left(w_i^s\right),\stackrel{⃖}{\mathrm{L}\mathrm{S}\mathrm{T}\mathrm{M}}\left(w_i^s\right)\right],i\in \left\{\mathrm{1},n\right\}(1)

h_j^t=\left[\overrightarrow{\mathrm{L}\mathrm{S}\mathrm{T}\mathrm{M}}\left(w_j^t\right),\stackrel{⃖}{\mathrm{L}\mathrm{S}\mathrm{T}\mathrm{M}}\left(w_j^t\right)\right],j\in \left\{\mathrm{1},q\right\}(2)

句子的BiLSTM隐藏输出为H_c^s=\{h_{\mathrm{1}}^s,\dots ,h_{p+\mathrm{1}}^s,\dots ,h_{p+q}^s,\dots ,h_n^s\},方面词的BiLSTM隐藏输出为H_c^t=\{h_{\mathrm{1}}^t,h_{\mathrm{2}}^t,\dots ,h_i^t,\dots ,h_q^t\}。

2.2.2　基于句法依赖的图卷积神经网络

图卷积神经网络在句法依存树的基础上沿依赖路径（即连接两个词语在依赖关系上的路径，反映了句法关系的远近）将邻居节点信息聚合到目标节点，从而捕捉输入句子的句法特征，以“Food was good, but for the price here, four raviolis doesn’t cut it as an entre.”为例，构造句子中的依存关系树，如图2所示。

首先构造句子中的依存关系树，同时得到单词之间的依赖关系。为了获得较低稀疏性的邻接矩阵，本文选择无方向性依赖图，以获得邻接矩阵\mathit{A}，并将相邻节点的值设置为1。然后根据其邻域的隐藏表示更新第i个GCN层中的每个节点：

h_i^l=\mathrm{r}\mathrm{e}\mathrm{l}\mathrm{u}\left(\widetilde{A_i}{h}_i^{l-\mathrm{1}}{\mathit{W}}^l+{\mathit{b}}^l\right),l\in \{\mathrm{0,1}\}(3)

\widetilde{A_i}={\displaystyle \sum _{j=\mathrm{1}}^n}\frac{A_{i,j}}{\sqrt[]{\left|m_i+\mathrm{1}\right|\bullet \left|m_j+\mathrm{1}\right|}}(4)

这里m_i={\displaystyle \sum _{j=\mathrm{1}}^n}{A}_{i,j}是第i个节点的一阶邻居节点个数，{\mathit{W}}^l和{\mathit{b}}^l分别是第l层GCN的权重矩阵和偏置，即可得到更新后的{H_c^t}^{\text{'}}。

2.2.3　知识增强

为了更准确地对方面词进行归类，引入了知识图谱WordNet2作为外部知识库，它根据词汇的矩阵进行组织，包含超过110 000个词形和语义对，并使用同义词集表示单词概念。概念之间有名词、动词、形容词、副词、虚词五个大类，在各词性中关系各不同，例如名词中常用关系：上位关系、内含关系、同义关系、反义关系等。WordNet通过上位词及同义词理解单词，重新关联方面词与对应形容词、副词，解决了在以往的方法中生僻方面词由于无法被归类导致其情感极性无法判断的问题。例如文本“Food was good, but for the price here, four raviolis doesn't cut it as an entre.”中的“ravioli”是“pasta”的下位词，它与“pastry”“food”等方面词直接相关，WordNet即可判断 “n't cut”在此语境知识下是消极倾向的。

知识图谱的嵌入方法是较为简单高效的，本文使用知识嵌入的方法将知识图谱的语义关系建模为头尾向量之间的转移关系，完成方面词在WordNet中的上位词、同义词等关系的替换。TransR^[21]既解决了早期模型TransE中无法处理实体一对多、多对一、多对多关系的缺陷，也突破了实体与关系在不同语义空间中的限制。知识图谱嵌入方法中头、尾、关系对应着h,t为实体嵌入，r为关系嵌入。TransR将实体空间中的实体通过矩阵{\mathit{M}}_r投影到r关系空间中，分别有h_r和t_r，且h_r+r\approx t_r,h_r=h{\mathit{M}}_r,t_r=t{\mathit{M}}_r得到序列H_r，得分函数为：

f_r\left(h,t\right)={‖h_r+r-t_r‖}_{\mathrm{2}}^{\mathrm{2}}(5)

损失函数为：

L=\sum _{\left(h,r,t\right)\in J}\sum _{\left(h^{\text{'}},r^{\text{'}},t^{\text{'}}\right)\in J^{\text{'}}}\mathrm{m}\mathrm{a}\mathrm{x}\left(\mathrm{0},f_r\left(h,t\right)+\gamma -f_r\left(h^{\text{'}},t^{\text{'}}\right)\right)(6)

其中\mathrm{m}\mathrm{a}\mathrm{x}函数旨在获得两者之间的最大值，\gamma是余量，J是正确的三元组组合，J^{\text{'}}是错误的三元组组合。

2.2.4　多层注意力机制

多层注意力机制为本文主要的上下文与方面词信息交互方式，其方法是依次整合上下文与方面词信息加权，拆解并合并方面词与相关词的提取、方面词的归类、情感极性的分类任务，使信息被充分利用。一般的注意力机制中，缩放点积注意力的输入由问题、关键词的维度d_{\mathrm{k}\mathrm{e}\mathrm{y}}、值的维度d_{\mathrm{v}\mathrm{a}\mathrm{l}\mathrm{u}\mathrm{e}}组成，一般两者的值均设为d，再计算问题和所有关键词的点积，公式为：

f=\mathrm{A}\mathrm{t}\mathrm{t}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}\left(\mathit{Q},\mathit{K},\mathit{V}\right)=\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}(\frac{\mathit{Q}{\mathit{K}}^{\mathrm{T}}}{\sqrt[]{d}})\mathit{V}(7)

其中，问题\mathit{Q}\in {\mathbb{R}}^{n\times d}，关键词矩阵\mathit{K}\in {\mathbb{R}}^{n\times d}，值矩阵\mathit{V}\in {\mathbb{R}}^{n\times d}。

为进一步提高注意力特征的表示能力，引用多头注意力从多个子空间捕获文本序列的关键信息，将每个头部操作的结果连接起来，然后映射回原始尺寸。假设原始模型的维度为d_{\mathrm{m}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{l}}，则

f=\mathrm{M}\mathrm{H}\mathrm{A}\mathrm{t}\mathrm{t}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}\left(\mathit{Q},\mathit{K},\mathit{V}\right)=\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{c}\mathrm{a}\mathrm{t}(\mathrm{h}\mathrm{e}\mathrm{a}{\mathrm{d}}_{\mathrm{1}},\mathrm{h}\mathrm{e}\mathrm{a}{\mathrm{d}}_{\mathrm{2}},\dots ,\mathrm{h}\mathrm{e}\mathrm{a}{\mathrm{d}}_h){\mathit{W}}^{\mathrm{0}}(8)

这里的\mathrm{h}\mathrm{e}\mathrm{a}{\mathrm{d}}_i=\mathrm{A}\mathrm{t}\mathrm{t}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}(\mathit{Q}{\mathit{W}}_i^{\mathit{Q}},\mathit{K}{\mathit{W}}_i^{\mathit{K}},\mathit{V}{\mathit{W}}_i^{\mathit{V}})，{\mathit{W}}_i^{\mathit{Q}},{\mathit{W}}_i^{\mathit{K}},{\mathit{W}}_i^{\mathit{V}}\in {\mathbb{R}}^{d_{\mathrm{m}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{l}\times d}},{\mathit{W}}^{\mathrm{0}}\in {\mathbb{R}}^{hd\times d_{\mathrm{m}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{l}}}。

首先，获得方面词与相关词的完整信息（T_e），

T_e=\mathrm{M}\mathrm{H}\mathrm{A}\mathrm{t}\mathrm{t}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}\left(H_c^s,{H_c^t}^{\text{'}}\right)(9)

其中，H_c^s为上下文文本信息特征，{H_c^t}^{\text{'}}为基于句法依赖的图卷积神经网络得到的方面词序列。

然后，求得方面词归类的特征（T_c），

T_c=\mathrm{M}\mathrm{H}\mathrm{A}\mathrm{t}\mathrm{t}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}(T_e,H_c^t,H_r)(10)

其中，H_r为知识嵌入信息，H_c^t为方面词的初始序列信息，T_e为上一层得到的方面词与相关词完整信息。三者的特征融合既充分利用了原文信息来优化归类后的表征，又避免了知识三元组嵌入可能丢失关键信息。

最后，融合得出最终的文本表示(C_r)：

C_r=\mathrm{M}\mathrm{H}\mathrm{A}\mathrm{t}\mathrm{t}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}(T_c,H_c^s)(11)

其中，H_c^s为上下文文本信息特征，T_c为上一层得到的方面词及相关词的归类表示。这两者的融合，保证了原文本的部分有效信息不会被遗漏。C_r进行平均池化得到C_{r_{\mathrm{a}\mathrm{v}\mathrm{g}}}。以“Food was good, but for the price here, four raviolis doesn’t cut it as an entre.”为例，结果为“Food was good, food’ price n’t cut as an entre.”，C_{r_{\mathrm{a}\mathrm{v}\mathrm{g}}}即为多层注意力机制的处理结果，文本特征将更关注方面词的归类抽象表示和相关形容的归类表示，输出到情感分类层。

2.3　情感分类层

使用全连接层和\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}函数对带有方面词的文本表示进行分类，得到映射至不同情感极性上的概率，如下式所示：

p=s\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}({\mathit{W}}_p\bullet C_{r_{\mathrm{a}\mathrm{v}\mathrm{g}}}+{\mathit{b}}_p)(12)

其中{\mathit{W}}_p\in {\mathbb{R}}^{d_p\times d_{\mathrm{e}\mathrm{m}\mathrm{b}}}和{\mathit{b}}_p\in {\mathbb{R}}^{d_p\times \mathrm{1}}分别为参数向量和偏置，且p\in {\mathbb{R}}^{d_p}，d_p为训练集中情感极性的分类。

采用最小化交叉熵训练模型，交叉熵损失函数如下式所示：

\mathrm{L}\mathrm{o}\mathrm{s}\mathrm{s}=-{\displaystyle \sum _{i=\mathrm{1}}^D}{\displaystyle \sum _{j=\mathrm{1}}^C}\mathrm{l}\mathrm{o}\mathrm{g}{P}_i^j+\lambda {‖\theta ‖}^{\mathrm{2}}(13)

其中，D为训练数据集大小，C=3为情感类别，\widehat{P}为数据集中样本的实际类别分布，P为模型输出的预测类别分布，\lambda {‖\theta ‖}^{\mathrm{2}}为L_{\mathrm{2}}正则项。

3　 实 验

3.1　实验设置

本文的数据集为SemEval14^[25]提供的Restaurant和Laptop两个领域的用户评论，以及Twitter^[26]提供的用户博文数据集。数据中包含方面词、方面词组，方面的情感极性被分为积极、中性及消极三类。数据集分为训练集、验证集和测试集，验证集约占训练集的33%，三个情感类别在各数据集上的统计如表1所示。

本文的词嵌入层使用Glove词向量，维度为300。GCN的层数为2，L_{\mathrm{2}}正则项系数为{\mathrm{10}}^{-\mathrm{5}}，模型通过0.001学习率的Adam优化器进行优化，最大迭代次数为20，随机失活率为0.5。

3.2　评价指标

本文采用准确率（A）、宏F1（Macro-F1）值判断模型识别效果，具体公式为：

A=\frac{\mathrm{T}\mathrm{P}+\mathrm{T}\mathrm{N}}{\mathrm{T}\mathrm{P}+\mathrm{F}\mathrm{P}+\mathrm{T}\mathrm{N}+\mathrm{F}\mathrm{N}}\times \mathrm{100}\mathrm{\%}(14)

\mathrm{m}\mathrm{a}\mathrm{c}\mathrm{r}\mathrm{o}⁃F\mathrm{1}=\frac{\mathrm{1}}{C}{\displaystyle \sum _{i=\mathrm{1}}^C}F{\mathrm{1}}_i\times \mathrm{100}\mathrm{\%}(15)

F\mathrm{1}=(\mathrm{2}\times P\times R)/(P+R)

其中，P为精确率，R为召回率；\mathrm{T}\mathrm{P}代表预测为正向实际为正向类的样本数，\mathrm{F}\mathrm{P}代表预测为正向实际为负向类的样本数，\mathrm{T}\mathrm{N}代表预测为负向实际为负向类的样本数，\mathrm{F}\mathrm{N}代表预测为负向实际为正向类的样本数；F{\mathrm{1}}_i表示在第i个分类上计算的评价指标。C的取值为3，因为类别标签为积极的、中性的和消极的三类标签。

3.3　实验结果与分析

本文选取了传统机器学习方法(SVM^[12])、深度学习方法(ATAE-LSTM^[7],IAN^[8])、基于知识的方法(SK-GCN^[27])、基于语言规则的方法(AGCN-MAX^[28])这四个大类方法中表现较好的模型作为对比，衡量本文基于知识增强和多层注意力机制方法的性能。

1） SVM^[12]：支持向量机分类器，通过人工构造大量特征，引入了N-gram、外部情感词典等方式完成分类。

2） ATAE-LSTM^[7]：方面词与句中每个词的上下文信息都进行拼接,并采用注意力机制加深文本中方面词相关词汇的关注度。

3） IAN^[8]：通过注意力机制对方面词和上下文交互处理，生成的两者有相互关系的特征依次进行情感分类。

4） SK-GCN^[27]：句法信息和常识知识各司其职，指导捕获方面词在上下文中的完整信息。

5） AGCN-MAX^[28]：重新设计并提出体系结构构造图卷积神经网络，利用两个聚合器捕捉长距离依赖的特征，可有效地提取上下文和方面序列信息。

由表2可知，传统机器学习模型在人工标注的帮助下可以在部分语言规则清晰的数据集上有较好的表现，但在其他数据集上表现远逊色于深度学习模型。而引入了注意力机制的深度学习模型IAN对比考虑了上下文对方面词编码的ATAE-LSTM各有优劣，说明了深度学习模型将句子拆分为单词级序列、考虑到方面词本身、与上下文有交互的特点是解决方面级情感分析的良好思路。从SK-GCN模型到AGCN-MAX模型引入了图卷积神经网络，它较之前的深度学习网络有一定进步。其原因是关注上下文与方面词关系的核心是关注句法上与方面词产生实际联系的上下文。SK-GCN的进步在于基于语言知识的模型考虑到了注意力机制的原理，上下文的注意力重心会倒向句义上的重点。AGCN-MAX模型具有增强目标节点的表示能力，引入的两个聚合器函数迭代更新了每个节点的表示，提取了更多相关的节点信息。本模型KEMA并未止步于建立方面词与上下文联系，而是将方面词单独作为特征进行剖析并扩充其语义特征，在全文本中联系有效信息进行外部知识的嵌入，演变了目前对方面词结构化的处理方式。本模型在Restaurant、Laptop和Twitter数据集上的实验效果绝大部分指标优于基线模型。在Twitter数据集指标上略微逊于AGCN-MAX，其原因是AGCN-MAX的两个并行GCN模块，处理Twitter数据集中语序规则较弱的句子时，有更强的解析能力。综上，本文方法将知识增强用于句法结构，对方面词语义特征进行了丰富，更准确地完成了方面词归类任务，提升了方面词提取任务的效果，验证了在方面级情感分析任务上的有效性。

本文对KEMA方法在Restaurant、Laptop和Twitter数据集上进行了消融实验，以验证方法中各部分性能，实验结果如表3所示。本文方法中，不考虑句法信息（KEMA w/o GCN）的情况下，各指标均有下降，说明句法信息获得了更加丰富的单词间依赖关系，使模型获得了较长范围的依赖关系是解决现实文本在长距离上下文中关联方面词的难题；不考虑知识增强（KEMA w/o KG）的情况下，各指标均有下降，说明知识增强将方面词及上下文信息与外部知识进行有效关联，使模型产出的文本表示易分类，解决现实文本在歧义、生僻情况下无法有效捕获情感信息的问题。不考虑知识增强（KEMA w/o KG）的模型在Restaurant数据集上的表现比Laptop、Twitter数据集上的好，在手动检查数据集样本后，发现Restaurant数据集中生僻或歧义的缺陷情况会更多，说明本文方法对现实数据效果明显。

从表4可以看出，本文方法在有可能歧义现象的现实文本side dishes和生僻现象的现实文本raviolis两个场景中能够捕捉正确的方面词和上下文，相较于以往模型解决此类问题的能力有所提升，在实际应用中发挥了其重要的作用。

4　 结 语

本文提出一种基于知识增强和多层注意力机制的方面级情感分析方法，解决了主流模型未充分考虑到现实文本方面词的歧义和生僻问题。本方法提出多层注意力机制作用于方面词情感信息扩充后与上下文联系，并用双向长短时记忆网络存储文本序列信息，利用句法信息和知识逐步扩充方面词的语义特征，整体上较好地分配了情感信息的权重、保证了文本信息的完整性。实验结果表明，本文提出的KEMA方法可以有效地解决方面级情感分析中的问题。未来计划进一步优化模型结构，在更多的实际文本如弹幕文本、影评文本中寻找到知识融合的变种形式。

参考文献

[1] CAMBRIA E， SCHULLER B， XIA Y Q， et al. New avenues in opinion mining and sentiment analysis［J］. IEEE Intelligent Systems， 2013， 28（2）： 15-21. DOI： 10.1109/MIS.2013.30 .

[2] HU M Q， LIU B. Mining and summarizing customer reviews［DB/OL］.［2023-09-10］. DOI: 10.1145/1014052.1014073 .

[3] TRISNA K W， JIE H J. Deep learning approach for aspect-based sentiment classification： A comparative review［J］. Applied Artificial Intelligence， 2022， 36（1）： 1-37. DOI： 10.1080/08839514.2021.2014186 .

[4] KIM Y. Convolutional neural networks for sentence classification［C］//Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing （EMNLP）. Stroudsburg： Association for Computational Linguistics， 2014： 1746-1751. DOI： 10.3115/v1/d14-1181 .

[5] TANG D， QIN B， FENG X， et al. Effective LSTMs for target-dependent sentiment classification［DB/OL］.［2023-09-10］.

[6] WANG Y Q， HUANG M L， ZHU X Y， et al. Attention-based LSTM for aspect-level sentiment classification［C］//Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing. Stroudsburg： Association for Computational Linguistics， 2016： 606-615. DOI： 10.18653/v1/d16-1058 .

[7] MA D H， LI S J， ZHANG X D， et al. Interactive attention networks for aspect-level sentiment classification［DB/OL］.［2023-09-10］. DOI: 10.24963/ijcai.2017/568 .

[8] CHEN P， SUN Z Q， BING L D， et al. Recurrent attention network on memory for aspect sentiment analysis［DB/OL］.［2023-09-10］. DOI: 10.18653/v1/d17-1047 .

[9] HU M T， ZHAO S W， ZHANG L， et al. CAN： Constrained attention networks for multi-aspect sentiment analysis［DB/OL］.［2023-09-10］.DOI: 10.18653/v1/d19-1467 .

[10] DING X W， LIU B， YU P S. A holistic lexicon-based approach to opinion mining［DB/OL］.［2023-09-10］. DOI: 10.1145/1341531.1341561 .

[11] MILLER G A. WordNet： A lexical database for English ［J］. Communications of the ACM， 1995， 38（11）： 39-41. DOI： 10.1145/219717.219748 .

[12] KIRITCHENKO S， ZHU X D， CHERRY C， et al. NRC-Canada-2014： Detecting aspects and sentiment in customer reviews［C］//Proceedings of the 8th International Workshop on Semantic Evaluation （SemEval 2014）. Stroudsburg： Association for Computational Linguistics， 2014： 437-442. DOI： 10.3115/v1/s14-2076 .

[13] ZHU X D， SOBHANI P， GUO H Y. Long short-term memory over recursive structures［DB/OL］.［2023-09-10］. DOI: 10.18653/v1/n16-1106 .

[14] SUN K， ZHANG R C， MENSAH S， et al. Aspect-level sentiment analysis via convolution over dependency tree［DB/OL］.［2023-09-10］. DOI: 10.18653/v1/d19-1569 .

[15] ZHANG C， LI Q C， SONG D W. Aspect-based sentiment classification with aspect-specific graph convolutional networks［DB/OL］.［2032-09-10］. DOI: 10.18653/v1/d19-1464 .

[16] CHEN Y Q， SKIENA S. Building sentiment lexicons for all major languages［DB/OL］.［2023-09-10］. DOI: 10.3115/v1/p14-2063 .

[17] ZHU X D， GUO H Y， MOHAMMAD S， et al. An empirical study on the effect of negation words on sentiment［DB/OL］.［2023-09-10］. DOI: 10.3115/v1/p14-1029 .

[18] WANG F X， ZHANG Z H， LAN M. ECNU at SemEval-2016 task 7： An enhanced supervised learning method for lexicon sentiment intensity ranking［DB/OL］.［2023-09-10］. DOI: 10.18653/v1/s16-1080 .

[19] LIN Y K， LIU Z Y， SUN M S， et al. Learning entity and relation embeddings for knowledge graph completion［DB/OL］.［2023-09-10］. DOI: 10.1609/aaai.v29i1.9491 .

[20] TENG Z Y， VO D T， ZHANG Y. Context-sensitive lexicon features for neural sentiment analysis［C］//Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing. Stroudsburg： Association for Computational Linguistics， 2016： 1629-1638. DOI： 10.18653/v1/d16-1169 .

[21] LEI Z Y， YANG Y J， YANG M. Sentiment lexicon enhanced attention-based LSTM for sentiment classification［DB/OL］.［2023-09-10］. DOI: 10.1609/aaai.v32i1.12142 .

[22] LI H H， XUE Y， ZHAO H Y， et al. Co-attention networks for aspect-level sentiment analysis［C］//CCF International Conference on Natural Language Processing and Chinese Computing. Cham： Springer， 2019： 200-209. DOI：10.1007/978-3-030-32236-6_17 .

[23] FENG A， ZHANG X L， SONG X Y. Unrestricted attention may not be all you need⁃masked attention mechanism focuses better on relevant parts in aspect-based sentiment analysis［J］. IEEE Access， 2022， 10： 8518-8528. DOI： 10.1109/ACCESS.2022.3142178 .

[24] LU Q， ZHU Z F， ZHANG G Y， et al. Aspect-gated graph convolutional networks for aspect-based sentiment analysis［J］. Applied Intelligence， 2021， 51（7）： 4408-4419. DOI： 10.1007/s10489-020-02095-3 .

[25] PONTIKI M， GALANIS D， PAVLOPOULOS J， et al. SemEval-2014 task 4： Aspect based sentiment analysis［C］//Proceedings of the 8th International Workshop on Semantic Evaluation （SemEval 2014）. Stroudsburg： Association for Computational Linguistics， 2014： 27-35. DOI： 10.3115/v1/s14-2004 .

[26] DONG L， WEI F R， TAN C Q， et al. Adaptive recursive neural network for target-dependent twitter sentiment classification［DB/OL］. ［2023-09-10］. DOI: 10.3115/v1/p14-2009 .

[27] ZHOU J， HUANG J X， HU Q V， et al. SK-GCN： Modeling syntax and knowledge via graph convolutional network for aspect-level sentiment classification［J］. Knowledge-Based Systems， 2020， 205： 106292. DOI： 10.1016/j.knosys.2020.106292 .

[28] ZHAO M， YANG J， ZHANG J P， et al. Aggregated graph convolutional networks for aspect-based sentiment classification［J］. Information Sciences， 2022， 600： 73-93. DOI： 10.1016/j.ins.2022.03.082 .

基金资助

“十四五”湖北省优势特色学科群项目(2023D0302)

湖北省大学生创新创业训练项目(S202310488126)