基于BERT - MABL模型的客户评论情感分析研究

Research on sentiment analysis for customer reviews based on the BERT-MABL model

摘要

为准确分析平台客户评论的情感倾向，针对传统的情感分析模型无法联系上下文语义信息、无法解决一词多义、没有分配词汇情感权重等问题，提出了一种基于BERT - MABL模型的文本情感分析方法.首先使用BERT来提取包含深层语义信息的词向量，同时为了使模型能够学习到文本的上下文语义，使用Bi - LSTM模型作为主体，再引入多头注意力机制构建出MABL模型，解决Bi - LSTM无法考虑词汇情感分配权重的问题，并使模型可以从多个角度关注文本信息.实验结果表明，当多头个数和Dropout率分别为8和0.3时，基于BERT - MABL模型的客户评论情感分析方法在3个数据集上的准确率分别达到了89.28%、90.20%和90.85%，F1值分别达到了87.16%、89.04%和88.24%，均优于传统模型.

Abstract

The advancement of Internet technology has led to the rapid rise of e-commerce platforms. In order to accurately analyze the sentiment orientation of customer reviews on these platforms， a text sentiment analysis method based on the BERT - MABL model is proposed. Traditional sentiment analysis models face challenges such as the inability to incorporate contextual semantic information， difficulty in resolving word ambiguity， and the lack of assigning sentiment weights to vocabulary.The proposed method first utilizes BERT to extract word embeddings that capture deep semantic information. To enable the model to learn contextual semantics， the Bi - LSTM model is employed as the backbone. Additionally， the MABL model is constructed by introducing a multi - head attention mechanism to address the issue of sentiment weight allocation that Bi - LSTM cannot handle. This allows the model to focus on text information from multiple perspectives.Experimental results demonstrate that the customer review sentiment analysis method based on the BERT - MABL model achieves significant improvements over traditional models. With a multi - head count of 8 and a Dropout rate of 0.3， the accuracy of the BERT - MABL model on three datasets reaches 89.28%， 90.20%， and 90.85%， respectively. The corresponding F1 scores are 87.16%， 89.04%， and 88.24%.

Graphical abstract

关键词

情感分析 / BERT / 词向量 / Bi - LSTM / 多头注意力机制

Key words

sentiment analysis / BERT / word embedding / Bi - LSTM / multi - head attention mechanism

互联网迅速地发展使得大量信息从物理世界向数字领域迁移^［1］.电子商务、银行业、多媒体消费等领域相继进行转变，同时也改变了人们获取信息的方式.目前在线评论是客户获取信息的主要方式，比如购买产品、观看电影或者选择餐厅时进行对比^［2］.这些评论通常以自由文本格式撰写，需要客户自己阅读和分析，以识别表达的观点并发现其中的优点和缺点^［3］，情感分析能够帮助客户在众多评论中挖掘出有用信息.

情感分析旨在识别和分析文本中的情感倾向，在商业、政府和教育等多个领域都具有极大的价值，大量的研究也证明了它的实用性.文献［4］通过使用数据挖掘算法分析了Twitter的航空公司讨论数据，并确定表情符号在情绪传达中起着重要作用.文献［5］将long short term memory（LSTM）与Word2Vec结合以提高情感分析性能.文献［6］通过分词和清洗数据提出了一个用于评论意见挖掘的bidirectional long short term memory（Bi - LSTM）模型，并使用预训练的Word2Vec模型生成词向量.文献［7］提出了一种使用bidirectional encoder representations from transformers（BERT）预训练模型和卷积神经网络融合的文本情感分析模型，其分析效果优于传统模型.文献［8］评估了各种机器学习模型对情感分类的效果，其中BERT模型在情感分析中达到85.4%的准确率.文献［9］将convolutional neural networks（CNN）和Bi - LSTM的模型结合用于情感分析，其中CNN层接收特征嵌入作为输入并输出低级特征，而Bi-LSTM用于分类.文献［10］通过在CNN - BiLSTM模型上融合多头自注意力机制提升了模型的泛化能力，并在电商评论数据集上取得了91.481%的准确率.文献［11］利用双向门控循环单元捕捉文本中的上下文信息，并结合注意力机制来强调文本中关键词的重要性，该方法能够更准确地识别文本情感.

尽管目前的情感分析方法普遍能够捕捉到情感倾向，但是传统的情感分析模型仍然存在无法联系上下文语义信息、无法解决一词多义和没有分配词汇情感权重等问题，针对上述问题，提出了一种基于BERT - MABL模型的文本情感分析方法.

1 情感分析模型构建

1.1 BERT模型

BERT是Google在2018年提出的一种预训练语言表示模型，BERT建立在Transformer模型的编码器基础上^［12］.Transformer通过自注意力机制允许模型在处理序列的每个元素时，同时考虑序列中的所有其他元素，从而有效捕捉长距离依赖关系.与embeddings from language models（ELMo）使用2个反向LSTM不同，BERT采用了Transformer编码器，实现了真正的双向上下文表示，BERT能够捕获深度双向语境信息.

BERT的2个核心任务分别是掩码语言模型和下一句预测.

1） 掩码语言模型（masked language model，MLM）：在这个任务中，BERT随机遮蔽输入文本的一部分词汇，然后模型需要预测这些被遮蔽的词汇.这使得模型能够学习到一个词的上下文表示，因为它必须考虑左右两边的上下文信息来预测缺失的词.

2） 下一句预测（next sentence prediction，NSP）：在这个任务中，BERT模型被训练来预测给定的两个句子A和B，B是否是A的下文这个任务使得BERT能够捕捉句子间的关系，有助于理解段落或文档级别的语言结构.

BERT模型的输入层如图1所示.BERT模型的输入层设计来处理特定格式的输入数据，输入主要包含3部分：词嵌入层、段嵌入层和位置嵌入层.词嵌入层是输入序列中每个单词或标记的嵌入表示，将词汇映射到高维空间中的向量，通常使用WordPiece嵌入.段嵌入层用于区分2个不同的句子（在需要处理句子对的任务中），每个句子被赋予不同的标记（如“A”和“B”），以帮助模型理解句子界限.由于BERT使用的是Transformer架构，它本身并不具有捕获序列顺序的能力.因此，位置嵌入层用于给模型提供单词在句子中位置的信息.这3种嵌入相加，形成模型的最终输入表示，允许模型处理变长的序列，同时保留词汇、句子和位置信息.

1.2 MABL模型

MABL模型主要包括Bi - LSTM和多头注意力机制2个部分.Bi - LSTM主要关注于捕捉评论文本数据中的长距离依赖关系和上下文信息，但它本身并不是专门设计来考虑词汇的情感权重分配的.因此在Bi - LSTM的基础上，引入多头注意力机制，使模型能够多方面的考虑句子的真实情感，并进行汇总，以此方法来增强模型的表达能力.

1.2.1 Bi - LSTM层

长短期记忆网络（LSTM）引入了一个称为“门”的控制单元，这些门负责控制信息的流动，使当前词可以记忆上下文的信息，提高模型对长期依赖关系的学习能力，从而使输出的结果更加准确合理.如图2所示，LSTM的网络模型是由遗忘门、输入门和输出门组合得到的.

1） 遗忘门：它在LSTM中的作用是控制细胞状态中哪些信息应该被遗忘或保留.具体来说，遗忘门通过一个sigmoid激活函数产生一个0或者1的输出，用于表示每个细胞状态中的相应元素的保留程度，对值为“1”的神经元中所有信息进行保留，值为“0”的神经元中所有信息都进行遗忘.遗忘门的计算如公式（1）所示.

f_t=\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{m}\mathrm{o}\mathrm{i}\mathrm{d}(W_f[h_{t-\mathrm{1}},x_t]+b_f).（1）

其中，t表示的是时间步长，W表示该状态下更新的权重矩阵，b表示偏置.t时间步长的神经元被称为候选单元，使用tanh激活函数计算，可以得到该神经元的状态，用公式（2）表示.

{\tilde{C}}_t=\mathrm{t}\mathrm{a}\mathrm{n}\mathrm{h}(W_C[h_{t-\mathrm{1}},x_t]+b_C).（2）

2） 输入门：它控制新的输入信息如何被加入到细胞状态中，利用sigmoid激活函数，把候选单元状态的内容进行传递，输入到下一个状态见公式（3）.

i_t=\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{m}\mathrm{o}\mathrm{i}\mathrm{d}(W_i[h_{t-\mathrm{1}},x_t]+b_i).（3）

向量［h_t-1，x_t ］经历遗忘、输入后进入到候选状态，此时需要对候选状态的单元进行更新操作见公式（4）.

C_t=f_t{C}_{t-\mathrm{1}}+i_t{\tilde{C}}_t，（4）

3） 输出门：它的作用是控制细胞状态的哪一部分被输出到当前时刻的隐藏状态，从而影响网络的输出.并将输出的结果传递到下一时间步长，计算过程见公式（5） ~ （6）.

o_t=\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{m}\mathrm{o}\mathrm{i}\mathrm{d}(W_o[h_{t-\mathrm{1}},x_t]+b_o).（5）

h_t=o_t\mathrm{t}\mathrm{a}\mathrm{n}\mathrm{h}(C_t).（6）

Bi - LSTM的结构则包括2个LSTM层，一个负责前向传播（从序列开头到末尾），另一个负责后向传播（从序列末尾到开头）.在每个时间步，Bi - LSTM的隐藏状态由前向和后向的隐藏状态拼接而成，这意味着每个时间步的输出都包含了该位置之前和之后的上下文信息，这使得Bi - LSTM在处理序列数据时更具表达能力.

1.2.2 多头注意力层

为了解决Bi - LSTM没有考虑词汇情感分配的问题，提出使用注意力机制与其融合.但是传统的自注意力机制在于对当前点信息加工时，过度关注自身，因此采用多头注意力机制作为应对策略.多头注意力机制是自注意力机制的一个扩展，这种机制的核心思想是将注意力操作分解为多个“头”，每个头独立地对输入数据进行处理，然后将这些处理的结果合并起来.使用多头注意力机制能够给予注意力层的输出包含有不同子空间中的编码表示信息，从而增强模型的表达能力.多头注意力机制结构如图3所示.

多头注意力机制的计算过程如下.

1） 线性投影.首先，对于输入序列的每个元素，通过不同的权重矩阵生成多组的Q、K、V向量.假设有h个头，那么对于每个头i，都有一组权重矩阵W_i^Q、W_i^K、W_i^V，用于生成对应的Q_i、K_i 、V_i，如公式（7）所示.

Q_i=X{W}_i^Q,K_i=X{W}_i^K,V_i=X{V}_i^V.（7）

X表示输入序列的嵌入表示.

2） 独立的自注意力计算.然后对每个头独立地执行自注意力计算，对于每个头i，如公式（8）所示.

\mathrm{A}\mathrm{t}\mathrm{t}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}(Q_i,K_i,V_i)=\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}(\frac{Q_i{K}_i^{\mathrm{T}}}{\sqrt[]{d_k}})V_i.（8）

3） 拼接多个头的输出.用Concat操作将所有头计算得到的输出向量拼接起来，使得后续的网络层能够同时访问并处理这些多样化的信息，如公式（9）所示.

\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{c}\mathrm{a}\mathrm{t}\left(\mathrm{h}\mathrm{e}\mathrm{a}{\mathrm{d}}_{\mathrm{1}},\mathrm{h}\mathrm{e}\mathrm{a}{\mathrm{d}}_{\mathrm{2}},\dots ,\mathrm{h}\mathrm{e}\mathrm{a}{\mathrm{d}}_h\right).（9）

4） 线性投影合并结果.最后，将拼接后的结果通过另一个线性投影（权重矩阵）转换为最终的输出，以整合多个头提供的不同信息，如公式（10）所示.

\mathrm{O}\mathrm{u}\mathrm{t}\mathrm{p}\mathrm{u}\mathrm{t}=\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{c}\mathrm{a}\mathrm{t}\left(\mathrm{h}\mathrm{e}\mathrm{a}{\mathrm{d}}_{\mathrm{1}},\mathrm{h}\mathrm{e}\mathrm{a}{\mathrm{d}}_{\mathrm{2}},\dots ,\mathrm{h}\mathrm{e}\mathrm{a}{\mathrm{d}}_h\right)W^O.（10）

其中，W^O 是输出的权重矩阵.

1.3 BERT - MABL模型

以MABL模型为主体，在词嵌入层引入BERT模型构建出BERT - MABL模型，这样不仅可以解决一词多义的问题，还能够多角度捕获含有更丰富语义信息的词向量，模型的结构如图4所示.

基于BERT - MABL模型的各个部分作用如下.

1） 输入层，接受原始的文本数据并进行预处理，包括清洗（如去除特殊字符、标点符号）、分词（将文本分解为单词或短语）、词干提取或词形还原.

2） BERT层，提取文本的深层语义表示，训练效果更好的词向量.设一个序列为w=｛w₁，w₂，…，w_n｝，将序列w输入到BERT层中得到新的词向量Q=｛Q₁，Q₂，…，Q_n｝，如公式（11）所示.

Q=\mathrm{B}\mathrm{E}\mathrm{R}\mathrm{T}(w).（11）

3） Bi - LSTM层，接受词向量Q，并捕捉其中的长期依赖关系，得到包括单词的上下文信息的特征h，公式见公式（12） ~ （14）.

\vec{h}=\mathrm{L}\mathrm{S}\mathrm{T}\mathrm{M}(Q_{\mathrm{t}},{\vec{h}}_{\mathrm{t}-\mathrm{1}}).（12）

\stackrel{⃖}{h}=\mathrm{L}\mathrm{S}\mathrm{T}\mathrm{M}(Q_{\mathrm{t}},{\stackrel{⃖}{h}}_{\mathrm{t}-\mathrm{1}}).（13）

h=[\vec{h},\stackrel{⃖}{h}].（14）

4） 多头注意力层，进一步提炼和加权Bi-LSTM层的输出特征h，以强调情感表达中最重要的特征，公式见公式（15） ~ （16）.

H_n=\mathrm{A}\mathrm{t}\mathrm{t}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{i}\mathrm{o}{\mathrm{n}}_n(h).（15）

F=\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{c}\mathrm{a}\mathrm{t}\left(H_{\mathrm{1}},H_{\mathrm{2}},\dots ,H_n\right)W^O.（16）

5） 输出层，基于前面层的加工信息得到最终情感特征F，通过Softmax函数将结果转化为最终的情感类别概率分布.最终输出层给出模型预测的分类结果y，如公式（17）所示.

y=\frac{\mathrm{e}\mathrm{x}\mathrm{p}(F)}{\sum _i\mathrm{e}\mathrm{x}\mathrm{p}(F)}.（17）

同时使用交叉熵损失函数来训练模型，如公式（18）所示.

\mathrm{L}\mathrm{o}\mathrm{s}\mathrm{s}=-\sum ylog(\stackrel{̑}{y}).（18）

2 实验及结果分析

2.1 实验数据集

为了测试BERT - MABL模型的性能，利用来自不同领域的3个基准数据集进行评估：Products、Hotels和Movies.3个数据集均为二分类，分别用积极和消极作为情感标签.其中Products评论数据集包含了不同产品的评论：佳能、尼康、录音笔和Apex AD 2600^［13］；Hotels评论数据集来源于tripadvisor.com^［14］；最后，Movies评论数据集是从斯坦福大学使用的大型电影评论数据集中收集的^［15］.数据集如表1所示.

以Hotels数据集为例，部分内容如表2所示.

2.2 评价指标

作为实验中不可或缺的一环，评估指标能够直接反映模型的质量.情感分析本质上是一个分类任务，在本实验中，采用准确率A（Accuracy）和精确率和召回率的调和平均（F1）作为模型评估指标.

1） 准确率：在文本情感分析任务中，准确率是一个直观且重要的性能指标，特别是在情感类别平衡的数据集上.准确率表示正确分类的文本数量占总文本数量的比例，其计算如公式（19）所示.

A=\frac{\mathrm{T}\mathrm{P}+\mathrm{T}\mathrm{N}}{\mathrm{T}\mathrm{P}+\mathrm{T}\mathrm{N}+\mathrm{F}\mathrm{P}+\mathrm{F}\mathrm{N}}.（19）

如果数据集中的类别分布不均衡，仅依赖准确率可能不足以全面评估模型性能，此时可能需要结合其他指标，如F1、精确率和召回率等，以获得更全面的性能评估.

2） F1：是一种衡量模型精确性和召回性综合表现的指标，特别适用于评估在不平衡数据集上的性能.它是精确率Precision（P）和召回率Recall（R）的调和平均，为两者之间提供了一个平衡点，确保模型既不会错过太多重要的正类样本，也不会将太多负类样本错误分类为正类.其计算如公式（20）所示.

\begin{array}{l}P=\frac{\mathrm{T}\mathrm{P}}{\mathrm{T}\mathrm{P}+\mathrm{F}\mathrm{P}};\\ R=\frac{\mathrm{T}\mathrm{P}}{\mathrm{T}\mathrm{P}+\mathrm{F}\mathrm{N}};\\ F\mathrm{1}=\frac{\mathrm{2}PR}{P+R}.\end{array}（20）

如表3样本类别所示，TP表示正确预测为正面情绪的文本数量，TN表示正确预测为负面情绪的文本数量，FP表示错误地将文本预测为正面情绪的数量，FN表示未能正确预测为正面情绪的文本数量，实际上这些文本是正面情绪.

2.3 实验环境与参数设置

为了获得更好的实验结果，本实验使用了5折交叉验证对数据集进行处理.样本被随机分成五组，每组与样本集的比例为1∶4.在每次训练中，一组被作为测试集，剩余四组作为训练集.

实验环境的系统为Windows10系统、硬件包含CPU Intel Core i5 - 10600KF、GPU：NVIDIA GeForce RTX 3060 Ti （8G）、内存 3 600 MHz 32 GB、深度学习的模型框架为Pytorch，模型参数设置如表4所示.

2.4 相关对比模型

为了检验BERT - MABL模型的情感分析效果，使用下列模型进行对比实验.

模型一Bi - LSTM：双向长短期记忆网络.

模型二BERT - BiLSTM：使用BERT模型来训练文本词向量，再把词向量输入到双向长短期记忆网络中.

模型三BERT - BiLSTM - Att：在模型二的基础上引入注意力机制关注自身情感信息.

模型四MABL：在双向长短期记忆网络为主体的结构上加入多头注意力机制.

模型五BERT - MABL：本文模型.

2.5 实验结果与分析

2.5.1 超参数影响实验

为了研究多头个数和Dropout率对模型情感分析效果的影响，并找到最能匹配模型的超参数，首先使用BERT - MABL模型在Products数据集上进行实验，实验结果如图5和图6所示，其中ACC和F1表示评价指标.

分析实验结果可以得出以下结论：

1） 使用多头注意力机制时，增加多头的个数能使模型的效果逐渐变好，当多头注意力机制模型头数等于8时表现效果最佳，而当头数增加到16时，模型效果反而变差，所以并不能盲目的增加多头个数来提升模型效果，需要根据具体任务的复杂性、数据集的大小以及模型的其他配置来选择.

2） Dropout率偏小和偏大都会导致加入模型的噪声过低和过高，合适的Dropout率能够提升模型训练效率，同时防止模型过拟合.当Dropout率为0.2时，模型准确率有所提高，但是F1值略低，而Dropout率为0.3时，模型的准确率和F1值表现较均衡.

综上所述，后续的模型对比实验将BERT - MABL模型的多头个数设置为8，Dropout率设置为0.3.

2.5.2 模型对比实验

5个模型在3个数据集上的实验结果如表5所示.

分析实验结果可以得出以下结论：

1） 使用预训练模型来训练词向量可以达到更好的训练效果.对比BiLSTM和BERT - BiLSTM模型、MABL和BERT - MABL模型可知，加入了BERT的模型总体都有很好的提升.因为使用预训练模型可以更好的训练词向量，因为这些模型已经在大量文本数据上预先训练，捕捉到了丰富的语言特征和上下文信息.

2） 注意力机制能够改善BiLSTM没有分配情感词汇权重的问题.通过对比BERT - BiLSTM和BERT - BiLSTM - Att模型在数据集上的表现，发现使用注意力机制的模型在准确率和F1值上都实现了不小幅度的提升，这是由于注意力机制能够专注于文本的关键部分并对其赋予适当的权重，能够很好的匹配客户评论情感分类的目的.

3） 使用合适的多头注意力机制也能提升模型效果.分别对比BiLSTM和MABL模型、BERT - BiLSTM和BERT - MABL模型，发现在3个数据集上使用了多头注意力机制的模型准确率和F1值都有较大的提升，以Products数据集上的BERT - BiLSTM和BERT - MABL模型为例，后者准确率和F1值分别提升了10.08%和9.04%.

4） 本文模型BERT - MABL在3个小规模数据集上都取得了不错的效果，优于其他模型，证明该模型在客户评论情感分析领域具有一定可行性和研究价值.

3 结语

情感分析能够感知并利用客户对各种产品的意见、情绪和态度，在后续的服务和改进中体现出了非常重要的作用.本文针对无法联系上下文语义信息、无法解决一词多义和没有分配词汇情感权重提出了一种基于BERT - MABL模型的客户评论情感分析模型，并在Products、Hotels和Movies 3个不同领域的基准数据集上对模型进行了评估，当多头个数和Dropout率分别为8和0.3时，BERT - MABL模型在3个数据集上的准确率分别达到了89.28%、90.20%和90.85%，F1值分别达到了87.16%、89.04%和88.24%，两项指标均优于其他对比模型，展现出了更优越的性能.

目前BERT - MABL模型较复杂，可解释性有待提高，确保模型决策的可解释性和透明性越来越重要.研究可解释性能帮助揭示模型预测的原因，使情感分析模型更值得信赖，更易于用户理解.同时还需要不断改善模型结构，并运用到现实生活中，以确认模型的优越性和泛化能力.

参考文献

[1] KAUSAR M A， FAGEERI S O， SOOSAIMANICKAM A. Sentiment classification based on machine learning approaches in amazon product reviews［J］. Engineering， Technology & Applied Science Research，2023，13（3）：10849 - 10855.

[2] RANA M R R， REHMAN S U， NAWAZ A， et al. A conceptual model for decision support systems using aspect based sentiment analysis［J］. Proceedings of the Romanian Academy Series A - Mathematics Physics Technical Sciences Information Science， 2021，22（4）：371 - 380.

[3] ELANGOVAN D， SUBEDHA V. Adaptive particle grey wolf optimizer with deep learning - based sentiment analysis on online product reviews［J］. Engineering， Technology & Applied Science Research， 2023， 13（3）： 10989 - 10993.

[4] ULLAH M A， MARIUM S M， BEGUM S A， et al. An algorithm and method for sentiment analysis using the text and emoticon［J］. ICT Express， 2020，6（4）：357 - 360.

[5] GONDHI N K， CHAAHAT， SHARMA E， et al. Efficient long short - term memory - based sentiment analysis of e - commerce reviews［J］. Computational intelligence and neuroscience， 2022，2022（1）：3464524.

[6] VIMALI J S， MURUGAN S. A text based sentiment analysis model using bi - directional LSTM networks［C］//2021 6th International conference on communication and electronics systems （ICCES）. IEEE，2021：1652 - 1658.

[7] 代杨，李永杰.基于BERT和卷积神经网络的网络文本情感分析［J］.舰船电子工程，2023，43（7）：101 - 104.

[8] DHOLA K， SARADVA M. A comparative evaluation of traditional machine learning and deep learning classification techniques for sentiment analysis［C］//2021 11th international conference on cloud computing， data science & engineering （Confluence）. IEEE，2021：932 - 936.

[9] VATAMBETI R， MANTENA S V， KIRAN K V D， et al. Twitter sentiment analysis on online food services based on elephant herd optimization with hybrid deep learning technique［J］. Cluster Computing，2024，27（1）：655 - 671.

[10] 李海峰，周壁刚.基于CNN - BiLSTM融合多头自注意力机制的电商评价情感分析［J］.科技和产业，2024，24（2）：273 - 281.

[11] 尹良亮，孙红光，王超，等.基于注意力机制和BGRU网络的文本情感分析方法研究［J］.无线互联科技，2019，16（9）：27 - 29.

[12] DEVLIN J， CHANG M W， LEE K， et al. Bert： Pre - training of deep bidirectional transformers for language understanding［C］//Proceedings of the 2019 conference of the North American chapter of the association for computational linguistics： human language technologies， volume 1 （long and short papers）. 2019： 4171 - 4186.

[13] HU M， LIU B. Mining and summarizing customer reviews［C］//Proceedings of the tenth ACM SIGKDD international conference on Knowledge discovery and data mining.2004：168 - 177.

[14] ALAM M H， RYU W J， LEE S K. Joint multi - grain topic sentiment： modeling semantic aspects for online reviews［J］. Information Sciences，2016，339：206 - 223.

[15] MAAS A， DALY R E， PHAM P T， et al. Learning word vectors for sentiment analysis［C］//Proceedings of the 49th annual meeting of the association for computational linguistics： Human language technologies.2011：142 - 150.

基金资助

云南省自然科学基金(202201AT070377)