基于BERT的面向多情感字符级信息的文本情感分类方法

BERT-Based Text Sentiment Classification Method for Character-Level Information with Multiple Sentiments

摘要

当前基于深度学习的文本情感分类方法尚未充分利用字符级信息和情感来源信息，仍有改进空间。因此，提出了一种基于预训练模型BERT的面向多情感字符级信息的注意力方法（Character-BERT-Sentiment-Attention， CBSA）。该方法通过捕捉字符级信息丰富文本语义信息，拼接融合BERT预训练的单词级向量，得到语义向量，然后将上下文词与4种情感来源信息（情感词、否定词、程度副词、连接词）整合到门控循环单元（Gated Recurrent Unit， GRU）神经网络中，通过注意力机制构建融合情感资源信息的句子表示，最后通过Softmax分类层预测情感极性。该方法对字符级信息与多情感来源信息进行提取，获得来自不同表示子空间的情感相关信息，从而使情感预测更加准确。在5个数据集上的实验结果表明，本文提出的方法在分类准确性上有了明显的提高。

Abstract

Current deep learning-based methods for text sentiment classification have not fully exploited character-level information and sentiment source information, leaving room for improvement in the field. To address this, we propose a novel method, Character-BERT-Sentiment-Attention (CBSA), which leverages a pretrained BERT model and focuses on multi-sentiment character-level information. This approach enhances the semantic representation of text by capturing character-level features and concatenating BERT’s pretrained word embeddings of BERT to form a unified semantic vector. Subsequently, contextual words are integrated with four types of sentiment source information (sentiment words, negation words, degree adverbs, and conjunctions) into a gated recurrent unit（GRU) neural network. An attention mechanism is employed to generate a sentence representation that incorporates sentiment-related resources, followed by a softmax classification layer to predict sentiment polarity. By extracting both character-level and multi-sentiment source information, the proposed method captures sentiment-relevant features from diverse representational subspaces, thereby improving the sentiment prediction accuracy. Experimental results on five benchmark datasets demonstrate that the proposed method significantly improves classification accuracy.

Graphical abstract

关键词

情感分类 / BERT / 字符级信息 / 融合向量 / 注意力

Key words

sentiment classification / BERT / character-level information / fusion vector / attention

0　 引 言

在自然语言处理舆情分析领域，文本情感分类扮演着至关重要的角色，它通过分析文本中的情感，快速掌握公众对于特定产品或事件的情感反应，从而及时调整决策。

传统的文本情感分类方法^[1]主要可分为基于情感词典^[2-3]和基于简单机器学习的方法。Zhang等^[4]考虑到中文词在不同场景下的情感强度不同，通过构建特定场景下的专用情感词典提高识别准确度；Mehmood等^[5]结合多层次的语法依赖和动词作用，使用基于增强词汇的方法来提高模型的性能；Baro等^[6]使用K近邻(K-Nearest Neighbors, KNN)算法对Microsoft Office Project的用户评论进行情感分析；李燕等^[7]提出了一种结合最小绝对收缩选择算法(Least absolute shrinkage and selection operator, Lasso)和挑选特征的新型情感特征选择方法，之后使用高斯核函数的支持向量机(Support Vector Machine, SVM)进行分类。上述模型在各自的文本情感分类任务上都有较好表现，但它们也存在明显的局限：基于情感词典的方法过度强调情感词的影响，忽视了语句的整体上下文和潜在含义；而基于简单机器学习的方法虽然依赖统计学，从数据中提取特征并建立预测模型，但没有充分利用位于文本情感分类核心地位的情感来源信息，这可能导致模型无法充分捕捉情感的微妙表达。

随着深度学习技术的发展，基于深度学习的文本情感分类方法成为领域内的主流^[8-11]，其相较传统方法能更有效处理复杂语言结构和上下文信息，提供更准确的情感分析。Catelli等^[12]将基于BERT的深度学习模型与传统的基于词典的模型进行对比，其研究显示基于BERT的深度学习模型在数据集充足的情况下性能得到大幅提升，但在小规模数据集上则表现不佳，这表明在数据受限的情况下可能需要进一步优化以提高其性能。Bhuvaneshwari等^[13]提出的用于文本情感分析的模型结合了双向长短期记忆网络(Bidirectional Long Short-Term Memory, Bi-LSTM)、自注意力机制和卷积神经网络(Convolutional Neural Network, CNN)，能自动学习和提取分类特征，有效捕捉n-gram特征和上下文关键信息，与主流模型的比较结果表明，该模型在性能上具有显著优势。总体而言，基于深度学习的文本情感分类方法在多个方面展现出显著的优势。首先，该方法能够更有效地处理复杂和抽象的语言特征，例如上下文关系、语义细节和词语间的隐含关联，这些是传统基于词典或简单机器学习方法难以捕捉的。其次，深度学习模型（如BERT、Bi-LSTM）结合自注意力机制，使得模型在理解和分析文本时，不仅关注单词本身，还能够捕捉到更深层次的语义和情感倾向，从而提供更准确和细腻的文本情感分类结果。

然而，基于深度学习的文本情感分类方法与传统情感分类方法一样未能充分发掘文本字符级的信息，且没有利用好文本情感分类核心特征之一的情感来源词。因此，本文提出了一种基于BERT的面向多情感字符级信息的文本情感分类方法(Character-BERT-Sentiment-Attention, CBSA)，该方法基于BERT，结合字符级信息、情感来源词以及自注意力机制，旨在优化文本情感分类。CBSA方法通过利用门控循环单元网络(Gated Recurrent Unit, GRU)整合字符级信息与词级向量，并通过情感来源词和注意力机制增强句子表示，从而提升情感分析的准确性和深度。本文主要贡献包括：

1） 创新性地结合字符级信息和BERT预训练模型，增强文本的语义解析能力，为文本情感分类提供了新的视角；

2） 回归文本情感分类核心的特征——情感来源词，建立在融合向量基础上的情感来源词得到了更加充分的利用。此外，通过结合4种不同的情感来源词表示和注意力机制，能够更准确地理解和分析情感表达的复杂性和多样性。

3） 利用GRU网络处理融合向量，结合情感来源注意力机制构建的增强型句子表示，使得本文方法能够更有效地处理和理解长文本和复杂句子结构中的情感。

1　 基础知识

1.1　BERT语言模型

BERT^[14-15]是2019年提出的预训练语言模型，已被广泛应用于文本情感分类任务。其基础网络结构如图1所示，由12层Encoder堆叠而成。每个Encoder包含自注意力机制模块、非线性前馈神经网络模块和数据标准化模块。图1中输入向量由三种向量相加得到，中间是多层Transformer的编码器结构，用于提取特征。

BERT的自注意力机制是其最重要的结构^[16-17]，它能有效地学习文本中的长距离依赖关系，取代了传统的卷积神经网络和循环神经网络。自注意力机制使得每个单词能够间接地“看到自己”，通过掩盖式语言模型（Masked Language Model, MLM）和下一个句子预测（Next Sentence Prediction, NSP）方法进行预训练。自注意力机制使用尺度缩放点积注意力计算注意力权重，如(1)式所示：

\mathrm{A}\mathrm{t}\mathrm{t}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}(\mathit{Q},\mathit{K},\mathit{V})=\mathrm{S}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}\left(\frac{\mathit{Q}{\mathit{K}}^{\mathrm{T}}}{\sqrt[]{d_k}}\right)\mathit{V}(1)

其中，\mathit{Q}（查询矩阵）、\mathit{K}（键矩阵）和\mathit{V}（值矩阵）均由输入序列的向量转换而来。在计算注意力时，首先通过矩阵\mathit{Q}{\mathit{K}}^{\mathrm{T}}计算查询与键之间的相似性，并通过因子\mathrm{1}/\sqrt[]{d_k}进行缩放，以避免数值过大导致梯度消失或爆炸。随后，使用Softmax归一化获得注意力分布，并利用其对矩阵\mathit{V}进行加权求和。具体来说，设输入序列中的第i个单词对应的向量为{\mathit{x}}_i，维度为d_k， q_i 、 k_i 、 v_i 分别是\mathit{Q},\mathit{K},\mathit{V}的第i行向量，则有：

{\mathit{q}}_i={\mathit{x}}_i\cdot {\mathit{W}}_q(2)

{\mathit{k}}_i={\mathit{x}}_i\cdot {\mathit{W}}_k(3)

{\mathit{v}}_i={\mathit{x}}_i\cdot {\mathit{W}}_v(4)

其中，{\mathit{W}}_q、{\mathit{W}}_k、{\mathit{W}}_v是学习到的权重矩阵， q_i 与 k_i 是d_k 维向量， v_i 是d_v 维向量。这种机制可以动态调整序列中不同位置的关注程度，不依赖固定的序列长度，从而增强模型对全局信息的建模能力，提高文本理解效果。

1.2　文本卷积神经网络

卷积神经网络通常将序列数据建模为二维网格型数据，但也有一些模型将序列数据建模为一维网格数据。TextCNN模型则将文本序列建模为二维网格型数据，并利用卷积神经网络完成文本情感分类任务^[18-20]。具体而言，假设句子中有n个单词，首先提取每个单词的M维词向量表示，构成一个n×M的二维矩阵。然后，使用卷积神经网络中的卷积、池化和全连接等操作对文本进行情感分类。该方法通过采用不同大小的卷积核提取句子中不同单词之间的语义信息，关注不同步长序列的特征。最后，将卷积结果进行池化和拼接，得到最终的特征输出。

文本卷积运算公式如下所示：

c_i=f(\mathit{w}.{\mathit{x}}_{i:i+h-\mathrm{1}}+b)(5)

其中，\mathit{w}是一个滤波器，\mathit{w}.{\mathit{x}}_{i:i+h-\mathrm{1}}表示用一个滤波器对h个词进行操作，b是偏置项，f是非线性函数，每次取h个词做卷积特征提取，将卷积核遍历句子中所有可能的单词窗口，生成文本特征，当卷积核从上到下遍历整个句子后得到卷积层的输出\mathit{c}，表示为如下公式：

\mathit{c}=[c_{\mathrm{1}},c_{\mathrm{2}},\cdots ,c_{n-h+\mathrm{1}}](6)

模型为了获取不同卷积核下的语义信息特征，会设置多个大小不同的卷积核来对文本进行卷积操作，即选取不同h的值进行卷积操作，最后将卷积结果进行池化拼接以及Softmax分类得到最终的输出。

1.3　GRU循环神经网络

GRU^[21]是长短时记忆网络(Long Short-Term Memory, LSTM)的一种简化版本，具有较少的网络参数，结构更简单。与LSTM一样，GRU也能解决循环神经网络中的梯度消失问题。

GRU模型包含一个隐藏状态单元{\mathit{h}}_t和两个门控单元，重置门{\mathit{r}}_t和更新门{\mathit{z}}_t。这两个门控单元的输入由当前时间步的文本信息{\mathit{x}}_t和前一时间步的隐藏状态单元信息{\mathit{h}}_{t-\mathrm{1}}组成，计算公式如下：

{\mathit{r}}_t=\sigma ({\mathit{W}}_r{\mathit{x}}_t+{\mathit{U}}_r{\mathit{h}}_{t-\mathrm{1}})(7)

{\mathit{z}}_t=\sigma ({\mathit{W}}_z{\mathit{x}}_t+{\mathit{U}}_z{\mathit{h}}_{t-\mathrm{1}})(8)

其中， W 和 U 是权重参数矩阵，\sigma (\cdot )是激活函数，一般用sigmoid函数。在GRU中，重置门确定之前的隐藏状态单元是否被忽视，而更新门则控制当前的隐藏状态单元是否必须由一个新的隐藏状态单元进行更新，计算公式如下：

{\tilde{\mathit{h}}}_t=\mathrm{t}\mathrm{a}\mathrm{n}\mathrm{h}({\mathit{W}}_h{\mathit{x}}_t+{\mathit{U}}_t({\mathit{r}}_t\odot {\mathit{h}}_{t-\mathrm{1}}))(9)

{\mathit{h}}_t=(\mathrm{1}-{\mathit{z}}_t)\odot {{\mathit{h}}_t}_{-\mathrm{1}}+{\mathit{z}}_t\odot {\tilde{\mathit{h}}}_t(10)

y_t=\sigma ({\mathit{W}}_o{\mathit{h}}_t)(11)

其中，{\tilde{\mathit{h}}}_t为当前时间步的候选隐藏状态，y_t为最后的输出,\odot表示逐元素相乘运算， W_h 用于对当前输入进行线性变换并通过tanh激活函数进行处理， W_o 用于将隐藏状态映射到最终的输出空间，GRU的重置门和更新门分别有助于捕获短期时间步长和长期时间步长的依赖关系，在特定情况下，GRU可以取得比LSTM更好的表现。由于GRU参数更少，其效率更高，具有更快的计算速度和收敛速度，更加有利于学习文本中的上下文语义关系，提高文本情感分类的准确性。

2　 本文方法

2.1　框架及算法分析

CBSA框架如图2所示。它是一个文本情感分析框架，旨在通过充分利用字符级信息和情感来源信息来提高情感识别的准确性。CBSA的核心在于结合了来自BERT的单词级嵌入和Char-CNN（字符级卷积神经网络）提取的字符级嵌入，通过这种融合方式在不同层面上学习到的特征可以互补，从而能够更为准确地捕获文本中的复杂语义和情感细节。例如，在处理汽车用户在线评论时，面对这样一句话：“经过一段时间的使用，我发现该车在启动时存在噪音问题。”为了提取丰富的上下文单词表示，对于中文数据集，首先将该句中的中文转化为拼音并提取字符级嵌入，然后将其与单词级嵌入进行融合；对于英文数据集，则直接提取字符级嵌入，并将其与单词级嵌入进行融合。这种融合策略能够更深层次地捕捉到评论中的语境信息。此外，CBSA充分利用了情感来源信息，通过生成5种不同的文本表示，包括情感词、否定词、上下文单词、程度副词和连接词，来深入分析文本中的情感倾向。

CBSA的步骤如算法1所示。首先通过Char-CNN和BERT模型处理文本，生成综合的词向量矩阵。接着，通过点积运算建立上下文单词与四种情感来源词之间的关系，形成相关的情感表达矩阵。核心步骤包括使用5个独立的GRU网络对这些表达矩阵进行编码，选择GRU网络进行处理是考虑到其在轻量级的基础上仍能有效地捕捉长期依赖关系并提取情感特征。最终，CBSA结合这些特征，通过带有情感来源词注意力机制的增强型句子表示，使用Softmax分类器进行情感分类。

2.2　融合的特征向量表示

本文设计了Char-CNN用于生成字符级词向量，从而捕获字符块中的语义信息。初始阶段，采用独热编码(one-hot encoding)将序列输入到1×1的卷积层中，这样不仅增强了非线性表示能力，而且有助于避免过拟合现象。接着，将卷积后的结果输入到具有不同窗口大小的卷积层中，获得来自不同局部字符块的信息以及相邻字符间的语义关联信息。对于单词级表示则使用BERT预训练模型，利用多头自注意力机制捕捉单词间丰富的上下文语义信息，从而获取全局语义特征向量，本文使用拼接最后4层隐含层的向量作为最后训练得到的词向量。最终的向量表示为字符级嵌入和单词级嵌入的拼接形式，上下文单词以及四种情感来源词都采用这种表示形式，得到五种融合的特征表示矩阵，如(12)式所示：

{\mathit{W}}^{\mathrm{t}}=[{\mathit{w}}_{\mathrm{1}}^{\mathrm{t}},{\mathit{w}}_{\mathrm{2}}^{\mathrm{t}},\cdots ,{\mathit{w}}_j^{\mathrm{t}}]

{\mathit{W}}^{\mathrm{s}}=[{\mathit{w}}_{\mathrm{1}}^{\mathrm{s}},{\mathit{w}}_{\mathrm{2}}^{\mathrm{s}},\cdots ,{\mathit{w}}_k^{\mathrm{s}}]

{\mathit{W}}^{\mathrm{n}}=[{\mathit{w}}_{\mathrm{1}}^{\mathrm{n}},{\mathit{w}}_{\mathrm{2}}^{\mathrm{n}},\cdots ,{\mathit{w}}_l^{\mathrm{n}}]

{\mathit{W}}^{\mathrm{d}}=[{\mathit{w}}_{\mathrm{1}}^{\mathrm{d}},{\mathit{w}}_{\mathrm{2}}^{\mathrm{d}},\cdots ,{\mathit{w}}_m^{\mathrm{d}}]

{\mathit{W}}^{\mathrm{c}}=[{\mathit{w}}_{\mathrm{1}}^{\mathrm{c}},{\mathit{w}}_{\mathrm{2}}^{\mathrm{c}},\cdots ,{\mathit{w}}_n^{\mathrm{c}}](12)

式中，{\mathit{W}}^{\mathrm{t}}、{\mathit{W}}^{\mathrm{s}}、{\mathit{W}}^{\mathrm{n}}、{\mathit{W}}^{\mathrm{d}}、{\mathit{W}}^{\mathrm{c}}矩阵表示分别为文本上下文单词表示、情感词表示、否定词表示、程度副词表示以及连接词表示，维度都为d_k，j、k、l、m、n分别为句子长度、情感词长度、否定词长度、程度副词长度以及连接词长度。为了更好地计算单词的相关性， W 矩阵中的每个向量都将标准化为单位向量，从而更好地计算单词之间的相关性，方便后续多情感注意力分数的计算。

2.3　多情感注意力机制

在获得具有一定语义表达能力的融合词向量表示{\mathit{W}}^{\mathrm{t}}、{\mathit{W}}^{\mathrm{s}}、{\mathit{W}}^{\mathrm{n}}、{\mathit{W}}^{\mathrm{d}}、{\mathit{W}}^{\mathrm{c}}后，通过情感来源词计算单词间注意力分数，以选择关键的相关上下文词，从而构建融合情感来源信息的句子表示。针对4种情感来源词，将它们分别用作注意力计算的对象，以关注上下文词的重要性。情感来源注意力的作用是使CBSA更好地聚焦于词语的情感信息，从而学习到与不同情感来源词对应的增强句子表征。随后，结合这四种情感来源词的增强句子表征，进一步学习最终的特定句子表征。

首先，建立上下文词与情感来源词的词级关系，如(13)式所示。

{\mathit{M}}^i=({\mathit{W}}^{\mathrm{t}}{)}^{\mathrm{T}}\cdot {\mathit{W}}^i,i=\mathrm{s},\mathrm{n},\mathrm{d},\mathrm{c}(13)

其中，\mathrm{s},\mathrm{n},\mathrm{d},\mathrm{c}分别代表情感词、否定词、程度副词、连接词，{\mathit{M}}^i为相关矩阵，用于表示上下文词和情感来源词的相关性。

其次，在获得相关矩阵之后，通过上下文词和四种不同类型的相关矩阵之间的点积计算与情感来源词相关的上下文词表示{\mathit{A}}_i^{\mathrm{t}}，同时通过相关矩阵与不同情感来源词矩阵点积得到上下文相关的情感表达矩阵{\mathit{A}}^i，具体计算如下所示：

{\mathit{A}}_i^{\mathrm{t}}={\mathit{W}}^{\mathrm{t}}\cdot {\mathit{M}}^i,i=\mathrm{s},\mathrm{n},\mathrm{d},\mathrm{c}(14)

{\mathit{A}}^i={\mathit{W}}^i\cdot ({\mathit{M}}^i{)}^{\mathrm{T}},i=\mathrm{s},\mathrm{n},\mathrm{d},\mathrm{c}(15)

最终的增强型上下文词表征如下所示：

{\mathit{A}}^{\mathrm{t}}=\sum _{i=\mathrm{s},\mathrm{n},\mathrm{d},\mathrm{c}}{\mathit{A}}_i^{\mathrm{t}}(16)

得到上述相关矩阵之后，使用5个独立的GRU网络来对上下文词以及4种情感来源词进行hidden layer编码，输入为 Aⁱ，得到hidden layer矩阵 Lⁱ，具体如下所示：

{\mathit{L}}^i=\mathrm{G}\mathrm{R}\mathrm{U}({\mathit{A}}^i),i=\mathrm{t},\mathrm{s},\mathrm{n},\mathrm{d},\mathrm{c}(17)

{\mathit{L}}^{\mathrm{t}}=[{\mathit{l}}_{\mathrm{1}}^{\mathrm{t}},{\mathit{l}}_{\mathrm{2}}^{\mathrm{t}},\cdots ,{\mathit{l}}_j^{\mathrm{t}}]

{\mathit{L}}^{\mathrm{s}}=[{\mathit{l}}_{\mathrm{1}}^{\mathrm{s}},{\mathit{l}}_{\mathrm{2}}^{\mathrm{s}},\cdots ,{\mathit{l}}_k^{\mathrm{s}}]

{\mathit{L}}^{\mathrm{n}}=[{\mathit{l}}_{\mathrm{1}}^{\mathrm{n}},{\mathit{l}}_{\mathrm{2}}^{\mathrm{n}},\cdots ,{\mathit{l}}_l^{\mathrm{n}}]

{\mathit{L}}^{\mathrm{d}}=[{\mathit{l}}_{\mathrm{1}}^{\mathrm{d}},{\mathit{l}}_{\mathrm{2}}^{\mathrm{d}},\cdots ,{\mathit{l}}_m^{\mathrm{d}}]

{\mathit{L}}^{\mathrm{c}}=[{\mathit{l}}_{\mathrm{1}}^{\mathrm{c}},{\mathit{l}}_{\mathrm{2}}^{\mathrm{c}},\cdots ,{\mathit{l}}_n^{\mathrm{c}}](18)

以下是带有情感词注意力的增强型句子表示 b₁的计算：

{\mathit{b}}_{\mathrm{1}}={\displaystyle \sum _{i=\mathrm{1}}^j}{\alpha }_i{\mathit{l}}_i^{\mathrm{t}}(19)

{\mathit{p}}^{\mathrm{s}}={\displaystyle \sum _{i=\mathrm{1}}^k}{\mathit{l}}_i^{\mathrm{s}}/k(20)

\beta ([{\mathit{l}}_i^{\mathrm{t}};{\mathit{p}}^{\mathrm{s}}])={\mathit{v}}_{\mathrm{s}}^{\mathrm{T}}\mathrm{t}\mathrm{a}\mathrm{n}\mathrm{h}({\mathit{U}}_{\mathrm{s}}[{\mathit{l}}_i^{\mathrm{t}};{\mathit{p}}^{\mathrm{s}}])(21)

{\alpha }_i=\frac{\mathrm{e}\mathrm{x}\mathrm{p}(\beta ([{\mathit{l}}_i^{\mathrm{t}};{\mathit{p}}^{\mathrm{s}}]))}{{\displaystyle \sum _{r=\mathrm{1}}^j}\mathrm{e}\mathrm{x}\mathrm{p}(\beta ([{\mathit{l}}_r^{\mathrm{t}};{\mathit{p}}^{\mathrm{s}}]))}(22)

在以上公式中，\beta是计算上下文中第i个单词{\mathit{l}}_i^{\mathrm{t}}的重要性注意函数，{\mathit{p}}^{\mathrm{s}}表示对L^s平均池化操作，{\alpha }_i表示上下文中第i个单词的重要性程度， v_s和 U_s是可学习的参数。

最后，用相同计算方式可得到以否定词、程度副词和连接词的隐藏状态为情感来源的相对应的增强型句子表示 b₂、 b₃和 b₄，全面的句子表征\tilde{\mathit{b}}为[ b₁; b₂; b₃; b₄]。

2.4　句子分类模块

获得最终的句子表征\tilde{\mathit{b}}后，将其送入Softmax层中，预测句子的情感极性分布，情感极性预测的公式如下所示：

\widehat{y}=\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}({\tilde{\mathit{U}}}_b^{\mathrm{T}}\tilde{\mathit{b}}+{\tilde{\mathit{\theta }}}_b)(23)

式中，\widehat{y}是句子的预测情感分布，{\tilde{\mathit{U}}}_b和{\tilde{\mathit{\theta }}}_b是可学习的参数。

2.5　CBSA的训练

为了确保不同情感来源在特定句子表达中的语义多样性，并减少不同情感来源注意力信息的冗余，本文在采用交叉熵（cross entropy）损失函数进行训练的基础上，增加了惩罚项。损失函数如下所示：

L(\widehat{y},y)=

-{\displaystyle \sum _{i=\mathrm{1}}^N}{\displaystyle \sum _{j=\mathrm{1}}^c}{y}_i^j\mathrm{l}\mathrm{o}\mathrm{g}({\widehat{y}}_i^j)+\lambda (\sum _{\varphi \in \mathrm{\Phi }}{\varphi }^{\mathrm{2}})+\gamma ||\tilde{\mathit{b}}{\tilde{\mathit{b}}}^{\mathrm{T}}-\phi \mathit{I}|{|}_F^{\mathrm{2}}(24)

式中，N是训练数据集大小，y_i^j是真实情感标签值，{\widehat{y}}_i^j是预测概率，\Phi是一个参数集合，\varphi表示正则化的参数，\lambda、\gamma是超参数，\phi是权重参数， I 为单位矩阵，{‖\cdot ‖}_F为F范数。

3　 实验设计与分析

3.1　实验数据集和情感来源词集

实验在Movie Review(MR)电影评论数据集、ChnSenticorp中文情感语料哈工大酒店评论数据集、IMDB电影评论数据集、外卖平台的评论数据集、斯坦福影评情感树库(Stanford Sentiment Treebank, SST-2)数据集5个公共数据集上进行训练和测试。利用Python的pypinyin和jieba工具对中文数据集进行处理，将中文按照其拼音直接转化^[22]，从而提取字符级特征；对于英文数据集则直接进行字符级特征的提取。

英文情感词、否定词、程度副词以及连接词的集合使用参考文献[23]的情感来源词集合；中文情感来源词使用中国知网情感词典提供的词库^[24]。

Movie Review(MR)电影评论数据集^[23]：该数据集包含10 662条电影评论，其中正面和负面情感的评论样本各占一半。每个样本都有一个二元标签，表示情感极性，该数据集被广泛用于评估和比较文本情感分类算法和模型的性能。实验中选取8 000个作为训练样本，其余2 662个作为测试样本进行实验。

ChnSenticorp中文情感语料哈工大酒店评论数据集^[25]：一个用于中文情感分析研究和开发的重要资源库，包含了大量的中文酒店评论文本，涵盖了各种类型的评论和情感表达，主要用于情感分析和文本情感分类任务。数据集有四个不同的子数据集，本文采用含有10 000个样本的数据集，其中包含7 000个积极样本，3 000个消极样本，选取8 000个作为训练样本，2 000个作为测试样本，数据集名称记为CSCHb-2。

IMDB电影评论数据集^[26]：一个较大规模的电影评论数据集，包含正负情感电影评论各25 000条，每条评论都有一个二元标签，表示情感极性。实验中选取40 000条用于训练，10 000条用于测试。

外卖平台的评论数据集^[27]：该数据集为外卖平台收集的用户对于用餐服务的评价数据，为二分类数据集，用于评估和比较文本情感分类算法的性能。本文使用“积极”“消极”情感评论各为4 000条，共8 000条数据，6 400条作为训练集，1 600条作为测试集。

斯坦福影评情感树库(Stanford Sentiment Treebank, SST-2)数据集^[28]:该数据集是一个二元单句分类任务的数据集，由电影评论中提取的句子组成，任务目标是区分正面情感和负面情感，是情感分析领域中一个重要的基准数据集。实验取8 000个评论作为训练数据集，2 754个作为测试数据集。

3.2　实验参数设置

本研究在参考大量相关文献的基础上，结合实验验证，对模型关键参数进行了多次调整。最终，确定字符级嵌入维度设置为300，相比于100和200的维度，300维度的设置能带来更好的结果；但是当维度增加到400或更高时，性能提升微小，而计算成本却显著增加。Char-CNN中卷积核大小分别设置为2、3、4，这种多尺度核的策略旨在捕获从短到长的不同长度字符组合，从而提取多样化的局部语义信息。所有权重矩阵采用随机正交初始化，偏差向量设为零，有助于初期快速收敛并避免梯度问题。通过网格搜索和交叉验证，L2归一化系数\lambda设为1.0×10^-5，\gamma设为1.0×10^-4，\phi设为0.85时，能有效地平衡复杂度和性能，在防止过拟合的同时保持了高准确度。

3.3　实验评价指标

本文采用准确率(Accuracy)、精确率P、召回率R和F1值作为评价指标，通常而言数值越大表示模型性能越好。各评价指标的具体计算公式如下所示。

\mathrm{A}\mathrm{c}\mathrm{c}\mathrm{u}\mathrm{r}\mathrm{a}\mathrm{c}\mathrm{y}=\frac{\mathrm{T}\mathrm{P}+\mathrm{T}\mathrm{N}}{\mathrm{T}\mathrm{P}+\mathrm{T}\mathrm{N}+\mathrm{F}\mathrm{P}+\mathrm{F}\mathrm{N}}\times \mathrm{100}\mathrm{\%}(25)

P=\frac{\mathrm{T}\mathrm{P}}{\mathrm{T}\mathrm{P}+\mathrm{F}\mathrm{P}}\times \mathrm{100}\mathrm{\%}(26)

R=\frac{\mathrm{T}\mathrm{P}}{\mathrm{T}\mathrm{P}+\mathrm{F}\mathrm{N}}\times \mathrm{100}\mathrm{\%}(27)

F\mathrm{1}=\mathrm{2}\times \frac{P\times R}{P+R}\times \mathrm{100}\mathrm{\%}(28)

其中，TP表示预测正确的正样本数量，TN表示预测正确的负样本数量，FP表示预测错误的正样本数量，FN表示预测错误的负样本数量。

3.4　实验结果分析

3.4.1　对比实验

本文设计了对比实验，将CBSA与两种传统方法和三种基于深度学习方法在五个数据集上进行了比较（表1~表5）。传统方法包括：Word2Vec+情感词典^[29]、Word2Vec+Glove(Average Meta-Embedding,AME)+情感词典^[30]；基于深度学习的方法包括：BERT+情感词典^[31]、LSTM^[32]和Att+Bi-GRU^[21]。其中AME为词向量表示方法，在Word2Vec与Glove下共同计算同一维度的词向量再联合取平均值得到。此外，在MR和SST-2数据集上与最新的文本情感分析方法DCNN-BiGRU-Att^[33]进行了对比（表1，表5）。

通过表中数据对比显示，BERT+情感词典相比于传统的Word2Vec+情感词典以及Word2Vec+Glove+情感词典具有更强的语义信息提取能力，并在四项评价指标中均表现出色，特别是在精确率方面，BERT+情感词典相对于Word2Vec+Glove+情感词典在五个数据集上分别提高0.49%、1.26%、1.51%、0.78%、0.99%，这说明深度学习结合情感词典的方法确实能够提升模型性能。而对比Word2Vec+情感词典、Word2Vec+Glove+情感词典、LSTM和Att+Bi-GRU可以发现基于深度学习的情感分析方法未必都比传统的基于情感词的方法性能更优，因此虽然基于深度学习的情感分析方法是主流方法，但是传统的情感词仍有其独特优势可待发掘。尽管当前主流的情感分析方法多基于深度学习模型，但在部分数据集中，基于传统情感词典的模型同样表现出色。其原因主要有两点：1) 此类数据集中的评论数据含有丰富的情感词汇，且情感表达较为直接；2) 情感词典经过不断完善，覆盖面广，能较好匹配数据集的语境。在与BERT+情感词典、LSTM、Att+Bi-GRU和CBSA的准确率对比中发现，CBSA相较于其他模型表现出了较为优越的性能，在MR数据集上比BERT+情感词典准确率提高了2.53个百分点；在CSCHb-2数据集上比BERT+情感词典准确率提高了1.61个百分点；在IMDB数据集上比BERT+情感词典准确率提高了3.45个百分点；在外卖评论数据集上比Att+Bi-GRU提高了0.28个百分点；在SST-2数据集上比BERT+情感词典准确率提高了2.99个百分点。对比CBSA和DCNN-BiGRU-Att可以发现，在MR数据集上CBSA的准确率提升了约5.14个百分点，但在SST-2数据集上CBSA准确率却降低了2.51个百分点，这表明两个模型的泛化能力存在局限性，无法在不同类型的数据集上保持一致的性能。SST-2数据集为二元单句分类任务的数据集，其中的单条数据往往一句话或者一个短语概括，如：“a better movie”和“the situation in a well-balanced fashion”，本文方法在基于词级向量的基础上又增加了字符级信息，虽然能够更深层次地挖掘语境信息，但是可能存在过拟合的情况，所以导致准确率较低。而MR数据集相较SST-2数据集单条数据较长，能够有效地将提取到的字符级信息利用起来。总体而言，本文提出的CBSA在较多数据集上表现良好，但是泛化能力有待提高，在语境复杂的数据集能展现更好的性能。

此外，CBSA在IMDB数据集上的表现显著优于其他数据集，这可能与IMDB数据集的规模较大、训练数据更为丰富有关，说明在数据充足的情况下，CBSA能展现出更好的性能。从中英文数据集的对比来看，CBSA在英文数据集上的实验结果大多优于中文数据集，说明CBSA更适用于英文数据集，这可能是因为在字符级信息的提取上，中文需要先转换为拼音再进行特征提取，造成了一定的损耗，所以性能有所下降，而英文不需要转换。

3.4.2　消融实验

为了验证CBSA各组成部分的有效性，本文在前述几个数据集上分别进行了消融实验（表6~表10）。消融实验通过分别去除CBSA的各个组成部分进行，例如CBSA-CharCNN去除了字符级卷积，CBSA-sentiment words去除了情感词部分等。

表6至表10中的数据表明，模型中的每个结构对CBSA的性能都有一定的提升作用，尤其是在去除字符级嵌入模块和情感注意力模块时，模型的评价指标下降较为显著。例如，在MR数据集上，去除字符级嵌入模块（CBSA-CharCNN）导致准确率下降3.02个百分点，去除情感注意力模块（CBSA-sentiment words）则下降3.06个百分点，在其他几个数据集上去除这两个模块后的评价指标也有不同程度的下降。这些结果表明，字符级嵌入模块能够有效建模文本中的字符语义关联信息，而情感注意力模块有助于捕捉富含情感信息的词语，从而提升情感分类的准确性。

表6　MR数据集消融实验结果

Table 6　The results of ablation experiment on the

MR dataset

%

进一步分析CSCHb-2和外卖评论两个中文数据集的消融实验结果可以发现，CBSA-CharCNN 与CBSA相比，在两个数据集上的准确率分别仅下降0.12个百分点、0.70个百分点，而在MR和IMDB两个英文数据集上则分别降低了3.02个百分点和1.88个百分点。这些结果表明字符级嵌入模块对中文数据集并不敏感，而对英文数据集的影响较为显著。因此，字符级嵌入模块在英文数据集上表现出更为明显的效果。同理，对比其他去除不同结构后的模型与CBSA的评价指标，都验证了各个模块在模型中的不可或缺性。

以上实验结果表明，CBSA能够有效兼顾情感来源信息、字符语义信息以及文本全局信息，通过融合多维特征信息，在各方面对模型性能的提升做出了积极贡献，从而显著提高了文本情感分类的准确性。

CBSA的时间复杂度主要受到GRU网络处理序列的能力和矩阵运算规模的影响，尤其在处理较长文本时，复杂度可能随文本长度线性增长。空间复杂度则主要由BERT和Char-CNN模型参数数量决定，因此在实际应用中需要进一步优化。尽管面临时间和空间复杂度的挑战，CBSA凭借其独特的结构和算法机制，仍然在复杂文本的情感分析任务中展现出了优异的性能。

4　 结 语

针对现有的文本情感分类方法未能充分利用字符级信息和情感来源信息的问题，本文提出的CBSA方法在基于BERT预训练语言模型的基础上融入字符级语义特征信息，同时结合情感来源注意力机制来进行文本情感分类。

在5个数据集上的性能测试结果表明本文方法能有效提升文本分类的准确率。在英文数据集上，能够提取出更完整的英文字符情感语义信息和情感来源注意力信息，表现出更强的语义连贯性。然而，在中文信息提取方面，本文方法性能表现相对较弱。在未来的工作中将探索引入图结构以增强其在相关领域数据处理的鲁棒性和泛化能力。基于研究的成果，计划将CBSA方法应用于汽车用户数据的文本分类，帮助企业在前期面对海量用户反馈意见时更快速且准确地进行处理，提升服务质量。

参考文献

[1] AMEUR A， HAMDI S， YAHIA S BEN. Sentiment analysis for hotel reviews： A systematic literature review［J］. ACM Computing Surveys， 2024， 56（2）： 1-38. DOI： 10.1145/3605152 .

[2] OJEDA-HERNÁNDEZ M， LÓPEZ-RODRÍGUEZ D， MORA Á. Lexicon-based sentiment analysis in texts using Formal Concept Analysis［J］. International Journal of Approximate Reasoning， 2023， 155： 104-112. DOI： 10.1016/j.ijar.2023.02.001 .

[3] MAHAJANI S J， SRIVASTAVA S， SMEATON A F. A comparison of lexicon-based and ML-based sentiment analysis： Are there outlier words？ ［EB/OL］. 2023： 2311.06221.DOI: 10.1109/aics60730.2023.10470734 .

[4] ZHANG Y， SONG J H， SCIACCA A， et al. Novel sentiment lexica derived from user generating content by Chinese tourists in Pacific Islands［J］. Sustainability， 2022， 14（23）： 15833. DOI： 10.3390/su142315833 .

[5] MEHMOOD Y， BALAKRISHNAN V. An enhanced lexicon-based approach for sentiment analysis： A case study on illegal immigration［J］. Online Information Review， 2020， 44（5）： 1097-1117. DOI： 10.1108/oir-10-2018-0295 .

[6] BARO R A， PAGUDPUD M V， PADIRAYON L M， et al. Classification of project management tool reviews using machine learning-based sentiment analysis［J］. IOP Conference Series： Materials Science and Engineering， 2019， 482（1）： 012041. DOI： 10.1088/1757-899x/482/1/012041 .

[7] 李燕， 卫志华， 徐凯. 基于Lasso算法的中文情感混合特征选择方法研究［J］. 计算机科学， 2018， 45（1）： 39-46. DOI： 10.11896/j.issn.1002-137X.2018.01.006 .

[8] LI Y， WEI Z H， XU K. Hybrid feature selection method of Chinese emotional characteristics based on lasso algorithm［J］. Computer Science， 2018， 45（1）： 39-46. DOI： 10.11896/j.issn.1002-137X.2018.01.006（Ch ）.

[9] ZHOU Z G. Research on sentiment analysis model of short text based on deep learning［J］. Scientific Programming， 2022， 2022（1）： 2681533. DOI： 10.1155/2022/2681533 .

[10] HE Z F. Text sentiment analysis based on multi-layer bi-directional LSTM with a trapezoidal structure［J］. Intelligent Automation & Soft Computing， 2023， 37（1）： 639-654. DOI： 10.32604/iasc.2023.035352 .

[11] MA Y C， TENG Y， DENG Z Z， et al. Does writing style affect gender differences in the research performance of articles？ ： An empirical study of BERT-based textual sentiment analysis［J］. Scientometrics， 2023， 128（4）： 2105-2143. DOI： 10.1007/s11192-023-04666-w .

[12] WU J， ZHU T L， ZHU J H， et al. A optimized BERT for multimodal sentiment analysis［J］. ACM Transactions on Multimedia Computing， Communications， and Applications， 2023， 19（2s）： 1-12. DOI： 10.1145/3566126 .

[13] CATELLI R， PELOSI S， ESPOSITO M. Lexicon-based vs. bert-based sentiment analysis： A comparative study in Italian［J］. Electronics， 2022， 11（3）： 374. DOI： 10.3390/electronics11030374 .

[14] BHUVANESHWARI P， RAO A N， ROBINSON Y H， et al. Sentiment analysis for user reviews using Bi-LSTM self-attention based CNN model［J］. Multimedia Tools and Applications， 2022， 81（9）： 12405-12419. DOI： 10.1007/s11042-022-12410-4 .

[15] BOUALILI L， MORENO J G， BOUGHANEM M. Highlighting exact matching via marking strategies for ad hoc document ranking with pretrained contextualized language models［J］. Information Retrieval Journal， 2022， 25（4）： 414-460. DOI： 10.1007/s10791-022-09414-x .

[16] ZHANG Z B， WU S， JIANG D W， et al. BERT-JAM： Maximizing the utilization of BERT for neural machine translation［J］. Neurocomputing， 2021， 460： 84-94. DOI： 10.1016/j.neucom.2021.07.002 .

[17] ZHANG A M， LI B H， WANG W H， et al. MII： A novel text classification model combining deep active learning with BERT［J］. Computers， Materials & Continua， 2020， 63（3）： 1499-1514. DOI： 10.32604/cmc.2020.09962 .

[18] SHEN T， ZHOU T Y， LONG G D， et al. DiSAN： Directional self-attention network for RNN/CNN-free language understanding［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2018， 32（1）： 5446-5455. DOI： 10.1609/aaai.v32i1.11941 .

[19] RAWAT A， AHMAD WANI M， ELAFFENDI M， et al. Drug adverse event detection using text-based convolutional neural networks （TextCNN） technique［J］. Electronics， 2022， 11（20）： 3336. DOI： 10.3390/electronics11203336 .

[20] SHAN D H， LI H L. Group emotion recognition for weibo topics based on BERT with TextCNN［J］. American Journal of Information Science and Technology， 2023， 7（3）： 95-100. DOI： 10.11648/j.ajist.20230703.11 .

[21] 袁勋， 刘蓉， 刘明. 多特征感知情感分析模型［J］. 计算机仿真， 2023， 40（4）： 509-513. DOI： 10.3969/j.issn.1006-9348.2023.04.097 .

[22] YUAN X， LIU R， LIU M. Multi-feature perception sentiment analysis model［J］. Computer Simulation， 2023， 40（4）： 509-513. DOI： 10.3969/j.issn.1006-9348.2023.04.097（Ch ）.

[23] LI L Q， YANG L， ZENG Y Y. Improving sentiment classification of restaurant reviews with attention-based Bi-GRU neural network［J］. Symmetry， 2021， 13（8）： 1517. DOI： 10.3390/sym13081517 .

[24] ZHANG X， ZHAO J B， LECUN Y. Character-level convolutional networks for text classification［EB/OL］. ［2015-09-04］. DOI: 10.48550/arXiv.1509.01626 .

[25] LEI Z Y， YANG Y J， YANG M， et al. A multi-sentiment-resource enhanced attention network for sentiment classification［C］//Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics （Volume 2： Short Papers）. Stroudsburg： Association for Computational Linguistics， 2018： 758-763. DOI： 10.18653/v1/p18-2120 .

[26] 吴成斌. 文本情感分类算法在舆情分析中的应用［D］. 南昌： 南昌大学， 2021. DOI： 10.27232/d.cnki.gnchu.2021.001993 .

[27] WU C B. Application of text emotion classification algorithm in public opinion analysis［D］. Nanchang： Nanchang University， 2021. DOI： 10.27232/d.cnki.gnchu.2021.001993（Ch ）.

[28] TAN S B， ZHANG J. An empirical study of sentiment analysis for Chinese documents［J］. Expert Systems with Applications， 2008， 34（4）： 2622-2629. DOI： 10.1016/j.eswa.2007.05.028 .

[29] 杨书新， 张楠. 融合情感词典与上下文语言模型的文本情感分析［J］. 计算机应用， 2021， 41（10）： 2829-2834. DOI： 10.11772/j.issn.1001-9081.2020121900 .

[30] YANG S X， ZHANG N. Text sentiment analysis based on sentiment lexicon and context language model［J］. Journal of Computer Applications， 2021， 41（10）： 2829-2834. DOI： 10.11772/j.issn.1001-9081.2020121900（Ch ）.

[31] 陶威. 基于微博文本的情感分析模型研究与应用［D］. 南昌： 南昌大学， 2021. DOI： 10.27232/d.cnki.gnchu.2021.003317 .

[32] TAO W. Research and application of sentiment analysis model based on Weibo’s text［D］. Nanchang： Nanchang University， 2021.DOI： 10.27232/d.cnki.gnchu.2021.003317（Ch ）.

[33] SOCHER R， PERELYGIN A， WU J Y， et al. Recursive deep models for semantic compositionality over a sentiment treebank［C］//Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing. Stroudsburg：Association for Computational Linguistics， 2013： 1631-1642. DOI: 10.18653/v1/d13-1170 .

[34] THAVAREESAN S， MAHESAN S. Sentiment lexicon expansion using Word2vec and fastText for sentiment prediction in Tamil texts［C］//2020 Moratuwa engineering research conference （MERCon）. New York： IEEE Press， 2020： 272-276. DOI：10.1109/MERCon50084.2020.9185369

[35] SHEN Y F， LIU J H. Comparison of text sentiment analysis based on bert and word2vec［C］//2021 IEEE 3rd international conference on frontiers technology of information and computer （ICFTIC）. New York： IEEE Press， 2021： 144-147. DOI： 10.1109/ICFTIC54370.2021.9647258

[36] KODIYALA V S， MERCER R E. Emotion recognition and sentiment classification using bert with data augmentation and emotion lexicon enrichment［C］//2021 20th IEEE International Conference on Machine Learning and Applications （ICMLA）. New York： IEEE Press， 2021： 191-198. DOI： 10.1109/ICMLA52953.2021.00037

[37] MURTHY D G S N， ALLU S R， ANDHAVARAPU B， et al. Text based sentiment analysis using LSTM［J］. International Journal of Engineering Research & Technology， 2020， 9（5）： 299-303. DOI： 10.17577/ijertv9is050290 .

[38] 孔韦韦， 田乔鑫， 滕金保， 等. 融合注意力机制的混合神经网络文本情感分析模型［J］. 电讯技术， 2023， 63（6）： 781-789. DOI： 10.20079/j.issn.1001-893x.220115001 .

[39] KONG W W， TIAN Q X， TENG J B， et al. A hybrid neural network text sentiment analysis model with attention mechanism［J］. Telecommunication Engineering， 2023， 63（6）： 781-789. DOI： 10.20079/j.issn.1001-893x.220115001（Ch ）.

基金资助

国家重点研发计划“先进计算与新兴软件”重点专项(2023YFB4502904)

上海市“科技创新行动计划”生物医药科技支撑专项(22S31903700)