基于知识蒸馏和评论时间的文本情感分类新方法

New method for text sentiment classification based on knowledge distillation and comment time

摘要

针对现有的情感分类方法普遍未能充分考虑用户个性化特征且忽略时间因素对情感分类结果的影响的问题，提出一种基于知识蒸馏和评论时间的文本情感分类新方法。首先，为解决数据集中高质量标注数据较少的问题，采用RoFormer-Sim生成模型对训练文本数据增强；然后，引入评论时间属性，从用户历史评论中提取用户的个性化信息，提出基于多特征融合的评论文本情感得分预测模型；最后，为提高针对冷启动用户的泛化性能，引入知识蒸馏理论，利用SKEP模型对基于多特征融合的情感分类模型进行通用性增强。在从中文股吧爬取的真实数据集上的实验结果表明：与SKEP、ELECTRA等典型方法相比，本文方法在准确率上分别提高了3.1%和0.9%，在F₁值上分别提高了2.7%和1.0%，验证了其在改善情感分类表现方面的有效性。

Abstract

Aiming at the problem that the existing sentiment classification methods generally did not fully consider the user's personalized characteristics and ignore the influence of time factor on the sentiment classification results， a new method for text sentiment classification based on knowledge distillation and comment time is proposed. Firstly， in order to solve the problem of less labeled data with high quality， the RoFormer-Sim generative model is used to augment the training text data. Then， a sentiment score prediction model of comment text based on multi-feature fusion is proposed by introducing comment time attribute to extract users' personalized information from user's historical comments. Finally， in order to improve the generalization performance for cold start users， the knowledge distillation theory is introduced， and SKEP model is used to enhance the versatility of the sentiment classification model based on multi-feature fusion. The experimental results on the real dataset crawled from the Chinese stock page show that compared with typical methods such as SKEP and ELECTRA， the accuracy of the proposed method is improved by 3.1% and 0.9%， and the F₁ value is increased by 2.7% and 1.0%， respectively， which verifies its effectiveness in improving the performance of sentiment classification.

Graphical abstract

关键词

计算机应用 / 情感分类 / 知识蒸馏 / 数据增强 / 历史评论

Key words

computer application / sentiment classification / knowledge distillation / data augmentation / historical comment

0 引　言

随着互联网技术的快速发展，股吧平台成为越来越多投资者进行信息交流和获取的重要平台。通过针对股吧评论的情感分析，可以帮助投资者了解市场动向，提供给投资者相应的投资建议，也可以在一定程度上预测市场波动，帮助企业提前做好应对措施以化解风险。近年来，深度学习因其卓越的分类表现，被更多地应用在情感分类领域。Umer等^［1］将极度随机树（Extra tree）与卷积神经网络（Convolutional neural networks， CNN）两个模型单独训练，再通过软投票机制将模型集成，以提高模型的准确率和稳健性。Lan等^［2］提出了ALBERT（A lite BERT） 预训练模型，该模型减少了BERT模型整体的参数量，加快了训练速度。但是，该模型的下游微调任务仍需要大量文本数据，因此，针对数据匮乏的中文金融领域无法获得较好的情感分类性能。Liu等^［3］提出了FinBERT（BERT for financial text mining）预训练模型，该模型在BERT模型的基础上通过大规模英文金融语料训练得到，解决了英文金融领域缺乏预训练模型的问题，但因训练语料的限制，该模型无法应用在中文金融评论领域。赵亚欧等^［4］提出了基于ELMo（Embeddings from language models）和Transformer 的混合模型，并将长短时记忆网络（Long short-term Memory， LSTM）和多头注意力机制引入模型，解决了评论文本双向语义和一词多义的问题。但是，该方法仅提取评论文本自身的情感特征，未能准确挖掘用户个性特征和社会关系对文本情感分析的影响。为此，Yang等^［5］利用用户与用户、用户与博文之间的关系构建图，并利用大规模信息网络嵌入算法（Large-scala information network embedding， LINE）得到含有社交关系的节点向量。但是，以上方法未能对用户丰富的历史评论信息进行深入挖掘。为此，蒋宗礼等^［6］利用分层的多头注意力机制从多个角度挖掘用户和产品信息，更全面地捕捉用户与产品信息对情感分类的影响，取得了较好的实验结果。

研究发现，目前的情感分类方法仍面临以下问题：①金融领域质量合格的标注评论较为缺乏，限制了情感分类模型的准确性和泛化性；②未能考虑用户属性特征、用户历史评论特征、用户社交关系特征的综合影响，忽略了用户个性化特征和时间属性对情感分类的作用；③情感分类结果依赖于有限的训练数据，模型针对其他相关领域的迁移性和通用性较差。为此，本文提出一种基于知识蒸馏和评论时间的文本情感分类新方法。该方法首先利用RoFormer-Sim生成模型对评论文本进行数据增强；然后，利用用户大量无标注的历史评论提取用户个性特征，并通过引入时间遗忘函数以充分考虑时间因素对情感分类结果的影响；最后，提出基于用户相似度的冷启动用户表示方法，并引入蒸馏学习理论提高模型针对不同领域的泛化性能。

1 相关理论

1.1　知识蒸馏

知识蒸馏^［7］是一种有效的模型压缩方法。它能够将复杂的教师模型所学习到的知识迁移到轻量级的学生模型中。蒸馏训练主要是将复杂教师模型生成的软标签作为监督信号加入学生模型的训练中，以完成知识的迁移，达到提高学生模型分类准确率和泛化性的目的^［8］。教师模型的软标签通过引入温度系数T以对模型的输出进行平滑处理而得到，温度系数T的引入使软标签分布更加平滑，学生模型学到的知识也就更加丰富。软标签的计算公式如下：

y_i^{\mathrm{T}}=\mathrm{S}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}-T(z_i)=\frac{\mathrm{e}\mathrm{x}\mathrm{p}(z_i/T)}{\sum _j\mathrm{e}\mathrm{x}\mathrm{p}(z_j/T)}（1）

式中：y{}_{ij}^{\mathrm{T}}为软标签；z_i 、z_j 为模型输出；T为温度系数；Softmax-T函数为引入温度系数T的Softmax函数。

整个蒸馏学习的损失L_KD为学生模型的交叉熵损失L_CE和蒸馏损失L_DL的加权求和，计算公式为：

L_{\mathrm{K}\mathrm{D}}=a{L}_{\mathrm{C}\mathrm{E}}(p,y)+(\mathrm{1}-a)L_{\mathrm{D}\mathrm{L}}(p^{\mathrm{T}},q^{\mathrm{T}})T^{\mathrm{2}}（2）

式中：L_CE（p，y）为学生模型的硬标签（Softmax函数输出）p与真实标签y的交叉熵损失；L_DL（p^T， q^T）为学生模型的软标签p^T与教师模型的软标签q^T的KL散度损失；a为权重因子；乘以T²是为了均衡这两个损失。

1.2　情感知识增强预训练模型(Sentiment knowledge enhanced pre-training for sentiment analysis, SKEP)

SKEP模型^［9］是基于情感知识增强的情感预训练模型。SKEP模型首先使用点互信息（Pointwise mutual information， PMI）^［10］的方法对大量无标记数据自动挖掘情感知识，包括情感词、情感词极性以及观点搭配；然后，通过以下方式对原始句子的部分情感词语进行屏蔽：随机遮掩最多两对观点搭配、随机遮掩不超过当前句子token总数10%的情感词、当遮掩的比例不足10%时随机补充遮掩通用词至10%；最后，该模型将复原被屏蔽的情感信息。鉴于SKEP模型准确性高、通用性好、一键式预测等优势，本文将结合蒸馏学习思想利用SKEP模型提高情感分类模型的泛化性能。

2 问题描述

定义1　用户当前评论：当前进行情感分类的用户评论文本，表示为U{}_{ij}^{\mathrm{C}}（1≤i≤N），代表用户i的第j条当前评论。

定义2　用户历史评论集：用户一段时间内在平台上发表的所有历史评论，定义为U^P=｛U{}_i^{\mathrm{P}}｝（1≤i≤N），其中U{}_i^{\mathrm{P}}=｛U{}_{ij}^{\mathrm{P}}｝（1≤j≤C_i，C_i 为用户i具有的历史评论数），U{}_{ij}^{\mathrm{P}}表示第i个用户的第j条历史评论。

定义3　社会关系：用户间社会关系表示为G=（V， A ），其中V=｛v_i ｝（1≤i≤N，|V|=N）为用户集合， A ∈R ^N×N 为用户的邻接矩阵，能够表达有向图G的结构信息，A_ij 的定义为：

A_{ij}=\left\{\begin{array}{cc}\mathrm{1},& \mathrm{用户}\mathrm{节点}{v}_i\mathrm{关注}\mathrm{用户}\mathrm{节点}{v}_j\\ \mathrm{0},& \mathrm{其他}\end{array}\right.（3）

定义4　用户属性特征：用户i的属性特征为F_i，其中，F_i =｛fun_ij ｝（1≤j≤n，n为用户属性个数），fun_ij 为用户i的第j个属性值，通常指用户的粉丝数、关注人数、影响力值等信息。

在此基础上，本文综合多种特征的影响，将情感分类函数定义为F（ h_ij，Ω，S）。若F（ h_ij，Ω，S）=1，则U{}_{ij}^{\mathrm{C}}的情感类别为积极，否则，其情感类别为消极。其中， h_ij 为U{}_{ij}^{\mathrm{C}}对应的多特征融合后的向量，Ω为模型所需参数，S为知识蒸馏教师模型。为便于理解，本文其余相关符号的定义如表1所示。

3 基于知识蒸馏和评论时间的文本情感分类新方法

本文方法主要分为两个模块：基于多特征融合的评论文本情感得分预测模型与基于知识蒸馏和用户相似性的模型通用性增强，具体过程如图1所示。

3.1　基于多特征融合的评论文本情感得分预测模型(MFM)

3.1.1　评论文本数据增强

股吧的评论文本有较强的不规范性，充斥着大量的网络用词、口语词，同时有一定的专业性，包含较多投资专业术语。这导致文本的噪声较大，质量合格的标注数据较少。为此，本文采用RoFormer-Sim模型^［11］对评论文本进行数据增强。RoFormer-Sim是同时具备相似句生成和相似句检索能力的生成式语言模型。该模型在SimBERT^［12］的基础上，增加了仿BART（Bidirectional and auto-regressive transformers）^［13］式训练、模型蒸馏以及一般句式语料的训练，是对SimBERT相关技术进一步的整合和优化。

3.1.2　用户特征向量生成

为了有效考虑情感分类任务里评论的时间属性，本文在为每个用户构建个性化用户特征向量时，引入可解释性更强的时间遗忘函数，获得包括历史评论中蕴含的个性信息和粉丝数、访问量、影响力等属性信息，以此融合了用户的用词习惯、性格特点、态度偏好、遗忘属性、影响力及活跃程度等个性化因素。具体过程如下：

为获得用户i的第j个历史评论U{}_{ij}^{\mathrm{P}}的句向量 h{}_{ij}^{\mathrm{S}}，将U{}_{ij}^{\mathrm{P}}所有词对应的词向量乘以该词相应的tf-idf值，以体现句子中每个词的重要程度，计算公式为：

{\mathit{h}}_{ij}^{\mathrm{S}}=\frac{{\displaystyle \sum _{k=\mathrm{1}}^{t_{ij}^{\mathrm{P}}}}{\mathit{h}}_{ijk}^{\mathrm{W}}\times \mathrm{e}\mathrm{x}\mathrm{p}(T_k)}{t_{ij}^{\mathrm{P}}}（4）

式中：exp（）表示以e为底的指数函数；T_k 为词语word{}_k^{ij}的tf-idf值，其计算方法为：

T_k=t{f}_k\times idf（5）

t{f}_k=\frac{n_k}{t}（6）

idf=\mathrm{l}\mathrm{g}\frac{n_p}{n_{pk}+\mathrm{1}}（7）

式中：tf_k 为word{}_k^{ij}的词频；idf为逆向文件频率；n_k 为词word{}_k^{ij}在本评论中出现的次数；n_p 为所有评论的个数；n_pk 为包含词word{}_k^{ij}的评论数。

可见，T_k 越大，说明word{}_k^{ij}越重要，对句向量 h{}_{ij}^S的影响越大。

人们的情绪特征和态度偏好通常会随着时间的推移而发生较大的改变，德国心理学家Ebbinghaus^［14］研究发现了艾宾浩斯遗忘曲线，揭示了人们对事物的遗忘过程呈现非线性的变化。根据此规律，构造与艾宾浩斯遗忘曲线类似的基于时间的遗忘函数，定义为：

f(u,i)={\mathrm{e}}^{-a\times \frac{t_i-t_{\mathrm{0}}}{T_{\mathrm{u}}}}（8）

式中：f（u，i）为用户u的第i个历史评论的时间权重，其数值在（0，1）之间；t_i 为用户u的第i个历史评论所发表的时间；t₀为用户最早发表评论的时间；T_u为用户最早发表评论与最近发表评论的时间间隔；a为权重调控因子，a∈［0，1］。

进一步地，计算得到用户i的历史评论向量 h{}_i^{\mathrm{L}}（1≤i≤N， h{}_i^{\mathrm{L}}∈R^m，m为词向量维数），公式为：

{\mathit{h}}_i^{\mathrm{L}}=\frac{{\displaystyle \sum _{\mathrm{i}=\mathrm{0}}^{C_i}}f(i,j)\times {\mathit{h}}_{ij}^{\mathrm{S}}}{C_i}（9）

式中：C_i 为用户i具有的历史评论数；f（i，j）为U{}_{ij}^{\mathrm{P}}对应的时间遗忘函数值。

按照定义4提取用户i的属性集F_i 所对应的属性值，为避免不同维度跨度大小的影响，对该向量每维数据进行Max-Min归一化操作，以得到用户i的属性向量 h{}_i^{\mathrm{A}}∈R ⁿ。在此基础上，将其与用户历史评论向量 h{}_i^{\mathrm{L}}拼接，得到用户i的特征向量 h{}_i^{\mathrm{F}}∈R ^m+n，公式为：

{\mathit{h}}_i^{\mathrm{F}}={\mathit{h}}_i^{\mathrm{L}}||{\mathit{h}}_i^{\mathrm{A}}（10）

式中： || 为向量拼接操作。

3.1.3　用户社会关系向量生成

为提高用户社会关系学习效果，本文利用node2vec算法^［15］对用户社会关系网络结构进行学习，通过控制节点序列产生过程中的游走趋向将更大范围的网络结构信息体现到节点向量中。使用node2vec算法可得到一系列节点序列，并通过skip-gram模型训练获得用户社会关系向量 H_R =［ h{}_i^{\mathrm{R}}］（1≤i≤N， h{}_i^{\mathrm{R}}∈R ^m+n ），对应的目标函数为：

L=\frac{\mathrm{1}}{N}{\displaystyle \sum _{t=\mathrm{1}}^N}\sum _{-\mathrm{c}\le j\le c,j\ne \mathrm{0}}\mathrm{l}\mathrm{o}\mathrm{g}p(w_{t+j}|w_t)（11）

式中：N为用户数量；c为窗口大小；w_t 为第t个用户节点。

p(w_{t+j}|w_t)=\frac{{\mathit{u}}_{w_{t+j}}^{\mathrm{T}}{\mathit{v}}_{w_t}}{{\displaystyle \sum _{i=\mathrm{1}}^{|V|}}\mathrm{e}\mathrm{x}\mathrm{p}({\mathit{u}}_{w_i}^{\mathrm{T}}{\mathit{v}}_{w_t})}（12）

式中： u_w 与 v_w 分别为节点w是背景节点和中心节点的向量表达。

3.1.4　基于多特征融合的情感分类

本文选取字长不超过400的用户评论进行标注，形成带有标注的用户当前评论数据U{}_{ij}^{\mathrm{C}}（1≤i≤N），对应的标签为ŷ_ij （ŷ_ij ∈｛0，1｝）。进一步地，对当前评论进行分词、去停用词等操作，并利用预训练的skip-gram模型将各词语转换为词向量，得到词向量矩阵 H{}_{ijt}^{\mathrm{C}\mathrm{W}}（该矩阵由词向量 h{}_{ijt}^{\mathrm{C}\mathrm{W}}组成，1≤t≤t{}_{ij}^{\mathrm{C}}，t{}_{ij}^{\mathrm{C}}为 H{}_{ijt}^{\mathrm{C}\mathrm{W}}所含词语个数），为了充分利用上下文信息，保证同时对数据上下文的处理能力，引入双向GRU单元^［16］（BiGRU），将 H{}_{ijt}^{\mathrm{C}\mathrm{W}}中的节点向量依次输入BiGRU中，以获得所有词向量的矩阵 H_ij （该矩阵由 h{}_t^{\mathrm{B}}组成， h{}_t^{\mathrm{B}}为BiGRU网络输出的第t个词语向量，1≤t≤t{}_{ij}^{\mathrm{C}}），其中 h{}_t^{\mathrm{B}}的计算公式为：

\overrightarrow{{\mathit{h}}_t}=\overrightarrow{\mathrm{G}\mathrm{R}\mathrm{U}}({\mathit{h}}_{ijt}^{\mathrm{C}\mathrm{W}},{\mathit{h}}_{t-\mathrm{1}})（13）

\stackrel{⃖}{{\mathit{h}}_t}=\stackrel{⃖}{\mathrm{G}\mathrm{R}\mathrm{U}}({\mathit{h}}_{ijt}^{\mathrm{C}\mathrm{W}},{\mathit{h}}_{t+\mathrm{1}})（14）

{\mathit{h}}_t^{\mathrm{B}}=[\overrightarrow{{\mathit{h}}_t},\stackrel{⃖}{{\mathit{h}}_t}]（15）

式中：\overrightarrow{{\mathit{h}}_t}、\stackrel{⃖}{{\mathit{h}}_t}分别为GRU网络从前往后、从后往前处理词语序列得到的第t个词语向量； h{}_t^{\mathrm{B}}由\overrightarrow{{\mathit{h}}_t}、\stackrel{⃖}{{\mathit{h}}_t}拼接得到；［ ， ］为向量拼接符。

为了识别不同词对情感分类的重要程度，将BiGRU的输出 H_ij 输入注意力层中，可将用户当前评论U{}_{ij}^C转化为相应的句向量 h{}_{ij}^{\mathrm{C}}∈R ^m+n，公式为：

{\mathit{h}}_{ij}^{\mathrm{C}}=\mathrm{A}\mathrm{t}\mathrm{t}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}({\mathit{H}}_{ij})（16）

式中：Attention（）为采用一层全连接神经网络的注意力层，公式为：

\mathit{A}=\mathrm{S}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}({\mathit{W}}_A\mathit{M}+{\mathit{b}}_A)（17）

{\mathit{M}}^{\text{'}}=\mathit{M}\odot \mathit{A}（18）

\mathit{z}=\sum _i{{\mathit{M}}_i}^{\mathrm{\text{'}}}（19）

式中： M 为注意力机制的输入矩阵； W_A 、 b_A 分别为权重矩阵和偏置矩阵； A 为注意力分数矩阵，形状与 M 相同；{\mathit{M}}^{\text{'}}为中间向量矩阵； z 为注意力机制的输出，⊙表示矩阵哈达玛积。

在此基础上，利用与式（16）相同的注意力机制以获得当前评论文本的最终向量表达： h_ij ∈R ^m+n，公式为：

{\mathit{h}}_{ij}=\mathrm{A}\mathrm{t}\mathrm{t}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}([{\mathit{h}}_{ij}^{\mathrm{C}},{\mathit{h}}_i^{\mathrm{F}},{\mathit{h}}_i^{\mathrm{R}}])（20）

进一步地，将 h_ij 输入全连接层中，以获得当前评论U{}_{ij}^{\mathrm{C}}所对应的情感得分s_ij ∈R²，公式为：

s_{ij}={\mathit{W}}_{\mathrm{0}}{\mathit{h}}_{ij}+{\mathit{b}}_{\mathrm{0}}（21）

式中： W₀∈R^2×（m+n）、 b₀∈R²为训练权重矩阵。

现给出本文基于多特征融合的评论文本情感得分预测模型（MFM）的执行过程，如算法1所示。

算法1　基于多特征融合的评论文本情感得分预测

输入：用户i的当前评论数据集U{}_{\mathrm{i}}^{\mathrm{C}}=｛U{}_{\mathrm{i}\mathrm{j}}^{\mathrm{C}}｝（1≤j≤R_i，R_i为用户i具有的当前评论数），用户关注关系G=（V，A），用户i的历史评论集U{}_{\mathrm{i}}^{\mathrm{P}}=｛U{}_{\mathrm{i}\mathrm{j}}^{\mathrm{P}}｝（1≤j≤R_i）和用户i的属性集F_i

输出：U{}_{\mathrm{i}}^{\mathrm{C}}的情感得分向量s_i

1.对F_i进行Max-Min处理，得到用户i的属性向量h{}_{\mathrm{i}}^{\mathrm{A}}∈Rⁿ

2.利用node2vec算法处理用户社会关系图G=（V，A），得到用户的社会关系向量：H_R=［h{}_{\mathrm{i}}^{\mathrm{R}}］（1≤i≤N）

3.for all U{}_{\mathrm{i}\mathrm{j}}^{\mathrm{P}}∈U{}_{\mathrm{i}}^{\mathrm{P}} do

4.利用式（4）获得U{}_{\mathrm{i}\mathrm{j}}^{\mathrm{P}}对应句向量h{}_{\mathrm{i}\mathrm{j}}^{\mathrm{S}}

5.利用式（8）（9）获得用户i的历史评论向量h{}_{\mathrm{i}}^{\mathrm{L}}

6.end for

7.利用式（10）获得用户i的特征向量h{}_i^F

8.for all U{}_{\mathrm{i}\mathrm{j}}^{\mathrm{C}}∈U{}_{\mathrm{i}}^{\mathrm{C}} do

9.将U{}_{\mathrm{i}\mathrm{j}}^{\mathrm{C}}所有词对应的词向量输入BiGRU网络中，并利用式（16）获得句向量h{}_{ij}^C

10.利用式（20）融合h{}_{\mathrm{i}}^{\mathrm{F}}、h{}_{\mathrm{i}}^{\mathrm{R}}和h{}_{\mathrm{i}\mathrm{j}}^{\mathrm{C}}，得到U{}_{\mathrm{i}\mathrm{j}}^{\mathrm{C}}对应的特征向量h_ij

11.end for

12.将H_i=［h_ij］（1≤j≤R_i）输入全连接层，利用式（21）获得情感得分向量s_i=［s_ij］（1≤j≤R_i，s_ij为U{}_{\mathrm{i}\mathrm{j}}^{\mathrm{C}}的情感得分）

3.2　基于知识蒸馏和用户相似性的模型通用性增强

3.2.1　冷启动用户表示

为了提高模型针对训练集中未出现用户（冷启动用户）的表示能力，本文提出针对冷启动用户的关系向量表示方法。具体而言，首先，通过遍历数据集中的所有N个用户，计算冷启动用户v的特征向量与现有全部用户i的余弦相似度，如式（22）所示；然后，将所有用户按余弦相似度值大小降序排序，得到相似度值排前5的用户；最后，对这5个用户的关系向量取平均值，可得到冷启动用户v的关系向量 h{}_v^{\mathrm{R}}∈R ^m+n，如式（23）所示：

\mathrm{c}\mathrm{o}\mathrm{s}(v,i)=\frac{{\mathit{h}}_i^{\mathrm{F}}\times {\mathit{h}}_v^{\mathrm{F}}}{‖{\mathit{h}}_i^{\mathrm{F}}‖‖{\mathit{h}}_v^{\mathrm{F}}‖}（22）

{\mathit{h}}_v^{\mathrm{R}}=\frac{{\displaystyle \sum _{i\in top\mathrm{5}\_list}^{\mathrm{5}}}{\mathit{h}}_i^{\mathrm{R}}}{\mathrm{5}}（23）

式中：cos（v，i）为冷启动用户v与用户i的余弦相似度；top5_list为余弦相似度值前5的用户集。

3.2.2　模型通用性增强

单纯使用基于多特征融合的情感分类方法易造成模型对训练集数据依赖性强的问题，使模型预测结果针对特定文本有一定的偏向性。为此，本文引入知识蒸馏理论，以通用情感分类模型SKEP为教师模型，以多特征模型MFM为学生模型，将SKEP模型的通用性情感分类知识泛化到MFM上，以此提高情感分类模型对其他评论领域的通用性和准确率。为避免过拟合，在蒸馏训练的损失函数中加入了L₂正则化惩罚项，计算公式为：

L_{\mathrm{K}\mathrm{D}}=a{L}_{\mathrm{C}\mathrm{E}}+(\mathrm{1}-a)T^{\mathrm{2}}{L}_{\mathrm{D}\mathrm{L}}+\lambda {‖\theta ‖}^{\mathrm{2}}（24）

式中：L_CE、L_DL分别为学生模型的交叉熵损失与蒸馏损失；a为权重因子；T为温度系数；θ为模型全部参数；λ为L₂正则化的惩罚系数，λ越大，惩罚力度越大。

L_{\mathrm{C}\mathrm{E}}=-{\displaystyle \sum _{i=\mathrm{1}}^N}{\displaystyle \sum _{j=\mathrm{1}}^{R_i}}{\widehat{y}}_{ij}\mathrm{l}\mathrm{n}{p}_{ij},L_{\mathrm{D}\mathrm{L}}={\displaystyle \sum _{i=\mathrm{1}}^N}{\displaystyle \sum _{j=\mathrm{1}}^{R_i}}{q}_{ij}^T\mathrm{l}\mathrm{n}\left(\frac{q_{ij}^{\mathrm{T}}}{p_{ij}^{\mathrm{T}}}\right)（25）

式中：ŷ_ij 为U{}_{ij}^{\mathrm{C}}的真实情感标签；p_ij 为MFM模型的硬标签；p{}_{ij}^{\mathrm{T}}为MFM模型的软标签；q{}_{ij}^{\mathrm{T}}为SKEP模型的软标签。

4 实验结果与分析

4.1　数据集

针对东方财富网股吧平台的用户，使用八爪鱼专业版软件爬取其在2021年11月之前发布的评论（最大不超过60条）。每个用户选取最多20个关注者，最终得到了用户评论数据集，数据集中共含有437个用户，17 391条评论，479条关注边数。对每个用户爬取包括粉丝数、吧龄、访问量、关注的人数、影响力值等属性信息。在所有的用户评论中，选取标题和正文总字数不超过400的评论进行积极性和消极性标注，以此得到5 791条标注数据。数据集中部分评论示例如表2所示。

为了验证用户历史评论对情感分类结果的影响，本文选用发表时间为最近一周的标注评论为测试集，除去测试集后，训练集、验证集分别占剩余数据的7/8与1/8。实验使用准确率（Acc）、F₁值^［17］和均方根误差（Root mean square error，RMSE）^［18］来衡量模型的分类性能，每次实验的结果通过10次随机实验的平均值得到。实验软件环境为：Python 3.7.0+TensorFlow 2.1.0，硬件环境为：CPU：Intel Xeon Gold 5218，内存：64 GB，显卡：NVIDIA GeForce RTX 2080Ti。

4.2　对比方法及参数设置

选取以下基线方法进行对比：BiGRU^［16］、BiGRU+Attention^［19］、TextCNN^［20］、ALBERT^［2］、ELECTRA^［21］、CAT-BiGRU^［22］、Cov-Att-Bilstm^［23］、CNN+BiGRU^［24］、SKEP^［9］、LSTM-GRU^［25］。若无特殊说明，所有方法默认迭代轮次epochs=110，批大小batch_size=1 024，学习率learning_rate=0.000 2，L₂惩罚系数λ=0.000 2，优化器为Adam，词向量通过skip-gram模型获得，句子最大长度max_len=100，词嵌入维度m=95，属性向量维数n=5。上述方法涉及的其他参数如表3所示。

4.3　数据增强验证和测试集选定

为解决标记数据量不足的问题，利用RoFormer-Sim模型对训练文本进行数据增强，将训练数据分别扩增1、2、3倍。同时，根据评论发表时间选定测试集，将发表时间段为：2021.10.29至2021.11.04（最近1周）、2021.10.22至2021. 11.04（最近2周）、2021.10.15至2021.11.04（最近3周）、2021.10.08至2021.11.04（最近4周）的标注评论数据分别作为测试集，即时间间隔D=1周，时间阈值为最近w周（w=1，2，3，4），对应样本数量分别为407、801、1 074及1 309。

图2展示了MFMS方法在训练集数据增强z（z=0，1，2，3）倍时、针对不同时间区间（最近w周）测试集的情感分类结果。由图2可知，在测试数据集一致时，扩增的倍数在1、2倍时，情感分类性能有明显提升，说明RoFormer-sim生成模型能够一定程度地解决原本质量合格的标注评论较少，专有训练语料不足的问题，较好地提升情感分类性能。当扩增倍数为z=3时，仅测试集为最近2周（w=2）时，测试结果略有提升，在准确率和F₁值上分别仅提高了0.07%和0.18%，其余测试集均有不同程度的下跌，这是因为较大的扩增倍数将引入较多的噪声样本，继而影响了情感分类的准确性。

进一步发现，当选用最近1周（w=1）发表的评论为测试集，且训练集扩增倍数为z=2时，其准确率和F₁值最高，分别为86.6%、90.8%，比训练集为原数据（z=0）时分别提高了2.92%、2.06%。图3展示了MFMS方法在不同的文本增强倍数下、针对不同测试集时的平均训练时间，由图3可知，随着文本增强倍数的增加，模型的训练时间呈线性增长。因此，均衡考虑训练时间和分类效果，文本增强倍数、测试集评论的时间区间分别取2倍、最近1周，并将其应用于后续对比实验中。

4.4　epoch影响分析

图4显示了训练轮数为110时，模型训练过程中的总损失、蒸馏损失、交叉熵损失、准确率和F₁值随训练轮次的变化情况。由图4可知，随着训练轮次的增加，各损失值均呈下降趋势，准确率和F₁值呈上升趋势。当epoch取值大于20时，准确率和F₁值趋于稳定，而损失值下降变得缓慢，说明此时模型的训练过程接近收敛状态。在各损失值中，总损失和交叉熵损失相近，且明显大于蒸馏损失，这是因为，由式（24）可知，总损失为蒸馏损失乘以T²的结果、交叉熵损失以及惩罚项的加权和，使温度系数T限制了蒸馏损失的大小。

4.5　带时间属性的用户个性特征有效性验证

为了验证评论时间属性对提升情感分类性能的有效性，通过改变多特征模型的输入特征以获得不同的情感分类方法，具体如下：

（1） MFMS-NTime：与MFMS不同的是，该方法的用户特征向量生成时，不考虑历史评论的发表时间因素，取历史评论向量的平均值得到。

（2） MFMS-NUser：与MFMS不同的是，该方法不融合用户特征向量，仅融合用户当前评论向量和用户关系向量。

图5展示了各分类方法在测试集发表时间阈值为最近w周（w=0.5，1，1.5，2），时间间隔D=0.5周时的情感分类结果。由图5可知，MFMS表现均优于MFMS-NTime。当w值分别为0.5、1、1.5、2时，MFMS相对于MFMS-NTime在F₁值上分别提高了1.82%、1.35%、1.9%、1.77%，验证了相比于不考虑历史评论的发表时间得到的用户特征向量，使用时间遗忘函数得到的用户特征向量对提升情感分类性能的有效性。当w值分别为0.5、1、1.5、2时，MFMS 相对于MFMS-NUser 在准确率上分别提高了0.93%、0.90%、1.30%、1.10%，验证了融合基于用户历史评论和属性的用户特征向量对提升评论文本情感分类性能的有效性。进一步发现，当测试集的时间间隔w值取1时，MFMS、MFMS-NTime、MFMS-NUser在准确率与F₁值上均比w取其他值（0.5、1.5、2）时有不同程度的提高，进一步验证了本文把测试集时间区间选定为最近1周的合理性。

4.6　综合比较

表4列出了本文方法与经典深度学习方法在准确率、F₁值和RMSE值上的实验结果。由表4可知，本文方法表现均优于预训练模型算法（ALBERT、ELECTRA与SKEP），比预训练模型中表现最好的ELECTRA模型在准确率和F₁值上分别提升了0.9%和1.0%，在RMSE值上降低了0.013。这是因为预训练模型仅将用户评论的语义信息作为特征，忽略了用户的个性特征和社会关系特征，因此，降低了其在情感分类上的表现。

进一步分析表4可知，在除预训练模型之外的深度学习方法中，CNN+BiGRU模型表现最优，而本文未经知识蒸馏的MFM方法相比于CNN+BiGRU模型在准确率和F₁值上分别提升了1.4%和1.0%，在RMSE值上降低了0.032。验证了在用户当前评论文本特征的基础上综合考虑带有时间属性的用户历史评论、属性特征和社交关系对提升情感分类性能的有效性。同时，本文的MFMS方法比MFM方法在准确率和F₁值上分别提升1.1%和0.8%，比SKEP在准确率和F₁值上分别提升3.1%和2.7%，可见，知识蒸馏理论使基于多特征融合的评论文本情感得分预测模型可以充分学习SKEP情感模型的通用性知识，继而有效提高模型的分类准确率和泛化性。

4.7　模型通用性验证

为验证本文方法针对训练集外冷启动用户的情感分类性能，通过修改本文方法以获得不同的情感分类方法。具体方法如下：

（1） MFMS-DW：与MFMS不同的是，该方法的用户关系向量采用DeepWalk算法生成。

（2） MFMS-NRel：与MFMS不同的是，该方法不融合用户关系向量，仅融合用户当前评论向量和用户特征向量。

（3） MFMS-Attr：与MFMS不同的是，该方法通过求该冷启动用户与其他用户属性向量的余弦相似度得到最相似的前5个用户，再取它们关系向量的平均值作为该冷启动用户的关系向量。

表5列出了不同方法对应的准确率和F₁值，由表5可知，MFMS表现优于MFMS-NRel，在准确率与F₁值上分别提高了0.5%与0.4%，验证了用户社会关系特征对提升情感分类性能具有较好的效果。MFMS表现优于MFMS-DW，在准确率与F₁值上分别提高了0.3%与0.2%，这说明相比于DeepWalk算法，使用node2vec算法得到的用户社会关系向量在提升情感分类性能上更加有效。进一步发现，MFMS比未经知识蒸馏的MFM方法在准确率与F₁值上分别提高了1.3%与0.9%，比教师模型SKEP在准确率和F₁值上分别提高了2.8%和2.4%，这主要是因为MFM模型通过蒸馏训练学习到了SKEP模型中蕴含的通用性情感分类知识，提高了模型对跨领域评论的检测能力。

为验证本文方法在其他数据集上的表现，进一步选择英文SST-2数据集^［9］进行实验。选取其中1/3样本微调SKEP模型，剩余2/3样本作为本文方法数据集，在此基础上得到不同方法对应的准确率及F₁值，如图6所示。由图6可知，使用蒸馏模型的MFMS方法比未使用蒸馏模型的MFM方法在准确率和F₁值上分别提高了1.2%和1.1%，这说明MFMS方法学习了SKEP模型蕴含的有用分类知识，有效提升了本文方法的情感分类效果。

5 结束语

本文提出了一种基于知识蒸馏和评论时间的文本情感分类新方法，主要贡献包括：①利用RoFormer-Sim生成模型对标注评论进行数据增强，解决了训练数据不足的问题；②引入时间因素，为每个用户构建了具有遗忘属性的用户特征，并将其与用户社交关系特征、当前评论特征通过注意力机制融合，充分考虑不同类型特征对情感分类结果的影响；③提出了基于用户相似度的用户关系表示方法，提高了针对冷启动用户的表达能力，同时引入知识蒸馏的理论和训练方法，提高了模型的通用性和泛化性。在从股吧爬取的真实数据集上的实验结果表明：与传统典型方法相比，该方法在准确率及F₁值上获得明显提升。但是，本文方法未能有效考虑用户社会关系动态变化的影响，因此，未来将结合时序数据分析方法获得符合当前用户情感状态的社会关系特征，以进一步提高模型情感分类效果。

参考文献

[1] Umer M, Sadiq S, Nappi M, et al. ETCNN: extra tree and convolutional neural network-based ensemble model for COVID-19 tweets sentiment classification[J]. Pattern Recognition Letters, 2022, 164: 224-231.

[2] Lan Z, Chen M, Goodman S, et al. ALBERT: a lite bert for self-supervised learning of language representations[C]∥International Conference on Learning Representations, Addis Ababa, Ethiopia, 2020: 1-17.

[3] Liu Z, Huang D, Huang K, et al. Finbert: a pre-trained financial language representation model for financial text mining[C]∥Proceedings of the Twenty-Ninth International Conference on International Joint Conferences on Artificial Intelligence, Yokohama, Japan, 2021: 4513-4519.

[4] 赵亚欧, 张家重, 李贻斌, 基于ELMo和Transformer混合模型的情感分析[J]. 中文信息学报, 2021, 35(3): 115-124.

[5] Zhao Ya-ou, Zhang Jia-chong, Li Yi-bin, et al. Sentiment analysis based on hybird model of elmo and transformer[J]. Journal of Chinese Information Processing, 2021, 35(3): 115-124.

[6] Yang J, Zou X, Zhang W, et al. Microblog sentiment analysis via embedding social contexts into an attentive LSTM[J]. Engineering Applications of Artificial Intelligence, 2021, 97: 104048.

[7] 蒋宗礼, 张静. 融合用户和产品信息的多头注意力情感分类模型[J]. 计算机系统应用, 2020, 29(7): 131-138.

[8] Jiang Zong-li, Zhang Jing. Multi-head attention model with user and product information for sentiment classification[J]. Computer Systems & Applications, 2020, 29(7): 131-138.

[9] Hinton G, Vinyals O, Dean J. Distilling the knowledge in a neural network[J]. Computer Science, 2015, 14(7): 38-39.

[10] 邵仁荣, 刘宇昂, 张伟, 深度学习中知识蒸馏研究综述[J]. 计算机学报, 2022, 45(8): 1638-1673.

[11] Shao Ren-rong, Liu Yu-ang, Zhang Wei, et al. A survey of knowledge distillation in deep learning[J]. Chinese Journal of Computers, 2022, 45(8): 1638-1673.

[12] Tian H, Gao C, Xiao X, et al. SKEP: sentiment knowledge enhanced pre-training for sentiment analysis[J/OL]. [2023-07-25].arXiv Preprint arXiv: 2005. 05635v2.

[13] Turney P D. Thumbs up or thumbs down? Semantic orientation applied to unsupervised classification of reviews[J]. Association for Computational Linguistics, 2002, 6: 417-424.

[14] Xie W. Entity linking based on roformer-sim for chinese short texts[J]. Frontiers in Computing and Intelligent Systems, 2023, 4(1): 46-50.

[15] Zhao Y, Liu S, Zhang Q, et al. Test case classification via few-shot learning[J]. Information and Software Technology, 2023, 160:107228.

[16] Lewis M, Liu Y, Goyal N, et al. BART: denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension[C]∥Meeting of the Association for Computational Linguistics. Association for Computational Linguistics, 2020: 7871-7880.

[17] Ebbinghaus H. Memory: a contribution to experimental psychology[J]. Annals of Neurosciences, 2013, 20(4): 2004155.

[18] Grover A, Leskovec J. Node2vec: scalable feature learning for networks[C]∥Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, New York, USA, 2016: 855-864.

[19] 乔百友, 武彤, 杨璐, 一种基于BiGRU和胶囊网络的文本情感分析方法[J]. 吉林大学学报: 工学版, 2024,54(7): 2026-2037.

[20] Qiao Bai-you, Wu Tong, Yang Lu, et al. A text sentiment analysis method based on BiGRU and capsule network[J]. Journal of Jilin University (Engineering and Technology Edition), 2024, 54(7): 2026-2037.

[21] 王友卫, 童爽, 凤丽洲, 基于图卷积网络的归纳式微博谣言检测新方法[J].浙江大学学报: 工学版, 2022, 56(5): 956-996.

[22] Wang You-wei, Tong Shuang, Feng Li-zhou, et al. New inductive microblog rumor detection method based on graph convolutional network[J]. Journal of Zhejiang University (Engineering Science), 2022, 56(5): 956-996.

[23] 陈洁, 王思雨, 赵姝, 基于多粒度用户偏好的文档级情感分析[J]. 中文信息学报, 2023, 37(7): 122-130.

[24] Chen Jie, Wang Si-yu, Zhao Shu, et al. Multi-granular user preferences for document-level sentiment analysis[J]. Journal of Chinese Information Processing, 2023, 37(7): 122-130.

[25] Li Y, Ni P, Li G, et al. Inter-personal relation extraction model based on bidirectional GRU and attention mechanism[C]∥IEEE 5th International Conference on Computer and Communications (ICCC), Harbin, China, 2019: 1867-1871.

[26] Guo B, Zhang C, Liu J, et al. Improving text classification with weighted word embeddings via a multi-channel textcnn model[J]. Neurocomputing, 2019, 363: 366-374.

[27] Clark K, Luong M T, Le Q V, et al. Electra: pre-training text encoders as discriminators rather than generators[J/OL]. [2023-07-26]. arXiv Preprint arXiv: 2003. 10555.

[28] Kamal A, Abulaish M. Cat-bigru: convolution and attention with bi-directional gated recurrent unit for self-deprecating sarcasm detection[J]. Cognitive Computation, 2022, 14: 91-109.

[29] Ahmad W, Wang B, Martin P, et al. Enhanced sentiment analysis regarding COVID-19 news from global channels[J]. Journal of Computational Social Science, 2023, 6: 19-57.

[30] Gao Z, Li Z, Luo J, et al. Short text aspect-based sentiment analysis based on CNN + BiGRU[J]. Applied Sciences, 2022, 12(5): 12052707.

[31] Aslam N, Rustam F, Lee E, et al. Sentiment analysis and emotion detection on cryptocurrency related tweets using ensemble LSTM-GRU model[J]. IEEE Access, 2022, 10: 39313-39324.

基金资助

中央财经大学科研创新团队支持计划项目(202516)

中央财经大学新兴交叉学科建设项目(202106)

天津市教委科研计划项目(2023SK115)

国家社科一般项目(20BTJ058)