面向医疗文本信息的方面级情感分析

Aspect-Level Sentiment Analysis for Medical Text Information

摘要

近年来，文本方面级的细粒度情感分析受到了越来越多的重视，并且在医疗文本方面的作用也越来越大。与粗粒度情感分析相比，细粒度情感分析可以区分医疗文本的每个具体方面词，并且可以得到每个方面词所表达的情感信息。方面级情感分析任务需要考虑方面词和情感词之间的交互，而医疗文本既可作为方面词，又可作为情感词。因此，提出了一个包含上下文位置潜在信息的方面级情感分析模型，实现对于医疗文本信息的情感分析。医疗文本中与特定方面词情感极性判断相关的上下文词一般位于该方面词的附近，而且由于医疗方面词的上下文的词数量存在差异，可能会导致词嵌入向量表示的属性变化，使得方面词的相对位置会有所不同。因此，提出了一种新的上下文位置调整函数，通过调整上下文词在不同位置的权重，增强与指定方面词相关的情感极性词的针对性，减轻方面词两侧词数差异对情感极性判断的干扰。同时，为了将包含特定方面的情感信息的方面词以向量表示，引入了一个线性条件随机场模型辅助建立方面词向量表示的模型。最终，使用焦点损失函数来训练模型参数，处理医疗文本中的情感分析的类不平衡问题。

Abstract

In recent years, text level fine-grained sentiment analysis has received more and more attention, and its role in medical text is also growing. Compared with coarse-grained sentiment analysis, aspect-level sentiment analysis can distinguish each specific aspect word of the medical text, and can get the emotional information expressed by each aspect word. Aspect-level sentiment analysis task need consider the interaction between aspect words and sentiment words. Medical texts can be used as both aspect words and sentiment words. So in this paper, we propose an aspect-level sentiment analysis model with Contextual Position Latent Information. At the same time, the context words related to the sentiment polarity judgment of specific aspect words in the medical text are generally located near the aspect words. Moreover, due to the difference in the number of words in the context of medical aspect words, the attribute of word embedding vector representation may change, making the relative position of aspect words different. Therefore, this paper proposes a new context location adjustment function to enhance the pertinence of the sentiment polarity words related to the designated aspect words, and reduce the interference of the number of words on both sides of the aspect words on the judgment of sentiment polarity. At the same time, a linear conditional random field model is introduced to help establish the vector representation model of aspect words in order to express the aspect words containing the emotional information of a specific aspect. Finally, the focus loss function is used to train the model parameters to deal with the class imbalance of sentiment analysis in medical texts.

Graphical abstract

关键词

自然语言处理 / 方面级情感分析 / 语境权重调整 / 焦点损失函数

Key words

natural language process / aspect-level sentiment analysis / context weight adjustment / focal loss function

0　 引 言

随着近年来丁香园、百度医生等医疗领域的APP快速发展，对于医疗文本的情感分析任务也变成了一个热点的话题。基于方面的情感分析(aspect⁃based sentiment analysis，ABSA)^[1]是文本细粒度情感分析中一个广泛研究的问题，在医疗领域也发挥着巨大的作用。由于医疗文本中的句子往往包含多个对象或从不同角度对对象进行描述，ABSA则可以判断医疗文本中指定对象或角度的情感极性,一般是通过对于对象的评价词得出相应的情感极性。例如，“体外实验和临床试验证明，连花清瘟对新冠病毒治疗是有效且安全，而普通感冒药对新冠病毒一般没有效果”，其中对于“连花清瘟”和“感冒药物”这两个方面的情感极性分别是积极的和消极的。所以，ABSA在处理医疗文本中通常需要处理两个问题：识别目标情感和判断情感极性。

对于识别目标情感问题，指定的方面对象是医疗文本中的单词或短语。其相应的情感分析任务为基于方面词的情感分析(aspect-term sentiment analysis，ATSA),相当于判断医疗文本中指定部分的情感极性。文献[2]利用多层存储网络按照先后顺序进行堆叠以学习不同方面词向量，通过全连接层和softmax层，利用存储网络最后一层输出的方面实体判断情感极性。文献[3]利用方面嵌入矩阵，将方面词转化为词向量表示形式，通过卷积层对所有上下文词向量进行处理，然后通过全连接层和softmax层判断句子中特定方面词的情感极性。作为相应的实体提取任务，方面实体提取(aspect⁃term extraction，ATE)旨在抽取出一个句子中的方面实体，可以建模为一个序列标注问题。

对于判断情感极性问题，指定的方面对象是医疗文本中隐式表达描述事物的一个预先定义的角度。Wang等 ^[4]主要通过方面情感嵌入来引入方面对象的信息，并且通过融合循环神经网络(recurrent neural network，RNN)和注意力机制判断所给定的句子在指定方面角度上的情感倾向，将注意力机制与长短时记忆网络(long short term memory，LSTM)结合起来对句子进行语义建模，解决了基于方面的情感分析问题。而在最近的一项研究中，Kumar等^[5]提出了一种基于卷积神经网络(convolutional neural networks，CNN)和注意力机制的情感分析模型，有效地提高了方面情感分析的效率。在进行情感极性判断问题中要完成的任务是方面类别情感分析 (aspect category sentiment analysis,ACSA)，需要一个预先定义好的数据集，其不必显式地出现在医疗文本中。对于判断情感极性问题，其实体提取任务为方面类别提取(aspect category extraction，ACE)。与方面实体任务不同的是方面类别提取任务旨在识别出文本是从哪些预先定义好的方面类别描述事物，可以建模为一个多标签分类问题。

针对上述两个问题，本文提出了一个包含上下文位置潜在信息的方面级情感分析模型(contextual position latent information，CPLI)。

由于医疗文本中与情感极性判断相关的语境词一般位于方面词附近的区域。考虑到医疗文本中方面词的相对位置会有所不同，因此，本文设计了一种新的方面词权重调整函数，通过调整上下文词在不同位置的权重，增强与指定方面词相关的情感极性词的针对性，减轻方面词两侧词数差异对情感极性判断的干扰。本文引入了线性条件随机场模型提取上下文词的语义信息，将包含特定方面的情感极性的方面词用向量表示。最后，由于医疗文本数据集中往往呈现较大的类不平衡性的问题，而传统的交叉熵损失函数(cross entropy，CE)只关心对于正确标签预测概率的准确性，而忽略了其他非正确标签的差异，从而导致学习到的特征比较散，而焦点损失函数可以很好地解决正负样本类别在训练期间不平衡的问题，因此本文使用焦点损失(focal loss，FL)函数取代传统的交叉熵损失函数训练模型，最终实现面向医疗文本信息的方面级情感分析。

1　 相关工作

1.1　情感分析

情感分析是文本分析的一个分支，是对带有情感色彩（褒义贬义/正向负向）的主观性文本进行分析，以确定该文本（或者用户）的观点（喜好）、情感倾向。医疗领域同样存在情感分析的应用场景，但与一般的领域不同，医疗领域的难点在于医疗实体中像疾病、症状这样的词既能作为方面词，又能作为情感词，情况相对比较复杂。如：“感冒吃药就能治好”，对于这里“感冒”来讲，只是普通上下文。但是对于“感冒一周了，谁说能自己好的？”，“感冒”是方面词且情感是负向，同时，句子里也出现了“好”这一常见的情感词。两者的混杂使得情感分析依赖上下文词的语义信息以及医疗领域特征。近年来，在情感分析领域，许多深层模型已经被广泛使用，通过训练可以达到很好的情感分析效果。根据分析对象的粒度，情感分析任务可以分为：篇章级、句子级和方面级。

在医疗领域中，篇章级的情感分析任务的目的是对含有多个句子的医疗文档篇章进行分析，确定整个医疗文档的情感极性。对于篇章级的情感分析，文献[6]提出了一种针对文档分析任务的层次注意力网络模型(hierarchical attention networks，HAN)，该模型既包含了一种层次结构，又在词级别和句子级别使用两种注意力机制来选择重要的信息。句子级情感分析任务是判断给定医疗句子的情感极性。句子的情感可以通过主观情感词来推断。文献[7]提出了一种基于卷积神经网络(CNN)与循环神经网络(recurrent neural network，RNN)的联合架构，可以对医疗文本进行情感分析，在预先训练好的词向量之上利用卷积层和循环层叠加作为网络模型，以减少信息的丢失，并获得输入序列的长期依赖关系。

方面级情感分析是一项细粒度情感分析任务，在医疗领域中，篇章级和句子级情感分析都无法确切知道医疗文本中的某个方面词是积极的或者是消极的。如“布洛芬具有很好的解热镇痛的功效，但是起效慢且有副作用”，如果从句子级情感分析来看，在句子中既有“很好功效”这一正面情感，又有“起效慢，副作用”这一负面情感，很难判断整个句子对于方面词“布洛芬”的整体情感极性。因此，这要求模型能够更加细致地判断方面词在特定方面的情感极性。但是由于医疗文本中可能同时包含多个不同的方面词，每个方面词又可能会具有不同的情感极性，因此在医疗领域更倾向于使用深度学习网络模型进行方面级情感分析，其中，获取方面相关词和其他上下文词之间的语义关系至关重要。基于注意力的长短时记忆网络^[8]在1997年首次被提出，该网络能够在不同方面赋予更多相关单词更高的权重。在近期研究中，文献[9]在LSTM中引入了一维卷积捕获不同卷积窗口大小下上下文词的句法和语义特征，从而提高情感分析的性能。然而，在以往的工作中，LSTM模型有可能会使网络过于关注某个特定的方面词，从而更易忽略上下文词之间的位置信息^[10]。因此在本文中，通过设计方面词权重调整函数调整上下文词在不同位置的权重，并利用双向门控循环网络(bidirectional gated recurrent unity，Bi-GRU)整合结果。

1.2　Bi-GRU

早期的基于统计的情感分析模型通常依赖于从语料库中构建的情感词典。通过匹配文本情感词典上的字符串，观察与情感词典上的字符串是否相匹配，最终将这些字符串拆分并停用，从而获得文本的情感极性^[11~15]。然而，医疗领域的情感词典的构建需要背景知识，并且由于医疗领域的不断发展，情感词典也需要不断地更新和补充。比如，在丁香园的科普文章中存在着一些评论文本，这些文本的情感倾向并不是单纯的情感极性，而是更多样的情感(如：质疑，吐槽，建议)，这在一般的情感词典里是无法处理的，进一步限制了基于统计方法的情感分析模型的使用。此外，对于方面级情感分析，基于统计的情感分析模型无法分析方面相关词与其他上下文情感词之间的语义相关性，简单的线性叠加则会带来明显的误差。因此，研究者提出了许多基于深度学习的情感分析模型。文献[16，17]提出基于循环神经网络(RNN)的模型来获取上下文词之间的语义信息。但是长序列数据在RNN的训练过程中往往会出现梯度消失和梯度爆炸等情况，这是由于RNN的权值矩阵循环相乘导致的，相同函数的多次组合会导致极端的非线性行为。

为了解决这些问题，本文采用了具有选择结构的LSTM网络，通过特殊构造的存储单元有效地捕获关键信息，这些存储单元可以实现对关键信息的记忆，在一定时间内保留信息状态。门控循环单元(gated recurrent unit，GRU)简化了LSTM的选择结构，将其转换为更新门^[18]和重置门^[19]，降低了计算成本，加快了模型的收敛速度。更新门{\mathit{z}}_t和重置门{\mathit{r}}_t如(1)式和(2)式所示：

{\mathit{z}}_t=\sigma ({\mathit{W}}_z\left[{\mathit{h}}_{t-\mathrm{1}};{\mathit{x}}_t\right]+{\mathit{b}}_z)(1)

{\mathit{r}}_t=\sigma ({\mathit{W}}_r\left[{\mathit{h}}_{t-\mathrm{1}};{\mathit{x}}_t\right]+{\mathit{b}}_r)(2)

GRU的传播过程可以通过下述公式表达：

\widetilde{{\mathit{h}}_t}=\mathrm{t}\mathrm{a}\mathrm{n}\mathrm{h}(\mathit{W}\left[{\mathit{r}}_t\odot {\mathit{h}}_{t-\mathrm{1}};{\mathit{x}}_t\right]+{\mathit{b}}_h)(3)

{\mathit{h}}_t=\left(\mathrm{1}-{\mathit{z}}_t\right)\odot {\mathit{h}}_{t-\mathrm{1}}+{\mathit{z}}_t\odot \widetilde{{\mathit{h}}_t}(4)

其中：\odot表示矩阵间的点乘，即矩阵中相应位置元素乘相应位置元素；\sigma表示sigmoid函数;{\mathit{x}}_t为时间t的输入向量；{\mathit{h}}_{t-\mathrm{1}}为GRU在t-\mathrm{1}时刻的隐藏层状态；{\mathit{h}}_t为GRU在t时刻的隐藏层状态；{\mathit{W}}_r和b_r为重置门的参数；\widetilde{{\mathit{h}}_t}为候选隐藏层向量，t-\mathrm{1}时刻的信息保留程度通过重置门的输出来控制，有助于获取时间序列数据的短期相关性；{\mathit{W}}_z和{\mathit{b}}_z为更新门的参数。GRU网络结构图如图1所示。

本文所选用双向门控循环网络(Bi-GRU)^[20]，通过两个方向相反的单向GRU构成，将输入序列的向量表示\mathit{x}=(x_{\mathrm{1}},x_{\mathrm{2}},\dots ,x_T)输入到两个分别具有正向\vec{x}和反向\stackrel{⃖}{x}的GRU中。每个时刻t由两个GRU获得的隐藏层状态{\vec{h}}_t和{\stackrel{⃖}{h}}_t被拼接并作为隐藏层输出，即{\stackrel{⃡}{h}}_t=[{\vec{h}}_t;{\stackrel{⃖}{h}}_t]为时刻t的Bi-GRU输出。

2　 CPLI模型

在本文中，定义一个医疗文本的句子s由T种单词\{w_t{\}}_{t=\mathrm{1}}^T组成，其中，s=({\omega }_{\mathrm{1}},{\omega }_{\mathrm{2}},\dots ,{\omega }_T)；特定方面的\mathrm{集合}\{P,N,O\}，其中P,N,O分别表示情感极性分别为正、负、中性。本文的目的是预测情感极性y属于特定方面集合中的哪一种。

本文提出的上下文位置潜在信息情感分析(CPLI)的总体框架如图2所示，主要包括Bi-GRU层，上下文位置调整存储器层，注意力机制层和情感分析层。使用word2vec模型提取医疗方面词，word2vec模型是一种获取词向量的方法，属于三层的浅层神经网络：输入层、隐层、输出层,如图3所示。word2vec的隐层是不包含激活函数的，因此在获取词向量的时候，并不会直接用到该模型，而是用到该模型隐层权重。

2.1　Bi-GRU层

在本文中，使用word2vec获得句子s的词向量表示\mathit{x}=(x_{\mathrm{1}},x_{\mathrm{2}},\dots ,x_T)，如图2中Word Embedding层的圆圈所示。通过使用Bi-GRU提取句子s的上下文语义信息，将句子s的词向量表示\mathit{x}输入到两个具有前向\vec{x}和后向\stackrel{⃖}{x}的GRU中。将正向GRU的输出\overrightarrow{h_t}和反向输出\stackrel{⃖}{h_t}进行拼接，以获得当前时刻的隐藏层状态，如下式

\stackrel{⃡}{h_t}=[\overrightarrow{h_t};\stackrel{⃖}{h_t}](5)

如图4所示，Bi-GRU就是两个单向的GRU，则前向隐藏层状态\overrightarrow{h_t}和后向隐藏层状态\stackrel{⃖}{h_t}加权求和得到t时刻的隐藏层状态。其中前向GRU的隐藏层状态\overrightarrow{h_t}=\overrightarrow{\mathrm{G}\mathrm{R}\mathrm{U}}(\overrightarrow{{h_t}_{-\mathrm{1}}},{\mathit{x}}_t)。后向GRU的隐藏层状态\stackrel{⃖}{h_t}=\stackrel{⃖}{\mathrm{G}\mathrm{R}\mathrm{U}}(\stackrel{⃖}{h_{t+\mathrm{1}}},{\mathit{x}}_t)。

2.2　上下文位置调整存储层

文献[21]表明在医疗文本中包含方面词的情感信息与上下文词到方面相关词的距离呈负相关，即上下文词与方面相关词越接近，其包含的情感信息对于判断情感极性就越重要。然而，当指定方面词的上下文词的数量发生变化时，具有更多数量的一侧可能导致最终的词嵌入向量表示发生位移。文献[22]提出了用深度记忆神经网络方法找出对方面词最重要的上下文词。然而这种方法可能会导致只有特定的几个上下文词权重比较大，容易遗漏掉其他对情感极性影响较大的词，从而影响模型性能。因此本文提出了一种非对称上下文位置权重调整函数f(\overline{t})，如下式

f\left(\overline{t}\right)=\frac{a{\overline{t}}^{\mathrm{2}}+b\overline{t}+c}{\mathrm{d}\overline{t}+e}(6)

其中，\overline{t}=\frac{t}{T}\in [\mathrm{0,1}]表示方面词在句子中的位置t的标准化值，T为句子的长度。此外，有界加权衰减函数应满足以下条件：f\left(\overline{t}=\mathrm{0}\right)=f\left(\overline{t}=\mathrm{1}\right)=\mathrm{0}，f\left(\overline{t}=K\right)=\mathrm{1}，f^{\text{'}}\left(\overline{t}=K\right)=\mathrm{0}，并且\frac{\mathrm{d}{f}_i^A}{\mathrm{d}t}{|}_{\overline{t}=\mathrm{{\rm K}}}=\mathrm{0}。

根据上述条件，可建立如下方程组：

c=\mathrm{0}(7)

a+b=\mathrm{0}(8)

d{K}^{\mathrm{2}}+\mathrm{2}eK-e=\mathrm{0}(9)

a{K}^{\mathrm{2}}+\left(b-d\right)K+\left(c-e\right)=\mathrm{0}(10)

由于上述4个自由度为1的方程中包含5个变量，因此在求解时，设定a=\mathrm{1}时，表示特定目标的起始位置，由此可以确定b=-\mathrm{1}，c=\mathrm{0}，d=\mathrm{2}K-\mathrm{1},e=-K^{\mathrm{2}}，进而获取上下文位置权重转换函数f(t|K),如下式

f\left(\overline{t}|K\right)=\frac{{\overline{t}}^{\mathrm{2}}-\overline{t}}{\left(\mathrm{2}K-\mathrm{1}\right)\overline{t}-K^{\mathrm{2}}}(11)

在(11)式中，K=\frac{\mathrm{1}}{\mathrm{2}}(\overline{l}+\overline{r})是指定方向的中心，\overline{l}和\overline{r}分别表示医疗文本中方面相关词{\mathit{x}}^{\mathrm{T}}的起始位置l和结束位置r的标准化值。不同位置的上下文权重函数如图5所示。

因此，根据方面相关词{\mathit{x}}^{\mathrm{T}}在文本中的位置，使用上下文位置权重转换函数获得最终词向量{\mathit{v}}_t，如下式

{\mathit{v}}_t=f(\overline{t}|K){\stackrel{⃡}{h}}_t(12)

2.3　注意力机制层

本文引入了一个线性条件随机场模型(linear conditional random field，Linear-CRF)辅助方面词向量表示的建模。假设每个上下文词在某一时刻都是一个隐藏的状态标签z_t\in \{\mathrm{0,1}\},其中z_t=\mathrm{0}表示上下文词不属于指定方面的情感极性词，z_t=\mathrm{1}表示上下文词属于医疗特定方面的情感相关词。在t时刻，句子s中上下文词x_t的隐藏状态标签z_t的概率如下式

p\left(z_t|s\right)=\frac{\mathrm{e}\mathrm{x}\mathrm{p}(\mathrm{s}\mathrm{c}\mathrm{o}\mathrm{r}\mathrm{e}(z_t|s))}{\sum _{z_t^{,}\in \{\mathrm{0,1}\}}\mathrm{e}\mathrm{x}\mathrm{p}(\mathrm{s}\mathrm{c}\mathrm{o}\mathrm{r}\mathrm{e}(z_t^{,}|s))}(13)

其中，

\mathrm{s}\mathrm{c}\mathrm{o}\mathrm{r}\mathrm{e}(z_t|s)=\sum _{t,l}{\mu }_l{S}_l\left(z_t,s\right)+\sum _{t,k}{\lambda }_k{{\rm T}}_k(z_{t-\mathrm{1}},z_t,s)(14)

S(z_t,s)是z_t的发射函数，依赖于当前时刻的隐藏状态和观测值，表示是否由当前时刻观察值发射到z_t隐藏状态,T_k(z_{t-\mathrm{1}},z_t,s)是从z_{t-\mathrm{1}}到z_t的转换函数，表示由当前时刻观测值发射到z_t隐藏状态的可能性权重。通过Linear-CRF获得每个上下文方面词属于特定方面词的情感极性的概率，以此确定句子中的方面词，和最终词向量{\mathit{v}}_t进行加权，以获得方面词向量，如下式

\mathit{\phi }={\displaystyle \sum _{t=\mathrm{1}}^T}p(z_t=\mathrm{1}|s){\mathit{v}}_t(15)

2.4　情感分析层

当得到方面词向量\mathit{\phi }后，将其送入全连接层，然后通过softmax函数获得其情感极性得分，如下式

p\left(y|\mathit{\phi }\right)=\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}({\mathit{W}}_o\mathit{\phi }+{\mathit{b}}_o)(16)

其中{\mathit{W}}_o和{\mathit{b}}_o是情感分析层的可学习参数。

此外，本文使用焦点损失函数(FL)取代传统的交叉熵损失函数(CE)训练模型参数，通过在较大类别中减少样本的权重，在训练中更多地关注少数类别的样本解决文本数据集中出现的类不平衡问题。

在二值分类中通常采用传统的交叉熵损失函数，如下式

L_{\mathrm{C}\mathrm{E}}=\left\{\begin{array}{ll}-\mathrm{l}\mathrm{o}\mathrm{g}\widehat{y},& y=\mathrm{1}\\ -\mathrm{l}\mathrm{o}\mathrm{g}\left(\mathrm{1}-\widehat{y}\right),& y=\mathrm{0}\end{array}\right.(17)

其中y为0代表负样本，为1代表正样本，\widehat{y}表示模型给出的预测类别概率。

为了方便起见，对(17)式进行新的定义，如下式

P=\left\{\begin{array}{ll}\widehat{y},& y=\mathrm{1}\\ \mathrm{1}-\widehat{y},& y=\mathrm{0}\end{array}\right.(18)

因此，L_{\mathrm{C}\mathrm{E}}=-\mathrm{l}\mathrm{o}\mathrm{g}(P)。

本文使用的焦点损失函数就是在传统的交叉熵损失函数上增加一个调制因子{(\mathrm{1}-P)}^{\lambda }，目的是降低简单负样本在训练中的权重，解决数据集中类不平衡问题，如下式

L_{\mathrm{F}\mathrm{L}}=-{\left(\mathrm{1}-P\right)}^{\lambda }\mathrm{l}\mathrm{o}\mathrm{g}\left(P\right)=\left\{\begin{array}{ll}-{\left(\mathrm{1}-\widehat{y}\right)}^{\lambda }\mathrm{l}\mathrm{o}\mathrm{g}\left(\widehat{y}\right),& y=\mathrm{1}\\ -{\widehat{y}}^{\lambda }\mathrm{l}\mathrm{o}\mathrm{g}\left(\mathrm{1}-\widehat{y}\right),& y=\mathrm{0}\end{array}\right.(19)

其中，\lambda \ge \mathrm{0}是一个调制参数，可以调节简单样本权重降低的速率。当\lambda为0时即为交叉熵损失函数，当\lambda增加时，调整因子的影响也在增加。文献[23]中指出\lambda为2时效果最优。

由于交叉熵损失函数只关心对于正确标签预测概率的准确性，而忽略了其他非正确标签的差异，从而导致学习到的特征比较散，而本文所使用的焦点损失函数通过增加调制因子能自动地降低在训练期间简单样本贡献的权重和迅速关注模型中的困难样本。

由图6可以看出，焦点损失函数的损失值明显低于交叉熵损失函数。

3　 实 验

3.1　实验准备

本文在MIMIC-Ⅲ数据库上评估了CPLI模型，MIMIC-Ⅲ是个大型的单中心数据库，是MIT计算生理学实验室开发的一个公开的数据集，包括与约40 000名重症监护患者相关的未识别的健康文本数据。

本次实验将MIMIC-Ⅲ数据集划分为4个基准数据集，分别是：生命体征(Life)，药物(Med)，医嘱(Order)，生存(Sur)。为了获得具有最佳泛化能力的模型，本文将每个数据集随机划分为训练集（Train）、开发集(Dev)和测试集(Test)，其比例分别为60%、10%和30%。数据集的详细信息如表1所示。使用word2vec的300维预训练向量作为数据集的词向量表示。在超参数设置上，批量大小设为96，衰减率为0.8，学习率为0.1，小批量大小为10，使用Adam优化器对模型进行训练。由于方面相关词可能位于医疗文本的不同部分，因此在上下文位置调整存储层中设置方面相关词的中心K=\frac{\mathrm{1}}{\mathrm{2}}(\overline{l}+\overline{r})为其在文本中的位置表示。

同时，在本实验中，使用准确率(ACC)和F1值(F1-score)作为性能评估指标，其中F1-score为类不平衡问题的性能评估指标。这些指标广泛用于情感分析和文本分类任务。

3.2　实验结果

为了评估CPLI的性能，本文选取了SVM^[24]，ATAE-LSTM^[25]，IAN^[26]，TNet-LF^[27]，ASGCN^[28]模型作为基线模型与之对比，下面简要介绍一下这5个模型。

SVM^[24]: 传统的支持向量机模型，需要通过特征工程对数据集进行广泛的预处理。

ATAE-LSTM^[25]: 是一个基于LSTM的模型，以方面词嵌入为输入，ATAE-LSTM是基于AE-LSTM的注意力机制扩展模型。

IAN^[26]：使用两个LSTM分别为上下文词和方面词建模，然后通过注意机制学习上下文词和方面词之间的关联。

TNet-LF^[27]: 通过注意机制获得包含方面词信息的上下文词表示，然后使用卷积层获得方面词向量表示。

ASGCN^[28]: 使用图卷积网络(graph convolutional network，GCN)捕获方面词与上下文词之间的依赖关系。

由于无法得到文献[29]实验的超参数，因此，本文将文献[29]的实验进行复现，并将实验结果展现在Reproduce行中。

从表2中可以看出CPLI准确率在大多数数据集上优于其他模型。ATAE-LSTM和IAN都是基于LSTM方法实现的，但是它们只捕获单一句子中的情感信息，而本文所提出的CPLI模型考虑到了医疗文本中单个句子中的上下文词对方面词的情感极性的影响，从而通过更丰富的方面级情感信息来确定方面词的情绪极性。因此，方面级情感分析模型CPLI比仅考虑单一句子信息的篇章级情感分析模型表现更好。

TNet-LF模型限制了上下文词范围的长度，影响了情感极性的准确分类，ASGCN模型则需要依存树(dependency tree)捕获语法和依存信息，当依存树的规则构造出现问题时，模型的性能也会受到很大影响。因此，在Life，Med和Order数据集中，CPLI模型的准确率明显高于TNet-LF和ASGCN，虽然在Sur数据集中CPLI模型的准确率偏低，但是这是因为Sur数据集主要包含以语义形式而非单词所表达的信息，而这种形式的信息更难通过权重调整来捕捉。由此可以看出，调整上下文词在不同位置的权重确实可以有效地提高了模型的性能，并对于预测特定方面词的情感极性提供了有力的帮助。

从表1中可以看出，本文的数据集中存在着类不平衡问题，从表2可以看出在Med数据集中F1分数明显高于其他模型，由此判断焦点损失函数确实可以解决医疗文本数据集中的类不平衡问题。

由于本文的训练数据量不够大，容易导致过拟合现象的发生，因此CPLI模型在除了Med数据集外的其他数据集上F1分数的表现不够好。在后续工作中可以增大训练样本量或者计算每个样本的损失值之后乘以一个梯度协调参数，使得每个梯度对样本参数的更新变得均衡。

4　 结 语

本文提出了一个包含上下文位置潜在信息的方面级情感分析模型(CPLI)对医疗文本进行情感分析。由于医疗文本中与特定方面词情感极性判断相关的上下文词一般位于该方面词的附近，而且医疗文本方面词的上下文的词数量存在差异，可能会导致词嵌入向量表示的属性变化，因此本文提出了一种新的上下文位置权重调整函数来调整上下文词的权重，减轻了方面词两侧上下文词数的差异对情感极性判断的影响。该模型通过Bi-GRU层提取医疗文本中的上下文语义信息，通过上下文位置调整存储层获取方面词的向量表示，在注意力机制层获得上下文词属于特定方面的情感相关词的概率并与方面词进行加权最终得到向量表示，通过情感分析层得到最后的分析结果。虽然本文提出的CPLI模型在公开的数据集上取得了良好的性能，但是本文的模型没有充分利用所有医疗方面词的信息，因此在后续的研究中可以通过引入更多的医疗方面词嵌入向量进一步提高模型的性能。

参考文献

[1] 周阳. 基于机器学习的医疗文本分析挖掘技术研究［D］.北京：北京交通大学，2019.

[2] ZHOU Y. Research on Medical Text Analysis and Mining Technology Based on Machine Learning ［D］. Beijing：Beijing Jiaotong University， 2019 （Ch）.

[3] TANG D Y， QIN B， LIU T. Aspect level sentiment classification with deep memory network［EB/OL］.［2022-01-02］. DOI: 10.18653/v1/d16-1021 .

[4] TANG J L， LU Z Y， SU J S， et al. Progressive self-supervised attention learning for aspect-level sentiment analysis［C］//Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. Stroudsburg： Association for Computational Linguistics， 2019： 557-566. DOI：10.18653/v1/p19-1053 .

[5] WANG Y Q， HUANG M L， ZHU X Y， et al. Attention-based LSTM for aspect-level sentiment classification［C］//Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing. Stroudsburg： Association for Computational Linguistics， 2016： 606-615. DOI：10.18653/v1/d16-1058 .

[6] ASHOK K J， TRUEMAN T E， CAMBRIA E. A convolutional stacked bidirectional LSTM with a multiplicative attention mechanism for aspect category and sentiment detection［J］. Cognitive Computation， 2021， 13（6）： 1423-1432. DOI：10.1007/s12559-021-09948-0 .

[7] YANG Z C， YANG D Y， DYER C， et al. Hierarchical attention networks for document classification［C］//Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. Stroudsburg： Association for Computational Linguistics， 2016： 1480-1489. DOI：10.18653/v1/n16-1174 .

[8] 向进勇， 刘小龙， 丁明扬， 等. 基于卷积递归深度学习模型的句子级文本情感分类［J］. 东北师大学报（自然科学版）， 2020， 52（2）： 73-79. DOI：10.16163/j.cnki.22-1123/n.2020.02.012 .

[9] XIANG J Y， LIU X L， DING M Y， et al. Convolutional recurrent deep learning model for sentence sentiment classification［J］. Journal of Northeast Normal University （Natural Science Edition）， 2020， 52（2）： 73-79. DOI：10.16163/j.cnki.22-1123/n.2020.02.012（Ch ）.

[10] 郑诚， 曹源， 薛满意. 面向方面级情感分类的多层注意网络［J］. 计算机工程与应用， 2020，56（19）：176-181. DOI: 10.3778/j.issn.1002-8331.1907-0146 .

[11] ZHENG C， CAO Y， XUE M Y. Multi-layered attention network for aspect-level sentiment classification［J］. Computer Engineering and Applications， 2020， 56（19）： 176-181 （Ch）. DOI: 10.3778/j.issn.1002-8331.1907-0146 .

[12] MENG W， WEI Y Q， LIU P Y， et al. Aspect based sentiment analysis with feature enhanced attention CNN-BiLSTM［J］. IEEE Access，2019，7 ： 167240-167249. DOI：10.1109/ACCESS.2019.2952888 .

[13] MEDHAT W， HASSAN A， KORASHY H. Sentiment analysis algorithms and applications： A survey［J］. Ain Shams Engineering Journal， 2014， 5（4）：1093-1113. DOI：10.1016/j.asej.2014.04.011 .

[14] 宋凤义， 胡太， 杨明. 基于外观的复合属性学习的细粒度识别［J］. 数据采集与处理， 2016，31（6）：1205-1212. DOI：10.16337/j.1004-9037.2016.06.017 .

[15] SONG F Y， HU T， YANG M. Appearance-based complex-attributes learning for fine-grained recognition［J］. Journal of Data Acquisition and Processing， 2016， 31（6）： 1205-1212. DOI：10.16337/j.1004-9037.2016.06.017（Ch ）.

[16] 陈自岩， 黄宇， 王洋， 等. 一种利用语义相似特征提升细粒度情感分析方法［J］. 计算机应用与软件， 2017， 34（3）： 27-30. DOI：10.3969/j.issn.1000-386x.2017.03.005 .

[17] CHEN Z Y， HUANG Y， WANG Y， et al. A fine-grained sentiment analysis method using semantic similarity feature［J］. Computer Applications and Software， 2017， 34（3）： 27-30. DOI：10.3969/j.issn.1000-386x.2017.03.005（Ch ）.

[18] 张成功， 刘培玉， 朱振方， 等. 一种基于极性词典的情感分析方法［J］. 山东大学学报（理学版）， 2012， 47（3）： 47-50.

[19] ZHANG C G， LIU P Y， ZHU Z F， et al. A sentiment analysis method based on a polarity lexicon［J］. Journal of Shandong University （Natural Science）， 2012， 47（3）： 47-50 （Ch）.

[20] LI Q， WENG L H， DING X H. A novel neural network-based method for medical text classification［J］. Future Internet， 2019， 11（12）： 255-259. DOI：10.3390/fi11120255 .

[21] 刘晓鹏， 杨嘉佳， 卢凯， 等. 面向短文本分类的特征提取与算法研究［J］. 信息技术与网络安全， 2019， 38（5）： 48-52. DOI：10.19358/j.issn.2096-5133.2019.05.010 .

[22] LIU X P， YANG J J， LU K， et al. Research on different feature extraction and algorithms for ultra-short text classification［J］. Information Technology and Network Security， 2019， 38（5）： 48-52. DOI：10.19358/j.issn.2096-5133.2019.05.010（Ch ）.

[23] 张定.基于神经网络的中文文本分类技术研究［D］.西安：西安电子科技大学，2020.

[24] ZHANG D. Research on Chinese Text Classification Technology Based on Neural Network ［D］ .Xi’an： Xidian University， 2020 （Ch）.

[25] ZHANG Q Y， LU R， WANG Q C， et al. Interactive multi-head attention networks for aspect-level sentiment classification［J］. IEEE Access， 2019，7：160017-160028. DOI：10.1109/ACCESS.2019.2951283 .

[26] NGUYEN K T T， HUYNH S K， PHAN L L， et al. Span detection for aspect-based sentiment analysis in Vietnamese［EB/OL］. 2021： arXiv： 2110.07833.

[27] BOTSIS T， NGUYEN M D， WOO E J， et al. Text mining for the vaccine adverse event reporting system： Medical text classification using informative feature selection［J］. Journal of the American Medical Informatics Association， 2011， 18（5）： 631-638. DOI：10.1136/amiajnl-2010-000022 .

[28] ZHOU Y Q. An introduction to text classification with applications to medical records［C］//2020 2nd International Conference on Information Technology and Computer Application （ITCA）. New York： IEEE Press，2020： 471-475. DOI：10.1109/ITCA52113.2020.00105 .

[29] BASIRI M E， NEMATI S， ABDAR M， et al. A novel fusion-based deep learning model for sentiment analysis of COVID-19 tweets［J］. Knowledge-Based Systems， 2021， 228： 107242. DOI：10.1016/j.knosys.2021.107242 .

[30] CHEN T， XU R F， HE Y L， et al. Improving sentiment analysis via sentence type classification using BiLSTM-CRF and CNN［J］. Expert Systems with Applications， 2017， 72： 221-230. DOI：10.1016/j.eswa.2016.10.065 .

[31] MAJUMDER N， PORIA S， PENG H Y， et al. Sentiment and sarcasm classification with multitask learning［J］. IEEE Intelligent Systems， 2019， 34（3）： 38-43. DOI：10.1109/MIS.2019.2904691 .

[32] 朱烨， 陈世平. 融合卷积神经网络和注意力的评论文本情感分析［J］. 小型微型计算机系统， 2020， 41（3）： 551-557. DOI: 10.3969/j.issn.1000-1220.2020.03.018 .

[33] ZHU Y， CHEN S P. Commentary text sentiment analysis combining convolution neural network and attention［J］. Journal of Chinese Computer Systems， 2020， 41（3）： 551-557 （Ch）. DOI: 10.3969/j.issn.1000-1220.2020.03.018 .

[34] 史伟， 付月. 考虑语境的微博短文本挖掘： 情感分析的方法［J］. 计算机科学， 2021， 48（S1）： 158-164.

[35] SHI W， FU Y. Microblog short text mining considering context： A method of sentiment analysis［J］. Computer Science， 2021， 48（S1）： 158-164 （Ch）.

[36] 唐慧丰， 谭松波， 程学旗. 基于监督学习的中文情感分类技术比较研究［J］. 中文信息学报， 2007， 21（6）： 88-94. DOI: 10.3969/j.issn.1003-0077.2007.06.012 .

[37] TANG H F， TAN S B， CHENG X Q. Research on sentiment classification of Chinese reviews based on supervised machine learning techniques［J］. Journal of Chinese Information Processing， 2007， 21（6）： 88-94 （Ch）. DOI: 10.3969/j.issn.1003-0077.2007.06.012 .

[38] 代六玲， 黄河燕， 陈肇雄. 中文文本分类中特征抽取方法的比较研究［J］. 中文信息学报， 2004， 18（1）： 26-32. DOI：10.3969/j.issn.1003-0077.2004.01.005 .

[39] DAI L L， HUANG H Y， CHEN Z X. A comparative study on feature selection in Chinese text categorization［J］. Journal of Chinese Information Processing，2004，18（1）：26-32. DOI：10.3969/j.issn.1003-0077.2004.01.005（Ch ）.

[40] WANG K， SHEN W Z， YANG Y Y， et al. Relational graph attention network for aspect-based sentiment analysis［C］//Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. Stroudsburg： Association for Computational Linguistics， 2020： 3229-3238. DOI：10.18653/v1/2020.acl-main.295 .

[41] MA D H， LI S J， ZHANG X D， et al. Interactive attention networks for aspect-level sentiment classification［C］//Proceedings of the 26th International Joint Conference on Artificial Intelligence. California： International Joint Conferences on Artificial Intelligence Organization，2017：4068-4074. DOI：10.24963/ijcai.2017/568 .

基金资助

上海市2021年度“科技创新行动计划”社会发展科技攻关项目(21DZ1204900)