基于混合注意力机制的脑卒中康复方案推荐

Rehabilitation Program Recommendation for Stroke Based on Hybrid Attention Mechanism

摘要

脑卒中是一种急性脑血管疾病，患者康复周期长，康复机制复杂，给家庭和社会带来极大负担。为了弥补脑卒中传统诊疗方法的不足，为经验不足的医师提供有效的临床辅助决策支持，提出了一种面向电子病历的混合注意力机制模型为脑卒中患者的康复治疗方案进行推荐。该模型首先利用康复项目语义信息挖掘其与病历文本之间的语义关系，构建面向特定康复项目的病历表示；同时采用自注意力机制从病历文本中识别特定康复项目的病历表示；然后将二者进行有机地融合，生成最终的病历表示；最后构建多标签分类器进行康复治疗项目的top-N推荐。在一个真实的来自三甲医院神经内科和康复医学科的电子病历数据集上进行实验，验证了模型的有效性。

Abstract

Stroke is an acute cerebrovasrular disease. It has a long recovery period and a complicated recovery mechanism, which brings a great burden to the family and society. In order to make up for the shortcomings of traditional treatment methods and provide effective clinical auxiliary decision support for inexperienced doctors, this paper proposed a hybrid attention mechanism model for electronic medical records (EMRs) to recommend the rehabilitation treatment program for stroke patients. First, the model takes advantage of rehabilitation items semantic information to mine the semantic connection between rehabilitation items and medical records; meanwhile, the self-attention mechanism is used to identify the medical records representation from the medical record content information. Then, the two parts are organically fused to generate the final medical record representation; Finally, a multi-label classifier is constructed for top-N recommendation for rehabilitation items. Experiments are carried out on a real EMRs data set from the department of Neurology and rehabilitation medicine of a first class hospital to verify the effectiveness of the model.

Graphical abstract

关键词

脑卒中康复 / 推荐系统 / 注意力机制 / 神经网络

Key words

stroke rehabilitation / recommendation system / attention mechanism / nerual network

0　 引 言

脑卒中是一种急性脑血管疾病，2020年发布的《中国卒中报告2019》统计数据显示，我国脑卒中死亡人数约占全球脑卒中死亡人数的三分之一，而带病生存的卒中患者多达1 300万，已经成为导致我国居民死亡的主要原因之一^［1］，每年造成的经济损失高达400亿元，为患者家庭及社会带来了巨大经济负担^［2］。带病生存的脑卒中患者通常约有70%~80%不同程度丧失劳动能力^［3］，而重度致残者约占40%以上，及时对其进行积极的康复治疗和康复训练可以有效地改善患者的身体功能，逐步恢复其生活自理能力。因此，若能借助人工智能技术，实现科学合理的康复治疗方案推荐，将极大地提升脑卒中患者的医疗服务水平。

电子病历系统（electronic medical records，EMRs）是医疗活动中重要的数据资料，产生于临床治疗过程，是医务人员医疗知识的集中体现，也是患者个性化治疗的集中体现，充分挖掘这些数据可以有效地支持临床医学的研究^［4，5］。在此基础上，相关领域学者对其展开一系列的研究工作，并在医疗知识图谱、医学影像分析、用药推荐等多个方面取得了良好的效果。对患者来说，通过分析病历中的数据，可以方便其了解身体健康状况；对医生来说，通过挖掘分析海量病历内容，采用医学类比推理的方法寻找相似患者，可以为疾病诊断提供参考依据。面向病历文本的临床决策支持能够克服医生经验欠缺和患者个体差异大的问题，在个性化治疗方案、用药推荐等方面给予医生决策支持，从而做出最合理的诊断及治疗方案。但是由于脑卒中患者康复周期长，康复机制复杂，鲜有针对脑卒中患者康复进行辅助决策的研究。而目前脑卒中患者人数逐年增加，针对脑卒中康复的辅助治疗已成为当下关注的热点问题。

推荐系统可以根据用户的差异和偏好预测新项目的潜在兴趣，从而形成个性化的推荐列表，已广泛应用于电子商务、社交网络等众多领域。目前医疗领域的推荐系统通常只采用数值型和结构化数据，在面向医疗文本的用药和诊疗推荐等方面的研究进展缓慢。本文研究的脑卒中康复方案推荐问题，主要根据患者的主诉症状、专科查体以及病情评估进行偏瘫分级并制定康复方案。但由于患者个体和评估结果的细微差异，康复方案并不能通用，同时受医生的主观影响，不同医生制定的康复治疗方案存在差异。因此，本文提出一种面向电子病历的脑卒中康复治疗方案推荐系统，利用康复项目语义信息挖掘其与病历文本之间的语义关系，构建面向特定康复项目的病历文本表示；另外，采用自注意力机制从病历文本中识别特定康复项目的病历文本表示；最后将二者融合在一起，构建康复方案推荐模型。

本文主要贡献有三个方面：

1） 提出一种基于混合注意力机制的神经网络模型（deep hybrid attention network，DHAN），该模型同时考虑病历文本和康复项目，采用注意力机制捕获病历内容和康复项目之间的语义关系；

2） 设计一种注意力混合机制，根据上下文语义信息构造面向特定康复项目的病历文本表示；

3） 在一个真实的来自三甲医院神经内科和康复医学科的电子病历数据集上进行实验，实验验证了模型的准确性和有效性，证实了模型的实际应用价值。

1　 相关工作

1.1　脑卒中治疗辅助决策

目前脑卒中治疗方式主要包括三种：药物、手术以及康复治疗。脑卒中患者药物治疗主要包括溶栓、抗凝、抗血小板治疗及其他药物治疗。McMeekin等^［6］通过将患者3个月后的病情进展情况与中风溶栓预测仪中的模型结合，辅助预测患者是否需要进行溶栓治疗，在4 022个真实卒中患者上进行了实验。Bentley等^［7］基于支持向量机模型在106例急性缺血性脑卒中患者的CT图像预测患者是否需要溶栓治疗，实验结果表明模型可以有效地区分自发性脑内缺血患者。Zhao等^［8］分析研究了中成药在治疗脑卒中患者的价值，并构建了辅助决策模型。实验结果显示，35名患者针对21种中成药用药平均精确度达到85.79%。Accardo等^［9］基于颈动脉超声图像对粥样硬化斑块进行分类，也是采用SVM模型，识别患者是否需要开展颈动脉内膜剥脱术。实验结果表明，该模型对346例患者超声图像急性分类，特异度达到了86.4%。

脑卒中患者的功能障碍主要有：运动障碍、认知障碍、语言障碍等。Zhao等^［10］采用Kinect系统为居家康复训练的患者提供自动的评估反馈。通过对8名受试者进行康复训练，证明了该系统的有效性。Malešević等^［11］提出为中风患者寻找最优导电位置与电流振幅组合的康复治疗方案。实验证明该方案可以为医师提供有效的决策支持。Solana等^［12］提出为认知障碍的患者提供一个远程康复治疗平台，平台为患者提供个性化的康复治疗以及医患交流服务。当前针对脑卒中患者的辅助治疗决策多是二分类问题及是否采用某一药物或某种治疗手段，并不适用于康复治疗方案中多个康复项目并存的情况。本文提出模型可以根据患者的实际情况，自动为其推荐多个康复项目形成完整的康复治疗方案。

1.2　多标签分类

多标签分类（multi-label classification，MLC）在NLP（natural language processing）领域是一个很重要的任务，它的目标是为数据集中每个实例指派多个标签^［13］。而本文研究的脑卒中康复治疗方案推荐本质上也是一个多标签学习问题，要求根据每个患者的病历文本内容，为其分配多个康复治疗项目，从而形成完整治疗方案。目前多标签分类任务主要集中于两个方面：文本表示学习和标签相关性分析。在文本表示方面，基于卷积神经网络（convolutional neural network，CNN）的文本表示方法可以捕获连续上下文窗口中的局部相关性，但由于窗口的限制，它们无法捕获文本的长距离依赖^［14］。循环神经网络（recurrent neural network，RNN）和注意力机制能够捕获文本长距离的上下文关系，因此取得了令人满意的效果^［15］。为了隐式学习每一个标签的表示，自注意力机制被引入到多标签分类任务中^［16］。Kurata等^［17］认为相似的样本会标记为相同的标签，提出了一种根据类别标签之间的共现关系来初始化最后输出层参数的方法。Zhang等^［18］构建了一个标签共现图，使用图表示学习标签的嵌入表示。Yang等^［19］提出了一种新解码器的序列生成模型，不仅可以捕获标签之间的相关关系，而且在预测时可以选择信息量最大的词语。Du等^［20］引入了交互机制，将字符级的匹配信号合并到文本分类任务中。Pappas等^［21］提出了一种新的连接输入和标签嵌入的方式，但当标签文本之间没有太大差异时，该方法并不能取得很好的效果。

2　 预备知识

本节我们首先介绍本文研究工作中所采取的数据集及预处理情况，然后对本文所探讨的脑卒中患者康复治疗方案推荐问题给出正式的定义。

2.1　数据预处理

首先，我们通过模拟现实医生对患者的康复治疗过程对问题进行描述。在实际诊疗过程中，医生通常会在病历文本中记录患者的诊疗情况、体格检查以及病情评估。医生所撰写的诊疗经过和病情评估均是判断患者病情的重要依据。为此，本文选择病历文本中的体格检查、诊疗经过、病情评估作为推荐系统的输入，并对这些记录做如下处理：数据去隐私化，防止隐私泄露，保护病人的隐私安全；对病历内容进行清洗、筛选，去除停用词，最终得到患者的病历记录。

2.2　形式化描述

本文所研究的问题形式化描述如下：脑卒中康复治疗方案推荐任务，训练集中包含每一个患者i对应的病历文本，X=\left\{{\mathit{x}}_{\mathrm{1}},{\mathit{x}}_{\mathrm{2}},\cdots ,{\mathit{x}}_N\right\}，其中N为患者的个数，{\mathit{x}}_i=\left\{{\mathit{w}}_{\mathrm{1}},\cdots ,{\mathit{w}}_p,\cdots ,{\mathit{w}}_n\right\}表示第i个患者所对应的病历文本，{\mathit{w}}_p\in {\mathrm{ℝ}}^k是病历文本中第p个字符的向量表示，n为病历文本中字符个数。相应地，康复治疗项目集合Y=\left\{y_i\in {\left\{\mathrm{0,1}\right\}}^l\right\}，其中l为所有康复项目数量，某个康复项目y_i 被使用，则y_i =1，否则y_i =0。康复项目集合中每一个项目都可以认为是一个标签，每个标签都包含着特有的语义信息，例如：有氧训练、引导式教育训练、射频电疗、磁热疗法、肢体综合训练等。这与病历文本类似，标签可以表示为嵌入向量，标签集可以表示为一个可训练的矩阵\mathit{C}\in {\mathrm{ℝ}}^{l\times k}。在给定输入病历文本及其相关康复项目的情况下，DHAN旨在训练分类器将最相关的康复项目分配给新的患者。

由此可见，本文研究问题本质上是一个多标签学习问题，要求能够给出全部标签的概率分布。康复治疗项目共93种，即标签总数为93。针对不同患者病情，每个康复治疗方案会有所不同，病情严重的患者会采取更多的康复治疗手段。

3　 整体框架

基于混合注意力机制的脑卒中康复方案推荐系统整体框架如图1所示。该推荐系统接受用户输入的病历文本信息，包括主诉、体格检查、病情评估等，最终推荐的结果包括多个康复治疗项目。推荐系统主要包括两个部分：面向特定康复项目的病历文本表示生成和康复方案推荐。推荐步骤总共包括三步，分别为数据预处理、病历文本表示、康复项目推荐。

3.1　文本表示

假设患者i所对应的病历文本{\mathit{x}}_i=\left\{{\mathit{w}}_{\mathrm{1}},\cdots ,{\mathit{w}}_p,\cdots ,{\mathit{w}}_n\right\}，其中n表示字符个数。为了更好地涵盖语境内的语义和语法信息，本文采用基于中文医学文本的BERT预训练模型^［22］进行模型第一次字符嵌入，然后使用双向循环神经网络BiGRU捕捉当前字符前后的上下文信息，病历文本 x_i 第p个字符的表示如下所示

{\vec{h}}_p=\overrightarrow{\mathrm{G}\mathrm{R}\mathrm{U}}({\vec{h}}_{\left(p-\mathrm{1}\right)},{\mathit{w}}_p)（1）

{\stackrel{⃖}{h}}_p=\stackrel{⃖}{\mathrm{G}\mathrm{R}\mathrm{U}}({\stackrel{⃖}{h}}_{\left(p-\mathrm{1}\right)},{\mathit{w}}_p)（2）

其中， w_p 为相应病历文本中的第p个字符的向量表示，{\vec{h}}_p,{\stackrel{⃖}{h}}_p\in {\mathrm{ℝ}}^k分别表示前向和反向的字符上下文表示。整个病历文本可以用BiGRU表示，如下所示

\left\{\begin{array}{l}\mathit{H}=(\vec{H},\stackrel{⃖}{H})\\ \vec{\mathit{H}}=({\vec{h}}_{\mathrm{1}},{\vec{h}}_{\mathrm{2}},\cdots ,{\vec{h}}_n)\\ \stackrel{⃖}{\mathit{H}}=({\stackrel{⃖}{h}}_{\mathrm{1}},{\stackrel{⃖}{h}}_{\mathrm{2}},\cdots ,{\stackrel{⃖}{h}}_n)\end{array}\right.（3）

最后，模型将两个计算方向的GRU输出进行串接h_t=[{\vec{h}}_t,{\stackrel{⃖}{h}}_t]，得到一个向量序列\{h_{\mathrm{1}},h_{\mathrm{2}},\cdots ,h_n\}，整个病历文本可以作为一个矩阵\mathit{H}\in {\mathrm{ℝ}}^{\mathrm{2}k\times n}。

3.2　混合注意力网络

本研究的核心是融合注意力机制的神经网络模型，目的是确定每份病历文本中与康复项目最相关的部分。例如，某患者病历记录中包含“…，急性脑梗塞，溶栓治疗，…。查体：患者神志清，左侧上肢麻木，口角无歪斜、伸舌居中，鼓腮无漏气，…”，为这个患者开立的康复项目，包括：手功能训练、作业疗法、关节松动训练、经颅磁刺激、脑电治疗。很显然，“左侧上肢麻木”的内容与手功能训练和作业疗法的关系更大，用于改善手功能提高生活能力；“急性脑梗塞”的内容与经颅磁刺激、脑电治疗关系更密切，用于改善脑部血流循环。因此，通过注意力机制捕获病历内容和康复项目之间的语义相关性，可以有效提高模型的预测精度。

3.2.1　自注意力机制

每个患者康复方案的制定都是由多个康复项目组成的，也就说患者病历文本中都有与其康复项目最相关的上下文内容，并且其中每个字符对不同康复项目的贡献不同。为了捕获每个康复项目对应的病历文本内容，我们引入自注意力机制^［23］，自注意力机制已被广泛应用于多个文本挖掘的任务中。病历文本中每个字符对康复项目的注意力得分（{\mathit{A}}^s\in {\mathrm{ℝ}}^{l\times n}），计算方法如下

{\mathit{A}}^{(s)}=\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}({\mathit{W}}_{\mathrm{2}}\mathrm{t}\mathrm{a}\mathrm{n}\mathrm{h}({\mathit{W}}_{\mathrm{1}}\mathit{H}))（4）

其中，{\mathit{W}}_{\mathrm{1}}\in {\mathrm{ℝ}}^{d_a\times \mathrm{2}k}和{\mathit{W}}_{\mathrm{2}}\in {\mathrm{ℝ}}^{l\times d_a}是自注意力的权重矩阵，d_a为超参数。{\mathit{A}}_j^{(s)}是个n维向量表示，n为字符个数，表示不同字符对第j个康复项目的贡献。然后，我们根据注意力分数{\mathit{A}}^{(s)}得到相对于每个康复项目的病历文本表示{\mathit{M}}_j^{(s)}，计算方法如下

{\mathit{M}}_j^{(s)}={\mathit{A}}_j^{(s)}{\mathit{H}}^{\mathrm{T}}（5）

其中，{\mathit{M}}_j^{(s)}表示病历文本面向第j个康复项目的向量表示。矩阵{\mathit{M}}^{(s)}\in {\mathrm{ℝ}}^{l\times \mathrm{2}k}表示基于自注意力机制的面向特定康复项目的病历表示。

3.2.2　康复项目注意力机制

自注意力机制主要是面向文本内容的注意力，它只考虑文本内容。在实际情况中，不同的康复项目具有特定的语义信息，是病历文本内容的隐含描述。为了充分挖掘康复项目的语义信息，将它们表示为一个可训练的矩阵\mathit{C}\in {\mathrm{ℝ}}^{l\times k}。

在得到病历文本中每个字符的嵌入向量和康复项目的嵌入表示之后，就可以确定每个字符和康复项目之间的上下文语义关系，计算方法如下

\left\{\begin{array}{l}{\vec{\mathit{A}}}^{(l)}=\mathit{C}\vec{\mathit{H}}\\ {\stackrel{⃖}{\mathit{A}}}^{(l)}=\mathit{C}\stackrel{⃖}{\mathit{H}}\end{array}\right.（6）

其中，{\vec{\mathit{A}}}^{(l)}\in {\mathrm{ℝ}}^{l\times n}和{\stackrel{⃖}{\mathit{A}}}^{(l)}\in {\mathrm{ℝ}}^{l\times n}分别表示每个字符和康复项目之间前向和反向的语义关系。与3.2.1节中的自注意力机制相似，可以通过线性组合项目的上下文信息来构建面向特定康复项目的文本表示，如下所示

\left\{\begin{array}{l}{\vec{\mathit{M}}}^{(l)}={\vec{\mathit{A}}}^{(l)}{\vec{\mathit{H}}}^{\mathrm{T}}\\ {\stackrel{⃖}{\mathit{M}}}^{(l)}={\stackrel{⃖}{\mathit{A}}}^{(l)}{\stackrel{⃖}{\mathit{H}}}^{\mathrm{T}}\end{array}\right.（7）

最终，面向所有康复项目的病历表示为{\mathit{M}}^{(l)}=\left({\vec{\mathit{M}}}^{(l)},{\stackrel{⃖}{\mathit{M}}}^{(l)}\right)\in {\mathrm{ℝ}}^{l\times \mathrm{2}k}。这个表示是基于康复项目语义信息的，因此称它为康复项目注意力文本表示。

3.3　混合注意力机制

{\mathit{M}}^{(s)}和{\mathit{M}}^{(l)}都是面向特定康复项目的病历文本表示，{\mathit{M}}^{(s)}主要集中于病历文本的内容，而{\mathit{M}}^{(l)}更加关注病历内容和康复项目之间的语义关系。为了充分发挥二者的优势，引入两个权重向量（\mathit{\alpha },\mathit{\beta }\in {\mathrm{ℝ}}^l），自动确定二者之间的重要性，一个全连接层用于组合两种类型的注意力表示向量，计算公式如下

\left\{\begin{array}{l}\mathit{\alpha }=\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{m}\mathrm{o}\mathrm{i}\mathrm{d}({\mathit{M}}^{(s)}{W}_{\mathrm{3}})\\ \mathit{\beta }=\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{m}\mathrm{o}\mathrm{i}\mathrm{d}({\mathit{M}}^{(l)}{W}_{\mathrm{4}})\end{array}\right.（8）

其中，{\mathit{W}}_{\mathrm{3}},{\mathit{W}}_{\mathrm{4}}\in {\mathrm{ℝ}}^{\mathrm{2}k}是训练参数。{\alpha }_j和{\beta }_j分别表示{\mathit{M}}_j^{(s)}和{\mathit{M}}_j^{(l)}相对于第j个项目在重构病历表示的权重，{\alpha }_j+{\beta }_j=\mathrm{1}。最终的病历表示如下

{\mathit{M}}_j={\alpha }_j{\mathit{M}}_j^{(s)}+{\beta }_j{\mathit{M}}_j^{(l)}（9）

因此，面向所有康复项目的病历文本表示形式为\mathit{M}\in {\mathrm{ℝ}}^{l\times \mathrm{2}k}。

3.4　康复项目推荐

得到面向所有康复项目的病历文本表示后，采用两个全连接层的多层感知机构建多标签文本分类模型进行康复治疗项目的top⁃N推荐，计算公式如下

\widehat{y}=\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{m}\mathrm{o}\mathrm{i}\mathrm{d}({\mathit{W}}_{\mathrm{6}}\mathrm{r}\mathrm{e}\mathrm{l}\mathrm{u}({\mathit{W}}_{\mathrm{5}}{\mathit{M}}^{\mathrm{T}}))（10）

其中，{\mathit{W}}_{\mathrm{5}}\in {\mathrm{ℝ}}^{b\times \mathrm{2}k}，{\mathit{W}}_{\mathrm{6}}\in {\mathrm{ℝ}}^{b\times \mathrm{2}k}分别是全连接层和输出层训练参数。relu是一个非线性激活函数，sigmoid函数将输出值转换为概率。我们采用交叉熵作为损失函数来优化模型，该函数已被证明适用于多标签文本分类任务。

\mathrm{𝓁}=-{\displaystyle \sum _{i=\mathrm{1}}^N}{\displaystyle \sum _{j=\mathrm{1}}^l}(y_{ij}\mathrm{l}\mathrm{o}\mathrm{g}({\widehat{y}}_{ij}))+(\mathrm{1}-y_{ij})\mathrm{l}\mathrm{o}\mathrm{g}(\mathrm{1}-{\widehat{y}}_{ij})（11）

其中，N是训练的病历个数，l是康复项目个数，{\widehat{y}}_{ij}\in [\mathrm{0,1}]是预测概率，y_{ij}\in \left\{\mathrm{0,1}\right\}表示第i个患者执行第j个康复项目的真实情况。

4　 实验结果与分析

4.1　实验数据

本文实验采用了某三甲医院神经内科和康复医学科诊断为脑卒中并偏瘫的患者电子病历，经过脱敏处理，对病历文本进行数据清洗、过滤、去除冗余及错误信息，最后得到1 263名卒中患者的病历数据，包括患者主诉、体格检查、诊疗经过、病情评估以及医生为患者开立的真实康复治疗方案，数据样本如表1所示。治疗方案中包含93个康复治疗项目，每个康复治疗项目作为一个标签，其中使用频率较多的有16项，如表2所示。由于不同患者病情不同，因此每个患者的康复治疗方案也不相同，病情严重的患者会采取更多的康复治疗项目。

4.2　度量指标

本文所研究的康复治疗方案推荐问题本质是一个多标签学习（multi-label learning）问题。多标签学习问题的评价指标主要有两类，基于分类的评价指标和基于排序的评价指标^［24］。康复治疗方案推荐的目标是使合适的康复项目尽可能地排名靠前。为此，本文采用精确率（P@K）、召回率（R@K）和F1-score（F@K）作为评价指标。精确率表示正确预测正样例占预测为正样例的比例，召回率表示正确预测正样例占实际正样例的比例，F1-score表示精确率和召回率的调和平均数，分别计算如下

P@K=\frac{\mathrm{1}}{N}{\displaystyle \sum _{n=\mathrm{1}}^N}\frac{\left|{\mathrm{\wp }}_n^T\bigcap {\mathrm{\wp }}_n^R\right|}{\left|{\mathrm{\wp }}_n^R\right|}（11）

R@K=\frac{\mathrm{1}}{N}{\displaystyle \sum _{n=\mathrm{1}}^N}\frac{\left|{\mathrm{\wp }}_n^{\mathrm{T}}\bigcap {\mathrm{\wp }}_n^R\right|}{\left|{\mathrm{\wp }}_n^{\mathrm{T}}\right|}（12）

F@K=\frac{\mathrm{1}}{N}{\displaystyle \sum _{n=\mathrm{1}}^N}\frac{\mathrm{2}\times P_n\times R_n}{P_n+R_n}（13）

其中，N为测试数据总数，{\mathrm{\wp }}_n^{\mathrm{T}}代表第n个患者真实的康复治疗项目集合，{\mathrm{\wp }}_n^K表示第n个患者推荐的前K个康复治疗项目。P_n 和R_n 分别表示针对第n个患者计算出来的精确率和召回率。

4.3　基准方法

为了验证本文所提方法的效果，选择以下5种方法与本文方法DHAN进行对比。其中，LLDA为主题模型，MPL和Wide＆Deep为深度学习方法。

1） Frequency（Freq）^［25］：该方法统计训练数据病历文本中所出现的康复项目执行频次，由高到低排序，得到排序列表。在对测试集中每份病历文本进行康复项目推荐时，均给出此列表。我们认为推荐性能低于此方法的模型是无意义的。

2）KNN^［26］：给定一个文档，计算文档内容之间的相似度如欧氏距离、cosine距离，找出最相似的k个文档，这k个文档中标签出现概率的排序即为模型推荐的标签概率。在本文的康复项目推荐任务中，由于病历内容过长，直接计算cosine距离的工作量较大，为此采用本文所提方法对病历内容进行特征提取重构病历的向量表示，然后在此基础上计算cosine距离寻找相似病历文本。

3） Labeled-LDA（LLDA）^［27］：一种多标签主题模型，假设语料库中标签和潜在主题存在一一对应关系。在本文研究中，将每个康复项目视为一个标签，假设每个康复项目都和病历文本中的潜在主题存在对应关系，将病历文本作为训练文档，采用文献［27］的方法进行训练推荐。

4） MLP多层感知机（multi-layer perecptron，MLP）^［28］：经典的神经网络模型，包括输入层、输出层和多个隐藏层。MLP模型可以进行简单高效的特征表示，进而完成各种推荐任务。在此，直接将患者的病历记录输入到MLP，采用relu作为激活函数，输出不同康复项目的推荐概率。

5） Wide＆Deep（W&D）^［29］：一种深度学习推荐模型，其融合浅层网络的记忆能力和深层网络的泛化能力，既能够保证模型的精度，又可以提高模型的可扩展性。在此，直接将患者的病历记录输入该网络中，原始W&D模型输出单元维度为1，本文对其进行扩展使输出多个维度。

4.4　实验结果

实验中，对模型进行多次重复实验，设置病历文本中字符的嵌入维度为150；相对于网络权重W₁和W₂，设置d_a =200；相对于网络权重W₅和W₆，设置b=150。所有基准方法的参数设置均采用原始论文的设置或实验确定。表3给出了不同方法在数据集上的性能表现，每个实验结果均为10折交叉验证所得。

通过观察表3，可以得出以下结论：

1） 与其他基准方法比较，本文所提DHAN在精确率、召回率和F1-score上都取得了较好的效果，这说明DHAN很好地完成脑卒中患者康复治疗方案推荐任务。

2） KNN的推荐性能低于DHAN。这是因为KNN直接使用病历向量表示数据计算cosine距离，不能较好地计算患者之间的相似度。相比之下，DHAN采用两个全连接层的多层感知机构建多标签文本分类模型，交叉熵作为损失函数来优化模型，能够取得更好的推荐效果。

3） 传统基于主题模型的推荐算法LLDA的结果并没有超过Frequency，可以看作完全无意义。主要原因在于医疗文本数据内容较为单一，患者病历内容记录的是患者的病情，通常只围绕某种疾病、症状或病情进展进行描述。传统主题模型通常假设文档包含多个主题，这种假设在文档内容较长，内容丰富的语料库中效果较好，而面对文档内容单一集中的医疗文本效果不佳。

4） 基于深度学习的推荐模型MLP和W&D的准确性效果接近DHAN模型。深度学习模型采用端到端的模式进行训练，没有考虑标签对模型的影响。相较而言，本文提出的方法充分利用康复项目语义信息来确定其和病历内容之间的语义关联，同时采用注意力机制从病历内容中挖掘面向特定康复项目的病历表示，所以推荐效果较好。

为了进一步验证混合注意力机制在康复方案推荐任务上的有效性，图2分别列出了自注意力和康复项目注意力在数据集上的权重分布情况。针对患者病情的严重程度，不同患者采用康复治疗项目的数量不同。因此根据执行频率，我们将93个康复治疗项目分为5组：1~，200~400，400~700，700~900，900~1 100。例如，当某个康复治疗项目在所有患者的康复方案中只采用过1次，则它在1~组，若采用超过500次，则在400~700组。图2横坐标为5个分组，纵坐标为每个分组的权重分布区间。从图2中可以看出，采用频率越高的康复治疗项目，自注意力权重越大。这是因为使用频率高的康复项目，都有足够多的病历文本信息与其关联，通过病历内容的挖掘就可以获得较好的病历表示，因此其自注意力权重更大；而采用频率较少的康复项目，只能关联很少的病历信息，康复项目注意力机制更有益于抽取康复治疗项目和病历内容之间的语义关系，因此这种情况下，康复项目注意力比自注意力更有效。

为了研究混合注意力机制的有效性，我们使用热图可视化病历文本中的康复项目注意力的权重，如图3所示。当采用的康复治疗项目为“偏瘫肢体综合训练”时，病历文本中的“瘫痪”“肢体”等字符与其最相关，热图可视化显示的颜色较深，而“面瘫”“力量弱”等字符的相关性稍弱，热图可视化显示的颜色较浅；当康复治疗项目为“面部神经功能训练”时，病历文本中的“面瘫”“嘴角右歪”与其最相关，此时热图可视化显示的颜色较深，“流涎”“齿”等字符的相关性较弱，热图可视化显示的颜色较浅。因此从康复项目注意力的权重分配可以看出，每个康复治疗项目都有与其相关的字符描述，这证实了本文提出的方法可以有效地构建面向特定康复项目的病历文本表示。

5　 结 语

本文提出了一种基于混合注意力机制的脑卒中康复治疗方案推荐模型，将方案推荐转化为一个多标签分类问题。该模型充分挖掘病历文本和康复项目之间的语义关系，采用自注意力和康复项目注意力机制构建面向特定康复项目的病历表示。最后，在某大型三甲医院数据集上进行实验，结果表明本文所提方法在准确性上优于传统主题模型、神经网络模型。同时，对模型学习所得的结果进行分析，证实了模型在实际应用中的有效性。本文所提的方法还存在某些局限性。由于忽略了电子病历中存在的海量医疗信息如现病史、基础病以及人口统计学信息等，无法得到最优的临床决策。后续将深度挖掘病历文本内容，除考虑当前疾病情况外，同时纳入现病史、人口统计学信息等，进一步优化推荐模型。

参考文献

[1] WANG Y J， LI Z X， GU H Q， et al. China stroke statistics 2019： A report from the national center for healthcare quality management in neurological diseases ［J］. Stroke & Vascular Neurology， 2020 （5）： e000457. DOI：10.1136/svn-2020-000457 .

[2] 孙海欣， 王文志. 中国60万人群脑血管病流行病学抽样调查报告［J］. 中国现代神经疾病杂志， 2018， 18（2）： 83-88. DOI：10.3969/j.issn.1672-6731.2018.02.002 .

[3] SUN H X， WANG W Z. A nationwide epidemiological sample survey on cerebrovascular disease in China ［J］. Chinese Journal of Contemporary Neurology and Neurosurgery， 2018， 18（2）： 83-88. DOI：10.3969/j.issn.1672-6731.2018.02.002（Ch ）.

[4] 杨凤， 张敬军. CD4⁺CD25⁺调节性T细胞与颈动脉粥样硬化关系的研究［J］. 中国临床神经科学， 2012， 20（5）： 584-588. DOI：10.3969/j.issn.1008-0678.2012.05.022 .

[5] YANG F， ZHANG J J. The study of CD4⁺CD25⁺ treg and carotid atherosclerosis ［J］. Chinese Journal of Clinical Neurosciences， 2012， 20（5）： 584-588. DOI：10.3969/j.issn.1008-0678.2012.05.022（Ch ）.

[6] 杨锦锋， 于秋滨， 关毅， 等. 电子病历命名实体识别和实体关系抽取研究综述［J］. 自动化学报， 2014， 40（8）： 1537-1562. DOI：10.3724/SP.J.1004.2014.01537 .

[7] YANG J F， YU Q B， GUAN Y， et al. An overview of research on electronic medical record oriented named entity recognition and entity relation extraction ［J］. Acta Automatica Sinica， 2014， 40（8）： 1537-1562. DOI：10.3724/SP.J.1004.2014.01537（Ch ）.

[8] 杨锦锋， 关毅， 何彬， 等. 中文电子病历命名实体和实体关系语料库构建［J］. 软件学报， 2016， 27（11）： 2725-2746. DOI：10.13328/j.cnki.jos.004880 .

[9] YANG J F， GUAN Y， HE B， et al. Corpus construction for named entities and entity relations on Chinese electronic medical records ［J］. Journal of Software， 2016， 27（11）： 2725-2746. DOI：10.13328/j.cnki.jos.004880（Ch ）.

[10] MCMEEKIN P， FLYNN D， FORD G A， et al. Development of a decision analytic model to support decision making and risk communication about thrombolytic treatment ［J］. BMC Medical Informatics and Decision Making， 2015， 15： 90. DOI：10.1186/s12911-015-0213-z .

[11] BENTLEY P， GANESALINGAM J， CARLTON JONES A L， et al. Prediction of stroke thrombolysis outcome using CT brain machine learning ［J］. NeuroImage： Clinical， 2014， 4： 635-640. DOI：10.1016/j.nicl.2014.02.003 .

[12] ZHAO Y F， LIU B， HE L Y， et al. A novel classification method for aid decision of traditional Chinese patent medicines for stroke treatment ［J］. Frontiers of Medicine， 2017， 11（3）： 432-439. DOI：10.1007/s11684-017-0511-1 .

[13] ACCARDO A， CUSENZA M， MONTI F. Linear and non-linear parameterization of EEG during monitoring of carotid endarterectomy ［J］. Computers in Biology and Medicine， 2009， 39（6）： 512-518. DOI： 10.1016/j.compbiomed.2009.03.003 .

[14] ZHAO W B， REINTHAL M A， ESPY D D， et al. Rule-based human motion tracking for rehabilitation exercises： Realtime assessment， feedback， and guidance ［J］. IEEE Access， 2017， 5： 21382-21394. DOI：10.1109/ACCESS.2017.2759801 .

[15] MALEŠEVIĆ J， DEDIJER DUJOVIĆ S， SAVIĆ A M， et al. A decision support system for electrode shaping in multi-pad FES foot drop correction ［J］. Journal of Neuro Engineering and Rehabilitation， 2017， 14（1）： 1-14. DOI：10.1186/s12984-017-0275-5 .

[16] SOLANA J， CÁCERES C， GARCÍA-MOLINA A， et al. Improving brain injury cognitive rehabilitation by personalized telerehabilitation services： Guttmann neuropersonal trainer ［J］. IEEE Journal of Biomedical and Health Informatics， 2015， 19（1）： 124-131. DOI：10.1109/JBHI.2014.2354537 .

[17] XIAO L， HUANG X， CHEN B L， et al. Label-specific document representation for multi-label text classification［C］// Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing （EMNLP-IJCNLP）. Stroudsburg：Association for Computational Linguistics， 2019： 466-475. DOI： 10.18653/v1/D19-1044 .

[18] LIU J Z， CHANG W C， WU Y X， et al. Deep learning for extreme multi-label text classification［C］//Proceedings of the 40th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2017： 115-124. DOI：10.1145/3077136.3080834 .

[19] YANG Z C， YANG D Y， DYER C， et al. Hierarchical attention networks for document classification［C］//Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. Stroudsburg： Association for Computational Linguistics， 2016： 1480-1489. DOI：10.18653/v1/n16-1174 .

[20] CHEN G B， YE D H， XING Z C， et al. Ensemble application of convolutional and recurrent neural networks for multi-label text categorization［C］//2017 International Joint Conference on Neural Networks （IJCNN）. New York： IEEE Press， 2017： 2377-2383. DOI：10.1109/IJCNN.2017.7966144 .

[21] KURATA G， XIANG B， ZHOU B W. Improved neural Network-based Multi-label classification with better initialization leveraging label co-occurrence ［C］//Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. Stroudsburg： Association for Computational Linguistics， 2016： 521-526. DOI：10.18653/v1/n16-1063 .

[22] ZHANG W J， YAN J C， WANG X F， et al. Deep extreme multi-label learning ［C］//Proceedings of the 2018 ACM on International Conference on Multimedia Retrieval. New York： ACM， 2018： 100-107. DOI：10.1145/3206025.3206030 .

[23] YANG P C， SUN X， LI W， et al. SGM： Sequence Generation Model for Multi-Label Classification ［EB/OL］. ［2021-05-06］. https：//arxiv.org/abs/1806.04822. DOI: 10.1109/access.2019.2948855 .

[24] DU C X， CHEN Z Z， FENG F L， et al. Explicit interaction model towards text classification ［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2019， 33： 6359-6366. DOI：10.1609/aaai.v33i01.33016359 .

[25] PAPPAS N， HENDERSON J. GILE： A generalized input-label embedding for text classification［J］. Transactions of the Association for Computational Linguistics， 2019， 7： 139-155. DOI：10.1162/tacl_a_00259 .

[26] LI X Y， ZHANG H， ZHOU X H. Chinese clinical named entity recognition with variant neural structures based on BERT methods ［J］. Journal of Biomedical Informatics， 2020， 107： 103422. DOI：10.1016/j.jbi.2020.103422 .

[27] LIN Z H， FENG M W， SANTOS C N D， et al. A Structured Self-Attentive Sentence Embedding ［DB/OL］. ［2021-04-02］. DOI: 10.1109/icassp40776.2020.9054274 .

[28] ROSEN-ZVI M， GRIFFITHS T， STEYVERS M， et al. The author-topic model for authors and documents［EB/OL］. ［2021-07-08］. https：//arxiv.org/abs/1207.4169. DOI: 10.1145/1014052.1014087 .

[29] 郑值， 徐童， 秦川， 等. 基于多源情境协同感知的药品推荐［J］. 计算机研究与发展， 2020， 57（8）： 1741-1754. DOI：10.7544/issn1000-1239.2020.20200149 .

[30] ZHENG Z， XU T， QIN C， et al. Multi-source contextual collaborative recommendation for medicine ［J］. Journal of Computer Research and Development， 2020， 57（8）： 1741-1754. DOI：10.7544/issn1000-1239.2020.20200149（Ch ）.

[31] WANG Y， QU J S， LIU J， et al. What to tag your microblog： Hashtag recommendation based on topic analysis and collaborative filtering ［C］//Web Technologies and Applications (LNCS 8709). Cham：Springer，2014： 610-618. DOI：10.1007/978-3-319-11116-2_58 .

[32] RAMAGE D， HALL D， NALLAPATI R， et al. Labeled LDA： A supervised topic model for credit attribution in multi-labeled corpora ［C］//Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing Volume 1―EMNLP '09. Stroudsburg： Association for Computational Linguistics， 2009： 248-256. DOI：10.3115/1699510.1699543 .

[33] HORNIK K， STINCHCOMBE M， WHITE H. Multilayer feedforward networks are universal approximators［J］. Neural Networks， 1989， 2（5）： 359-366. DOI：10.1016/0893-6080（89）90020-8 .

[34] CHENG H T， KOC L， HARMSEN J， et al. Wide & deep learning for recommender systems ［C］//Proceedings of the 1st Workshop on Deep Learning for Recommender Systems. New York： ACM， 2016： 7-10. DOI：10.1145/2988450.2988454 .

基金资助

国家自然科学青年基金(61802350)

国家重点研发计划(2019YFC0118803)