基于逻辑推理和多任务融合的认知刺激对话生成

Cognitive Stimulation Dialogue Generation Based on Logical Reasoning and Multi-task Integration

摘要

在全球老龄化背景下，老年人的健康问题逐渐凸显，认知刺激对话是保持老年人认知健康的重要手段。前人构建了一个结合情感支持的中文认知刺激对话数据集（ChineseCognitiveStimulationDialogueDataset,CSConv），开启了中文认知刺激对话的研究工作。但是没有充分建模认知刺激对话中的逻辑推理关系，生成对话时没能有效利用策略标签的指导作用。本文将认知刺激对话生成视为一个多任务融合的逻辑思维推理过程，将情感分类任务、决策任务和对话回复生成任务间的逻辑关系，建模为一个推理过程，来引导大语言模型生成。针对决策任务，本文提出分层编码器结构的决策模型。决策实验结果表明，决策模型分别将认知刺激治疗原则及情感支持策略决策任务的准确率提高了3.96%和2.1%。针对多任务逻辑思维推理过程，本文提出多任务融合方法，将分类、决策、生成三个任务对应的模型结合在一起。实验结果表明，相比前人方法，多任务融合方法将双语评估替分-4(Bilingual Evaluation Understudy Score based on 4-gram,BLEU-4)提升了7.95%，表明对话回复能力得到提升，证明了该方法的有效性和先进性。

关键词

认知刺激 / 情感支持 / 决策任务 / 多任务融合方法

Key words

cognitively stimulating / emotional support / decision-making tasks / multi-task integration method

0 引言

人机对话系统一直是人工智能研究中的热点。在全球老龄化背景下，利用人工智能实现智慧康养，构建面向老人的对话系统成为对话系统研究的重要方向。研究表明，对话系统对老人认知能力的改善具有积极的作用^［1-2］。其中，认知刺激对话是恢复老人认知功能的重要心理治疗手段^［3-4］。认知刺激治疗是一种帮助轻度到重度以下认知障碍症患者的非药物干预治疗手段^［5］。认知刺激对话是在认知刺激治疗原则^［6］指导下，以刺激患者思维为目的生成的对话。结合认知刺激治疗的生成式对话系统在智慧养老领域中有着广阔的应用场景，可以应用于家居生活场景和养老社区服务场景等，通过聊天的方式，帮助老人认知恢复。因此认知刺激对话有着迫切的现实需求、应用价值和多样的应用场景。

之前大部分面向老年人的对话系统主要关注在特定场景中的特定功能研究，例如Tokunaga等^［4］提出的一个利用照片故事的机器人对话系统，对老人进行日常的认知训练。Navarro等^［7］提出了一个认知刺激的治疗系统，用以评估患者的认知障碍和情绪健康，来自动生成新的个性化刺激计划。然而此前，由于认知刺激对话语料的缺失，没有面向关于认知刺激对话的生成式系统研究。

近期，面向老人的生成式认知刺激对话系统研究取得了突破。Jiang等^［8］构建了一个中文认知刺激对话数据集CSConv（Chinese Cognitive Stimulation Dialogue Dataset），将情感支持^［9］和认知刺激同时引入聊天对话中，提出了面向老年人的认知刺激对话新任务。数据集包含2 600个对话，每句话语标注了三个标签：认知刺激治疗原则标签、情感标签和情感支持策略标签，其中情感支持策略标签由Liu等^［9］提出，认知刺激治疗原则标签由Jiang等^［8］从认知刺激治疗手册中总结而来。然后，作者提出了融合多源知识的生成式对话模型认知刺激对话系统（Cognitive Stimulation Dialogue system，CSD），取得了当时最好的效果。但是CSD没有充分对认知刺激对话中的逻辑推理过程进行建模，导致模型在生成对话时没能有效利用认知刺激治疗原则标签和情感支持策略标签的指导作用。

认知刺激对话任务不同于普通的闲聊任务，它是带有目的性的对话，任务难度比较高。在进行认知刺激对话的时候，人类思维首先会根据当前话语的内容进行决策，确定适用的治疗原则，随后根据决策的结果进行相应的回应，如图1所示。因此，在模型设计时同样会参考人类思维的过程，先决策后回复。

同时，本文提出一个多任务融合的方法，如图2所示，把认知刺激对话任务分成三个子任务，即分类任务、决策任务和对话回复生成任务。本文将三个任务间的逻辑关系，视作一个复杂的逻辑推理过程，来引导大语言模型生成。分类任务即情感信息分类，决策任务具体分为认知刺激治疗决策和情感支持策略决策，生成任务为生成模型利用情感信息和决策信息的引导来作出相应的回复。

针对决策任务，本文提出分层编码器结构的决策模型。在编码阶段，通过融入历史对话，情感信息以及历史决策信息，来增强对话的编码表示，从而提升决策准确率，为生成模型提供更准确的信息。对于生成模型而言，从情感信息和决策信息到回复生成中间还有很大的跨度。生成模型不仅要理解标签含义，还肩负着理解情感信息和决策信息背后蕴藏的指令。大语言模型自出现以来，展现了惊人的推理能力和对指令的服从能力，可以很好地理解指令信息并作出相应的回应，对于不同标签信息背后的含义有着更好地理解。于是本研究使用大语言模型作为生成模型，使用基于提示的方法，探究大语言模型深层次的理解和推理能力。

本研究具体的研究贡献总结如下：

（1）针对认知刺激对话任务，本文参考人类先决策后回复的思维过程，提出多任务流程。将认知刺激对话分为三个子任务，具体为情感分类任务，决策任务，以及大语言模型对话回复生成任务。

（2）针对决策任务，本文提出分层编码器结构的决策模型决策模型（Decision Model，DM）。决策实验结果表明，DM有效地提高了情感支持决策和认知刺激决策的准确率。生成实验表明，随着决策模型准确率的提高，对生成模型生成对话回复也具有正向的促进作用。决策实验和生成实验的结果证明了决策任务和决策模型的有效性。

（3）针对认知刺激对话过程中多任务的特点，本文提出了多任务融合方法CSMI（Cognitively Stimulated dialogue based on Multi-task Integration），将情感分类模型、决策模型和大语言模型融合到一起。本研究进行了大量的实验，结果表明CSMI提升了对话回复质量，证明了CSMI的有效性与先进性。

1 相关工作

在面向老人的对话系统研究中，一些研究表明人机对话系统可以帮助老人应对孤独，降低老人的抑郁和焦虑水平，提高生活质量。Ryu等^［10］设计和开发了一个心理健康护理对话机器人Yeonheebot，来减少老人的焦虑和抑郁。Yeonheebot会启动关于老年人幸福日常护理的对话，并提供与他们兴趣相关的功能，以吸引用户使用。名为Charlie的面向老人的陪伴型聊天机器人^［11］，能提供智力游戏、能主动提醒事务、能聊一些轶事以促进自我共情，意图帮助老人积极应对孤独感，提高生活质量。Lee等^［12］也对在对话中融入自我共情^［13-15］进行了研究，其实验表明：让用户去关心机器人比让机器人关心用户更能让用户获得自我共情。

还有一些研究表明人机对话系统对老人的认知能力改善具有积极的作用。Tokunaga等^［4］研究了一个名字叫Bono的对话系统，提出一个基于对话的方法对老人进行日常的认知训练，利用对话机器人，向老人展示照片并讲述相关故事，以此作为和老人聊天的上下文，然后请老人提问，机器人进行回答。Kim等^［16］利用基于智能语音程序的元记忆训练策略，进行了实验，实验结果表明该训练方法能够帮助到具有主观认知能力下降的老人。

De Oliveira等^［1］研究表明多感官认知刺激对长期护理机构中老人的认知能力问题具有有益影响。Park等^［2］研究了多组件的认知刺激程序对老年人的认知功能改善具有积极的作用。Navarro等^［7］提出一个认知刺激治疗系统，用以评估患者的认知障碍和情绪健康，来自动生成新的个性化刺激计划。可见，认知刺激作为针对认知障碍老人的非药物心理治疗方法，同样对老人的认知能力改善具有重要作用。

近期，认知刺激和生成式对话系统结合的研究上取得了进展，Jiang等^［8］构建了一个中文认知刺激对话数据集CSConv，首次提出面向老年人的认知刺激对话任务。其中包含2 600个对话，每句话语标注了三个类别标签，然后提出了融合多源知识的生成式对话模型，取得了当时最好的效果。

2 多任务融合的认知刺激对话方法

本文参考人类在认知刺激对话中，分步进行的特点，提出了多任务过程，并基于此设计了多任务融合的方法，以下简称为CSMI。本研究将认知刺激对话任务分成三个子任务，分别是分类任务、决策任务和大语言模型对话回复生成任务。

具体来说，（一）本文选用双向Transformer编码表征模型（Bidirectional Encoder Representations from Transformers，BERT）^［17］作为情感分类模型。（二）本文构建了决策模型，其包括两个主要阶段：（1）对话编码和（2）标签决策。在标签决策阶段，本研究设计了两种结构，分别是基于长短期记忆网络（Long Short-Term Memory，LSTM）^［18］构建的决策模型（以下简称DM_LSTM），和基于Transformer Encoder^［19］构建的决策模型（以下简称DM_Transformer）。（三）本文采用提示的方法，进一步提升大语言模型的理解能力和推理能力。最后，结合分类模型和决策模型的结果，将对应三个任务的模型融合在一起，来引导大语言模型生成回复。

2.1　数据集处理

在CSConv数据集中，为每句话语 u都标注了三种类型的标签：情感标签 u_{\mathrm{e}\mathrm{m}\mathrm{o}}、认知刺激治疗原则标签 u_{\mathrm{c}\mathrm{s}\mathrm{t}}、情感支持策略标签 u_{\mathrm{s}\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{t}\mathrm{e}\mathrm{g}\mathrm{y}}。在Jiang等^［8］工作中，作者把每一个标签转换成一个词进行编码，拼接在句子编码之后输入给生成模型，因此没有给出相应的中文标签。于是，对于情感标签和认知刺激治疗原则标签，本研究按照Jiang等^［8］工作中的释义，翻译成中文后，再总结为对应的中文标签，如表1 表2所示。对于情感支持策略标签，按照Liu等^［9］给出的示例，总结成对应的中文标签，如表3所示。

决策任务应预测出机器回复要采取的情感支持策略或者认知刺激治疗原则。于是根据决策任务的定义，本文重新整理了CSConv数据集。在老人话语句 u留下情感信息标签 u_{\mathrm{e}\mathrm{m}\mathrm{o}}，在机器回复句 r留下情感支持策略标签 r_{\mathrm{s}\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{t}\mathrm{e}\mathrm{g}\mathrm{y}}和认知刺激治疗原则标签 r_{\mathrm{c}\mathrm{s}\mathrm{t}}。

2.2　多任务融合方法

针对决策任务，本文提出具有分层编码器结构的决策模型DM，包含两个阶段：（1）对话编码，（2）标签决策。在标签决策阶段，本文设计了两种不同结构的决策模型DM_LSTM和DM_Transformer。面向认知刺激的决策模型和面向情感支持的决策模型类似。以面向认知刺激的决策模型为例，其结构如图3所示。

本文将对话历史中的每一轮设计成一个句对的形式 H = [ ( u_{\mathrm{1}} , r_{\mathrm{1}} ) , \cdots , ( u_{n-\mathrm{1}} , r_{n-\mathrm{1}} ) ]进行编码，以提高历史对话的结构化表达，其中 u代表老人的话语， r代表机器人的话语。为了更有效地传达句子的语义信息，本文采用句子编码器Sentence BERT^［20］对它们进行编码。再和当前句 u_n一起，通过句子编码器做句子表征，如公式（1）所示。若设 s = ( u , r )，则得到对话表征 S = [ s_{\mathrm{1}} , s_{\mathrm{2}} , \cdots , s_n ]，具体表示为：

S = \mathrm{S} \mathrm{e} \mathrm{n} \mathrm{t} \mathrm{e} \mathrm{n} \mathrm{c} \mathrm{e} \mathrm{B} \mathrm{E} \mathrm{R} \mathrm{T} ( [ ( u_{\mathrm{1}} , r_{\mathrm{1}} ) , \cdots , ( u_{n-\mathrm{1}} , r_{n-\mathrm{1}} ) , u_n ] ) , （1）

其中 S \in {\mathbb{R}}^{n\times d}， n表示对话轮数， d为句子编码器隐含层维度。

然后，本文使用嵌入层（Embedding Layer）分别对每一轮的情感信息和历史对话中的决策信息进行编码，即 E_e ( \mathrm{e} \mathrm{m} \mathrm{o} ) \in {\mathbb{R}}^{n\times d}、 E_c ( \mathrm{c} \mathrm{s} \mathrm{t} ) \in {\mathbb{R}}^{n\times d}或 E_s ( \mathrm{s} \mathrm{t} \mathrm{r} ) \in {\mathbb{R}}^{n\times d}，其中 n表示对话轮数， d为隐藏层维度。我们将历史情感信息和历史决策信息组成序列，经过嵌入层后得到输出结果： H_{\mathrm{e}\mathrm{m}\mathrm{o}}、 H_{\mathrm{c}\mathrm{s}\mathrm{t}}和 H_{\mathrm{s}\mathrm{t}\mathrm{r}}， h_p^n表示占位符的嵌入层结果。

\begin{array}{c}{H}_{\mathrm{e}\mathrm{m}\mathrm{o}}=(h_{\mathrm{e}\mathrm{m}\mathrm{o}}^{\mathrm{1}},h_{\mathrm{e}\mathrm{m}\mathrm{o}}^{\mathrm{2}},\cdots ,h_{\mathrm{e}\mathrm{m}\mathrm{o}}^n)\\ H_{\mathrm{c}\mathrm{s}\mathrm{t}}=(h_{\mathrm{c}\mathrm{s}\mathrm{t}}^{\mathrm{1}},h_{\mathrm{c}\mathrm{s}\mathrm{t}}^{\mathrm{2}},\cdots ,h_{\mathrm{c}\mathrm{s}\mathrm{t}}^{n-\mathrm{1}},h_p^n)\\ H_{\mathrm{s}\mathrm{t}\mathrm{r}}=(h_{\mathrm{s}\mathrm{t}\mathrm{r}}^{\mathrm{1}},h_{\mathrm{s}\mathrm{t}\mathrm{r}}^{\mathrm{2}},\cdots ,h_{\mathrm{s}\mathrm{t}\mathrm{r}}^{n-\mathrm{1}},h_p^n)\end{array} （2）

将嵌入层得到的输出结果，与对应的每一轮对话编码结果进行拼接，得到信息增强后的对话编码结果：融合情感和认知刺激决策信息的对话编码 {\tilde{S}}_{\mathrm{c}\mathrm{s}\mathrm{t}}以及融合情感和情感支持决策信息的对话编码 {\tilde{S}}_{\mathrm{s}\mathrm{t}\mathrm{r}}。

\begin{array}{c}{\tilde{S}}_{\mathrm{c}\mathrm{s}\mathrm{t}}=S\oplus H_{\mathrm{e}\mathrm{m}\mathrm{o}}\oplus H_{\mathrm{c}\mathrm{s}\mathrm{t}}\\ {\tilde{S}}_{\mathrm{s}\mathrm{t}\mathrm{r}}=S\oplus H_{\mathrm{e}\mathrm{m}\mathrm{o}}\oplus H_{\mathrm{s}\mathrm{t}\mathrm{r}}\end{array} （3）

对话是一种具有前后顺序关系和上下文联系的序列，因此，在本研究的标签决策阶段中，采用了长短期记忆网络（LSTM）和Transformer Encoder两种不同结构。

LSTM被视为一种具有时间序列特征的递归神经网络模型，其在模型训练中能够有效地捕获句对之间的时序关联，从而有助于深入理解对话中的上下文语境。将对话编码结果传入LSTM得到结果 G_{\mathrm{c}\mathrm{s}\mathrm{t}}和 G_{\mathrm{s}\mathrm{t}\mathrm{r}}，取其中最后一层的隐含层向量 {\mathit{g}}_{\mathrm{c}\mathrm{s}\mathrm{t}}^n和 {\mathit{g}}_{\mathrm{s}\mathrm{t}\mathrm{r}}^n，经过线性层后得到当前句的决策信息， {\mathit{W}}_l为决策预测权重矩阵：

\begin{array}{c}{G}_{\mathrm{c}\mathrm{s}\mathrm{t}}=\mathrm{L}\mathrm{S}\mathrm{T}\mathrm{M}({\tilde{S}}_{\mathrm{c}\mathrm{s}\mathrm{t}})\\ l_{\mathrm{c}\mathrm{s}\mathrm{t}}=\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}\mathrm{x}(\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}({\mathit{W}}_l{\mathit{g}}_{\mathrm{c}\mathrm{s}\mathrm{t}}^n))\\ G_{\mathrm{s}\mathrm{t}\mathrm{r}}=\mathrm{L}\mathrm{S}\mathrm{T}\mathrm{M}({\tilde{S}}_{\mathrm{s}\mathrm{t}\mathrm{r}})\\ l_{\mathrm{s}\mathrm{t}\mathrm{r}}=\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}\mathrm{x}(\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}({\mathit{W}}_l{\mathit{g}}_{\mathrm{s}\mathrm{t}\mathrm{r}}^n))\end{array} （4）

Transformer Encoder是一种基于自注意力机制的模型，能够通过自注意力有效地建模句子中词与词之间的关系，从而实现对对话信息的深入理解。为了促进Transformer Encoder对句与句关系更为深入地理解，本文采用一个位置编码层 E_p ( h_p ) \in {\mathbb{R}}^{n\times d}表示句对之间的上下文关系，其中 n表示对话轮数， d为隐藏层维度与句子编码器隐藏层向量维度保持一致。将对话编码结果和位置编码结果相加，传入Transformer Encoder得到结果 M_{\mathrm{c}\mathrm{s}\mathrm{t}}和 M_{\mathrm{s}\mathrm{t}\mathrm{r}}，取其中最后一层的隐含层向量 {\mathit{m}}_{\mathrm{c}\mathrm{s}\mathrm{t}}^n和 {\mathit{m}}_{\mathrm{s}\mathrm{t}\mathrm{r}}^n，经过线性层后得到当前句的决策信息， W_l为决策预测权重矩阵：

\begin{array}{c}{H}_p=(h_p^{\mathrm{1}},h_p^{\mathrm{2}},\cdots ,h_p^n)\\ M_{\mathrm{c}\mathrm{s}\mathrm{t}}=\mathrm{T}\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{s}\mathrm{f}\mathrm{o}\mathrm{r}\mathrm{m}\mathrm{e}\mathrm{r}\mathrm{E}\mathrm{n}\mathrm{c}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{r}({\tilde{S}}_{\mathrm{c}\mathrm{s}\mathrm{t}}+H_p)\\ l_{\mathrm{c}\mathrm{s}\mathrm{t}}=\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}\mathrm{x}(\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}({\mathit{W}}_l{\mathit{m}}_{\mathrm{c}\mathrm{s}\mathrm{t}}^n))\\ M_{\mathrm{s}\mathrm{t}\mathrm{r}}=\mathrm{T}\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{s}\mathrm{f}\mathrm{o}\mathrm{r}\mathrm{m}\mathrm{e}\mathrm{r}\mathrm{E}\mathrm{n}\mathrm{c}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{r}({\tilde{S}}_{\mathrm{s}\mathrm{t}\mathrm{r}}+H_p)\\ l_{\mathrm{s}\mathrm{t}\mathrm{r}}=\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}\mathrm{x}(\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}({\mathit{W}}_l{\mathit{m}}_{\mathrm{s}\mathrm{t}\mathrm{r}}^n))\end{array} （5）

针对大语言模型，本文选择中文大语言模型智谱通用语言对话模型（Chat Generative Language Model，ChatGLM）^［21］作为生成模型，并采用基于提示的方法，设计了清晰高效的提示模板，将任务解释和逻辑推理过程设计成提示模板。任务提示模板拼接在每次对话的开始，旨在更有效地引导大语言模型了解决策任务，增进其对标签语义信息的理解。任务提示模板设计如下所示：“你是一个具备认知刺激和情感支持功能的聊天机器人，你的聊天对象是一位老人，你要根据认知刺激策略和情感支持策略选择恰当的回复。现在开始聊天：｛用户输入｝”。对于回复提示模板，本文将三个任务间的逻辑关系，即“根据用户情感和发言决定回复”，视作一个复杂的逻辑思维过程，以此设计提示来引导大语言模型生成。回复模板设计如下：“根据用户发言中的情绪为［｛情感标签｝］，应该选择的认知刺激疗法是［｛原则标签｝］，使用的情感支持策略是［｛策略标签｝］，所以回复为”。随后微调大语言模型，在微调时，模板中的占位符将被替换为具体的标签信息。

多任务融合方法模型图如图4所示。首先，将当前话语通过情感分类得到情感信息。然后，结合当前话语及其历史对话和情感信息通过决策模型得到认知刺激治疗原则与情感支持策略两个决策信息。最后，结合情感分类模型和决策模型的结果，将所有需要的信息嵌入在对话模板中，通过生成模型得到对话回复。

3 实验与分析

3.1　实验设置

在情感分类模型中，我们使用的预训练模型是bert-base-Chinese，设置学习率为 \mathrm{2} \times {\mathrm{10}}^{-\mathrm{5}}。在决策模型中，句子编码器使用的预训练模型是sbert-base-chinese-nli 1

1 https://huggingface.co/uer/sbert-base-chinese-nli

，设置学习率为 \mathrm{2} \times {\mathrm{10}}^{-\mathrm{5}}，LSTM和TransformerEncoder的学习率为 \mathrm{1} \times {\mathrm{10}}^{-\mathrm{4}}，批次大小为8，累积步数是4。情感信息和决策信息编码层向量维度设置为32，输入的最大历史对话长度设置为3轮对话。对于生成模型，我们设计了任务提示模板和回复提示模板，将其添加到ChatGLM的回复模板中，并使用Ptuning方法微调ChatGLM。设置最大序列长度为512，批次大小为16，累积步数为2。

3.2　评价指标

在决策模型的评估中，本研究选用准确率（Accuracy）和F1分数（F1-score）作为主要评价指标。准确率旨在度量模型正确预测标签的数量，而F1分数则综合考虑了精确率和召回率，为模型的综合性能提供了评估标准。

本研究沿用前人的工作，以双语评估替分-4（Bilingual Evaluation Understudy Score based on 4-gram，BLEU-4）^［22］作为评估对话生成质量的指标，BLEU着眼于衡量生成文本与参考文本之间的语义相似性。还引入了召回率导向的摘要评价方法（Recall-Oriented Understudy for Gisting Evaluation，ROUGE）^［23］来评估对话生成质量，ROUGE侧重于评估生成文本对信息的涵盖度和完整性。通常情况下，这两种指标结合使用，以全面评估模型的性能。此外，本研究还统计了基于BERT的文本相似度分数（BERTScore）^［24］，用以度量生成文本与参考文本之间的语义相似性，进一步丰富了评价的维度。

3.3　对比实验

为了全面评估本文提出的决策模型在决策任务上的表现，本研究设计了一系列对比实验，涉及多种深度学习模型，包含基于LSTM构建的决策模型DM_LSTM和基于Transformer Encoder构建的决策模型DM_Transformer。此外，为了确保评估的全面性和深度，本研究还纳入了大语言模型作为决策模型的基线方法。由于大语言模型具有推理能力，所以本文尝试让大语言模型自己担任决策模型的角色。思维链（CoT）^［25］作为一种设计Prompt^［26］的方法，即Prompt中除了有任务的输入和输出外，还包含推理的中间步骤。由于认知刺激对话任务，从输入到输出也存在着逻辑关系，所以本文选择使用CoT的方法，让大语言模型自己作为决策模型，思维链的设计参考2.2节中的回复提示模板。

如表4所示，DM_Transformer和DM_LSTM在两个决策任务的准确率和F1上高于其他基线，由此证明了两种决策模型DM_Transformer和DM_LSTM具备有效性与先进性。

对于对话回复生成任务，本文选择以下基线模型，基线模型均在CSConv数据集上微调：

● CDialGPT^［27］：在大规模高质量中文对话语料库（Large-scale Cleaned Chinese Conversation corpus，LCCC）数据集上训练的生成式预训练模型（Generative Pre-trained Transformer，GPT）模型；

● GPT2-chitchat：在闲聊语料上训练的GPT-2模型；

● Distil-Cluecorpussmall^［28］：一个在CLUECorpusSmall^［29］语料库上训练的6层GPT-2模型，

● Cluecorpussmall^［28］：一个在CLUECorpusSmall^［29］语料库上训练的12层GPT-2模型；

● CSD：Jiang等^［8］提出的中文认知刺激对话系统；

● ChatGLM：中文大语言模型ChatGLM；

● ChatGLM-CoT：通过CoT方法引导的ChatGLM；

如表5所示，CSMI方法的评分高于前人的工作，由此证明多任务融合方法的有效性与先进性。同时，CSMI与不同决策模型的评分随着决策准确率的提升而提高，表明决策信息对于生成模型有着正向的引导作用。但是，CSMI与不同决策模型的评分略低于ChatGLM和CSMI-真实标签的评分，因为如果决策策略与真实值不同，则生成的回复与真实回复会有很大的差异。由此可见，在没有提供真实标签的情况下，学习决策信息是很重要的。

3.4　消融实验

为了进一步验证决策模型和提示模板在大语言模型上的表现，本文设计了一系列消融实验。

本文通过对话编码中是否融入情感信息和决策信息作为控制条件进行实验，表6展示了以LSTM构成的决策模型DM_LSTM，针对每一部分设计，在认知刺激决策任务上的消融实验结果。可以看到，历史对话信息、情感信息和历史决策信息，都对决策模型DM_LSTM产生贡献。其中情感信息和历史决策信息的贡献更为突出，表明模型可以有效地利用情感和决策信息，进一步提升模型决策能力。

本文还通过控制对大语言模型不同的提示模板信息为条件进行实验。如表7所示，加入了回复提示模板微调的模型优于直接微调的模型，可见把三个任务间的推理过程作为回复提示，进一步提高了大语言模型对于标签信息的理解能力。再增加了任务提示模板后，BLEU-4和ROUGE-L分数均又提高了1.5左右，由此证明基于提示的方法可以激发大语言模型对任务深层次的理解和推理能力，表明了基于提示方法的有效性。

3.5　人工评测

对话生成任务中，自动化评测指标往往存在局限性，因为其无法反映出模型所生成的结果与参考目标之间在深层语义及流畅度等方面的差距。因此本文开展了人工评测，从下述三个主要评价角度衡量模型的生成能力：

● 流畅度：机器回复是否流畅并符合中文语法。

● 支持性：模型回复能否提供帮助。

● 决策匹配度：机器回复是否能根据给出的决策信息，生成对应的回复内容。

本文选取CSMI-DM_LSTM作为人工评测的模型对象，保留其在测试集上的生成结果。本研究从测试集中选取了三个出现频次较多的对话主题作为评测内容，分别是出题游戏、回忆过往和分享生活，共三段完整的多轮对话。以上评测标准的衡量标准均为1~5分，分别表示不可接受-优异。本研究邀请5名评测人员参加人工评测，结果如表8所示。总体来看，流畅度和决策匹配度都达到了良好的水平。支持性评分表明，评测人员认为机器在对话中给出的回复可以提供些许帮助。决策匹配度评分相对较高，说明决策信息作为一种指令，可以很好地引导大语言模型生成回复。

3.6　样例分析

本文从测试集生成的结果中选取了一个对话样本作为分析样例，同时保存了其生成时情感分类以及决策的中间结果，如表9所示。老人分享了自己做手工的事情，但是觉得自己做得不完美，给出了“但是我不会搭配颜色，粘得很乱”的回复。对于老人的这一回答，情感分类模型对于当前句分类为伤心，决策模型给出了安慰用户以及提供鼓励的决策结果，生成模型根据以上结果给出回复“没有啊！我觉得很有创意，真是太厉害了”。模型的回复在安慰老人的同时又给出了自己认为很有创意的肯定和鼓励。由此可见，情感信息和决策信息可以作为一种指令，来引导大语言模型生成与它们高度相关的回复。同时也表明了情感和决策判断的正确与否，会对后续生成产生影响。表明了学习情感信息和决策信息的重要性，证明了多任务融合方法的有效性。

4 结论

本文将认知刺激对话任务视为具有分类、决策和生成任务的多任务融合推理过程。设计了带有分层编码器的决策模型。并将情感分类模型、决策模型和生成模型融合到一起，提出多任务融合方法。决策实验以及生成实验，都证明了本研究方法的有效性和先进性。本文研究的这一进展，为认知刺激对话任务提供了新的视角，不仅拓展了对认知刺激对话任务的理解，而且为相关领域的未来研究提供了有价值的参考和启示。同时也为认知刺激对话在结合大型语言模型方面开辟了新的方向。由于我们方法灵活多样，未来将着重设计更加强大的决策模型，并且探索结合不同的大语言模型。这些努力将为中文认知刺激对话任务的发展做出新的贡献。

参考文献

[1] DE OLIVEIRA T C, SOARES F C, DE MACEDO L D, et al. Beneficial Effects of Multisensory and Cognitive Stimulation on Age-related Cognitive Decline in Long-term-care Institutions[J]. Clin Interv Aging, 2014, 9: 309-320. DOI: 10.2147/cia.s54383 .

[2] PARK J M, KIM M W, SHIM H Y. Effects of a Multicomponent Cognitive Stimulation Program on Cognitive Function Improvement Among Elderly Women[J]. Asian Nurs Res (Korean Soc Nurs Sci), 2019, 13(5): 306-312. DOI: 10.1016/j.anr.2019.11.001 .

[3] TOKUNAGA S, SEABORN K, TAMURA K, et al. Cognitive Training for Older Adults with a Dialogue-based, Robot-facilitated Storytelling System[C]//International Conference on Interactive Digital Storytelling. Little Cottonwood Canyon, UT, USA: Springer, Cham, 2019: 405-409. DOI: 10.1007/978-3-030-33894-7_43 .

[4] TOKUNAGA S, TAMURA K, OTAKE-MATSUURA M. A Dialogue-based System with Photo and Storytelling for Older Adults: Toward Daily Cognitive Training[J]. Front Robot AI, 2021, 8: 644964. DOI: 10.3389/frobt.2021.644964 .

[5] SPECTOR A, THORGRIMSEN L, WOODS B, et al. Efficacy of an Evidence-based Cognitive Stimulation Therapy Programme for People with Dementia: Randomised Controlled Trial[J]. Br J Psychiatry, 2003, 183: 248-254. DOI: 10.1192/bjp.183.3.248 .

[6] 艾米·斯佩克特, 琳恩·索格林森, 鲍勃·伍兹, 认知刺激治疗Cst:为认知障碍症设计的循证小组活动(导师手册)[M]. 黄凯茵, 译. 香港: 香港大学出版社, 2017.

[7] NAVARRO J, DOCTOR F, ZAMUDIO V, et al. Fuzzy Adaptive Cognitive Stimulation Therapy Generation for Alzheimer's Sufferers: Towards a Pervasive Dementia Care Monitoring Platform[J]. Future Gener Comput Syst, 2018, 88: 479-490. DOI: 10.1016/j.future.2018.06.018 .

[8] JIANG J Y, WANG S, LI Q T, et al. A Cognitive Stimulation Dialogue System with Multi-source Knowledge Fusion for Elders with Cognitive Impairment[C]//Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). Stroudsburg, PA, USA: Association for Computational Linguistics, 2023: 10628-10640. DOI: 10.18653/v1/2023.acl-long.593 .

[9] LIU S, ZHENG C, DEMASI O, et al. Towards Emotional Support Dialog Systems[C]//Proceedings of the 59th Annual Meeting of the ACL and the 11th IJCNLP (Volume 1: Long Papers). Pennsylvania, USA: ACL Anthology, 2021: 3469-3483. DOI: 10.18653/v1/2021.acl-long.269 .

[10] RYU H, KIM S, KIM D, et al. Simple and Steady Interactions Win the Healthy Mentality[J]. Proc ACM Hum-Comput Interact, 2020, 4(CSCW2): 1-25. DOI: 10.1145/3415223 .

[11] VALTOLINA S, HU L. Charlie: a Chatbot to Improve the Elderly Quality of Life and to Make them more Active to Fight Their Sense of Loneliness[C]//CHItaly 2021: 14th Biannual Conference of the Italian SIGCHI Chapter. New York: ACM, 2021: 10.1145/3464385.3464726. DOI: 10.1145/3464385.3464726 .

[12] LEE M H, ACKERMANS S, VAN AS N, et al. Caring for Vincent: a Chatbot for Self-compassion[C]//Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems. New York: ACM, 2019: 10.1145/3290605.3300932. DOI: 10.1145/3290605.3300932 .

[13] SHARMA A, LIN I W, MINER A S, et al. Towards Facilitating Empathic Conversations in Online Mental Health Support: A Reinforcement Learning Approach[C]//Proceedings of the Web Conference 2021. New York: ACM, 2021: 194-205. DOI: 10.1145/3442381.3450097 .

[14] SHARMA A, MINER A, ATKINS D, et al. A Computational Approach to Understanding Empathy Expressed in Text-based Mental Health Support[C]//Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP). Stroudsburg, PA, USA: Association for Computational Linguistics, 2020: 5263-5276. DOI: 10.18653/v1/2020.emnlp-main.425 .

[15] RASHKIN H, SMITH E M, LI M, et al. Towards Empathetic Open-domain Conversation Models: A New Benchmark and Dataset[C]//Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. Stroudsburg, PA, USA: Association for Computational Linguistics, 2019: 5370-5381. DOI: 10.18653/v1/p19-1534 .

[16] KIM J, SHIN E, HAN K, et al. Efficacy of Smart Speaker-based Metamemory Training in Older Adults: Case-control Cohort Study[J]. J Med Internet Res, 2021, 23(2): e20177. DOI: 10.2196/20177 .

[17] DEVLIN J, CHANG M W, LEE K, et al. BERT: Pre-Training of Deep Bidirectional Transformers for Language Understanding[C]//Proceedings of the 2019 Conference of the NAACL: Human Language Technologies, Volume 1 (Long and Short Papers). Minneapolis, USA: ACL Anthology, 2019: 4171-4186. DOI: 10.18653/v1/N19-1423 .

[18] SHI X J, CHEN Z R, WANG H, et al. Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting[C]//NIPS'15: Proceedings of the 29th International Conference on Neural Information Processing Systems. Montreal, Canada: ML Research Press, 2015: 802-810.

[19] VASWANI A, SHAZEER N, PARMAR N, et al. Attention is All You Need[J]. Adv Neural Inf Process Syst, 2017: 6000-6010. DOI: 10.5555/3295222.3295349 .

[20] REIMERS N, GUREVYCH I. Sentence-BERT: Sentence Embeddings Using Siamese BERT-networks[C]//Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP). Stroudsburg, PA, USA: Association for Computational Linguistics, 2019: 3982-3992. DOI: 10.18653/v1/d19-1410 .

[21] DU Z X, QIAN Y J, LIU X, et al. GLM: General Language Model Pretraining with Autoregressive Blank Infilling[C]//Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). Stroudsburg, PA, USA: Association for Computational Linguistics, 2022: 320-335. DOI: 10.18653/v1/2022.acl-long.26 .

[22] PAPINENI K, ROUKOS S, WARD T, et al. BLEU: a Method for Automatic Evaluation of Machine Translation[C]//Proceedings of the 40th Annual Meeting on Association for Computational Linguistics-ACL '02. Morristown, NJ, USA: Association for Computational Linguistics, 2001: 311-318. DOI: 10.3115/1073083.1073135 .

[23] ZHANG T Y, KISHORE V, WU F, et al. BERTScore: Evaluating Text Generation with BERT[EB/OL]. (2020-02-24)[2024-03-28].

[24] WEI J, WANG X Z, SCHUURMANS D, et al. Chain of Thought Prompting Elicits Reasoning in Large Language Models[EB/OL]//NIPS'22: 36th International Conference on Neural Information Processing Systems. New Orleans LA USA:Curran Associates Inc. 2022, 35: 24824-24837. DOI:10.5555/3600270.3602070 .

[25] LIU P F, YUAN W Z, FU J L, et al. Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing[J]. ACM Comput Surv, 2023, 55(9): 1-35. DOI: 10.1145/3560815 .

[26] WANG Y, KE P, ZHENG Y, et al. A Large-scale Chinese Short-text Conversation Dataset[C]//Natural Language Processing and Chinese Computing: 9th CCF International Conference, NLPCC 2020. Zhengzhou, China, 2020, Proceedings, Part I 9: Springer, 2020: 91-103. DOI: 10.1007/978-3-030-60450-9_8 .

[27] XU L, ZHANG X W, DONG Q Q. CLUECorpus2020: a Large-scale Chinese Corpus for Pre-training Language Model[EB/OL]. (2020-03-05)[2024-03-28].

[28] RADFORD A, WU J, CHILD R, et al. Language Models are Unsupervised Multitask Learners[J]. OpenAI blog, 2019, 1(8): 9.

基金资助

北京市自然科学基金(4242019)