求助者动态模拟驱动的情感支持对话评估

摘要

近年来，许多研究关注情感支持模型的设计，但模型评估方法限于文本生成任务的通用指标，并不能直观反映真实交互中的情感支持能力.一些研究通过开展人工交互式评估弥补这一缺陷，然而需要的成本过大.为了自动化衡量情感支持能力，本文设计了一种能够模拟情感支持交互过程的评估方法，提出基于求助者状态的模拟模型SeekerView,通过模型预测求助者的情绪状态并基于此生成具体的对话内容，进而设计出更符合情感支持任务的评估指标，例如对话轮数、求助者情绪缓解度变化值等.同时本文对7个大模型开展评估实验，相比其他评估方法，本文设计的评估指标与人工评估中温情度和情感验证能力两个维度的分数呈现更高的一致性.

关键词

情感支持对话 / 大语言模型 / 自动化评估 / 对话模拟