基于主题感知的跨模态序列到序列生成模型

张旭; 王旭强; 田雨婷; 杨青; 孟洁

doi:10.16452/j.cnki.sdkjzk.2021.03.009

山东科技大学学报（自然科学版） ›› 2021, Vol. 40 ›› Issue (03) : 71 -79. DOI: 10.16452/j.cnki.sdkjzk.2021.03.009

基于主题感知的跨模态序列到序列生成模型

张旭, 王旭强, 田雨婷, 杨青, 孟洁

作者信息 +

Author information +

文章历史 +

PDF (1820K)

摘要

结构化数据和非结构化文本被视为两种不同的模态。数据到文本生成是自然语言生成领域中一个重要的跨模态任务,该任务的目标是对于给定的结构化数据,生成一段文本用以描述结构化数据中包含的关键信息。近年的研究工作通常关注于描述性文本的生成,虽然取得了一定的研究进展,但仅能做到信息的传递而不能带来任何增益。为解决这一问题,本研究数据到分析性文本的生成,并针对该任务提出一个基于主题感知的跨模态序列到序列模型。该模型在编码器-解码器结构的基础上,引入数据表的主题信息以保证生成文本与数据表之间的主题一致性,提高生成文本的质量。为验证模型的性能,提出两个真实数据集,并与其他6个模型进行对比实验,结果表明,提出的模型取得了最好的性能。