知识增强和多任务学习的中文毒性言论细粒度检测

摘要

社交网络为用户提供线上交流环境的同时也滋生了大量毒性言论，是网络暴力事件的重要组成部分，现有毒性言论检测技术大多为针对英文文本的二分类检测，存在无法有效检测中文细粒度毒性言论的问题.因此，提出基于知识增强和多任务学习的中文毒性言论细粒度检测模型.首先提出一种知识增强方法，在RoBERTa嵌入层中根据侮辱词典识别毒性言论中的有毒词汇并置于句尾，采用位置编码融合其位置信息，并将其对应的实体类型融入网络中，建立有毒词汇与嵌入向量的联系.而后在下游任务处根据多任务学习思想，对各项任务进行决策融合，运用注意力机制和门控单元将各个粒度任务的向量融合，联合各分类器损失，构建任务之间的联系.实验结果表明，与现有的先进模型相比，该模型表现更佳，各个粒度的检测任务的F1值分别高出0.6%、9.8%、4.1%和5.8%.

关键词

RoBERTa / 知识增强 / 多任务学习 / 毒性言论检测