基于TiBERT标签修复交替网络的藏语语言理解方法

摘要

预训练语言模型在下游自然语言理解任务中表现出色，能够从大规模无标注文本数据中自动学习通用语法和语义特征。然而，现有的大多数预训练语言模型和跨语言模型尚未覆盖藏语等少数民族语言，导致其在相关语言任务上的表现有限。近年来，以SimCSE为代表的对比学习方法通过构建正负样本对来实现无监督表征学习。然而，简单的样本构造策略可能会导致语义相近的正对数据被错误地划分为负对数据。针对上述问题，文章提出了一种基于BERT的标签修复交替学习网络。该网络通过交替训练两个相同的BERT模型对藏语句子进行编码，并基于编码结果动态优化正负样本划分策略，从而获得更具区分性的特征表示。在藏语文本相似度匹配数据集上的实验评估结果显示，所提方法在处理相似对与错负对时具有较强的清理能力。进一步地，在文本分类和文本相似度匹配两个下游理解任务上的实验验证了该方法的优越性。最后，消融实验也证实了各个模块的有效性，整体上体现了所提方法的综合优势。

关键词

预训练模型 / 藏语文本分类 / 藏语相似度匹配 / 交替学习

基金资助

西藏自治区科技计划项目（XZ202202YD0015C）