多元化藏文问答数据集构建方法研究

马光祥; 刘鹏飞; 胡宝; 才让卓玛

doi:10.16249/j.cnki.2096-4617.2025.03.013

高原科学研究 ›› 2025, Vol. 9 ›› Issue (3) : 120 -129. DOI: 10.16249/j.cnki.2096-4617.2025.03.013

多元化藏文问答数据集构建方法研究

马光祥, 刘鹏飞, 胡宝, 才让卓玛

作者信息 +

Author information +

文章历史 +

摘要

藏文自动问答研究对藏语自然语言处理、计算语言学、知识工程、跨语言信息处理等人工智能交叉领域的发展具有重要意义。问答数据集是自动问答的研究基础，但当前藏文问答数据集构建方式单一且开源藏文问答数据稀缺。为此，文章通过深入对比分析国内外公开数据集，提出多元化藏文问答数据集构建方法。首先，从藏文网站和非藏文数据源收集整理不同的问答数据，拓展藏文问答数据的数据源。其次，通过融合微博对话数据、专业领域问答数据及面向机器阅读理解的问答数据，增强藏文问答数据领域的多样性。最后，通过综合应用网络爬取、BERT情感分类、翻译非藏文问答数据、正则化并校正藏文问答数据，以多元化方法构建了包含84 118对问答语料的藏文问答数据集。将构建的数据集用于模型训练，并对模型性能进行了验证。结果表明，构建的数据集在Seq2Seq模型上分别实现了44.12%的BLEU和78.63%的EmbAve，较基线数据集Qingyun(BLEU为43.16%、EmbAve为77.21%)分别提升了0.96和1.42个百分点，充分验证了其在问答生成任务中的有效性。