基于LSTM的藏语语言模型构建方法

摘要

语言模型是自然语言处理领域中的一种重要技术，其目标是理解和生成自然语言.基于Transformer框架的预训练语言模型在自然语言处理任务中展现了出色的性能，但因其结构复杂和参数量庞大，限制了在低资源语言中的应用.长短期记忆网络(LSTM)结构简单，参数量较少，而且能够捕捉序列之间的长距离依赖关系，基于其建立的语言模型具有良好的性能.因此，本文研究了基于LSTM的藏语语言模型构建方法，实验表明，经超参数优化后的基于LSTM的藏语语言模型能表现出良好性能.

关键词

自然语言处理 / 藏语 / 语言模型 / LSTM / 超参数

基金资助

国家自然科学基金项目(61866032,61966031); 青海省科技厅资助项目(2019-SF-129); “长江学者和创新团队发展计划”创新团队资助项目(IRT1068); 藏文信息处理教育部重点实验室项目(2013-Z-Y17,2014-Z-Y32,2015-Z-Y03); 青海省藏文信息处理与机器翻译重点实验室项目(2020-ZJ-Y05)