藏文句向量预训练模型在嵌入式系统中的应用研究

摘要

本文研究了将藏文句向量预训练模型部署到嵌入式系统上进行推理和测试的问题.在机器学习中，对文本进行编码和表征存在困难，因此句向量技术成为自然语言处理领域的重要研究方向.然而，在藏文自然语言处理领域，句向量研究相对较少.为此，本文分析了藏文领域已有的预训练模型和句向量表示方法，并设计了一种改进的无监督SimCSE方法(Improved Simple Contrastive Learning of Unsupervised Sentence Embeddings, I-SimCSE).实验结果显示，使用I-SimCSE方法得到的藏文句向量模型性能优于其他方法.同时，本文探讨了边缘计算与预训练模型相结合的应用，并讨论了预训练语言模型在嵌入式系统上的潜在应用场景.最后，本文将I-SimCSE句向量模型部署在嵌入式设备Jetson TX1上，并测试了其平均单次推理时间，结果表明在嵌入式系统上部署预训练语言模型进行推理是可行的.综上所述，本文的研究对于藏文句向量预训练模型在嵌入式系统上的应用研究提供了有益的参考，并为未来藏文大模型在嵌入式系统的发展提供了指导和启示.

关键词

藏文 / 句向量表示 / 嵌入式系统 / 预训练模型

基金资助

国家重点研发计划项目(2020YFC0832500)资助; 国家自然科学基金项目(61402210)资助; 国家自然基金项目(62266037)资助