基于语码转换的低资源语言视觉问答方法研究

摘要

为解决视觉语言模型面对低资源场景缺乏大规模标注数据和有效迁移方法的困境，提出了基于语码转换的中国民族语言预训练模型视觉问答（CCMPLM-VQA）方法.通过语码转换跨语言掩码建模方法，降低了模型对标注训练数据的依赖，同时引入全新结构的语言适配器（language adapter,LA），有效提升了CCMPLM-VQA多模态对齐效果；验证了所提方法的有效性.结果表明：相较最佳基准模型，CCMPLM-VQA在现实世界通用视觉推理数据集上的零样本性能提升了约12%；在跨语言现实世界通用视觉推理数据集上的零样本性能优于现有类似方法约1%.

关键词

低资源语言 / 视觉问答 / 语码转换 / 知识蒸馏 / 跨模态语义对齐

基金资助

海南省自然科学基金重点研发计划资助项目（ZDYF2024(LALH)005）; 国家社会科学基金资助项目（24VJXG063）