中文多模态知识库构建

晁睿, 张坤丽, 王佳佳, 胡斌, 张维聪, 韩英杰, 昝红英

广西师范大学学报(自然科学版) ›› 2022, Vol. 40 ›› Issue (03) : 31 -39.

PDF
广西师范大学学报(自然科学版) ›› 2022, Vol. 40 ›› Issue (03) : 31 -39. DOI: 10.16088/j.issn.1001-6600.2021091504

中文多模态知识库构建

作者信息 +

Author information +
文章历史 +
PDF

摘要

多模态融合旨在将多个模态信息整合以得到一致、公共的模型输出,是多模态领域的一个基本问题。通过多模态信息的融合能获得更全面的特征并且提高模型鲁棒性,目前多模态融合技术已成为多模态领域核心研究课题之一。本文基于ImageNet、HowNet和CCD,通过人工标注构建了一个新的多模态知识库,已完成校准ImageNet中21 455个名词及动词概念的映射,有效地将HowNet以及CCD中概念映射到ImageNet中。该数据集能够应用于自然语言处理任务和计算机视觉任务,并通过图片信息和概念信息提高任务效果。在图片分类中,通过增加HowNet和ImageNet概念能够融合更多的图片特征来辅助分类;在语义理解中,通过映射增加图片信息可以更好地理解语义。

关键词

多模态信息 / 多模态融合 / ImageNet / HowNet / CCD

Key words

引用本文

引用格式 ▾
晁睿, 张坤丽, 王佳佳, 胡斌, 张维聪, 韩英杰, 昝红英. 中文多模态知识库构建[J]. 广西师范大学学报(自然科学版), 2022, 40(03): 31-39 DOI:10.16088/j.issn.1001-6600.2021091504

登录浏览全文

4963

注册一个新账户 忘记密码

参考文献

AI Summary AI Mindmap
PDF

95

访问

0

被引

详细

导航
相关文章

AI思维导图

/