基于NLP和图像分类模型的中文科技文献双模态分类方法

摘要

随着当前对科技文献管理和组织要求的急剧增加，对于更为可扩展、精确且自动化的文献分类方式的需求也更高.为了有效应对海量科技文献数据的分析难题，提出了融合YOLOv7图像分类模型和自然语言处理(NLP)模型的多模态文献分析引擎.该架构充分挖掘文档中的自然语言文本、描述性图像以及两者间的内在关联这3种关键信息，通过综合训练流程整合不同模态的深度学习网络，达成相较于单模态分类方法更优的分类精准度.同时，将所提方法应用到中文科技文献数据集，并依据中图分类号对文献进行了分类训练.结果表明，所提双模态文献分类方法具有更高的分类准确性，有助于企事业单位和研究机构在数据与知识管理方面的效率提升.

关键词

科技文献分类 / 图像分类 / 多模态特征 / 自然语言处理 / 深度学习 / YOLOv7