基于NLP和图像分类模型的中文科技文献双模态分类方法

摘要

随着当前对科技文献管理和组织要求的急剧增加，对于更为可扩展、精确且自动化的文献分类方式的需求也更高.为了有效应对海量科技文献数据的分析难题，提出了融合YOLOv7图像分类模型和自然语言处理(NLP)模型的多模态文献分析引擎.该架构充分挖掘文档中的自然语言文本、描述性图像以及两者间的内在关联这3种关键信息，通过综合训练流程整合不同模态的深度学习网络，达成相较于单模态分类方法更优的分类精准度.同时，将所提方法应用到中文科技文献数据集，并依据中图分类号对文献进行了分类训练.结果表明，所提双模态文献分类方法具有更高的分类准确性，有助于企事业单位和研究机构在数据与知识管理方面的效率提升.

关键词

科技文献分类 / 图像分类 / 多模态特征 / 自然语言处理 / 深度学习 / YOLOv7

基金资助

国家自然科学基金面上资助项目(61976149); 浙江省自然科学基金重点资助项目(Z20F020008); 浙江省普通本科高校“十四五”教学改革资助项目(jg20220563); 2025年度浙江省自然科学基金资助项目(LMS25A010011); 浙江省科技厅软科学研究计划资助项目(2025C35030)