基于改进的Transformer模型的文档识别与分类研究

摘要

针对电力行业高压客户业务扩充工程中对海量文档的自动化处理需求，本文提出了一种改进的转换器（Transformer）模型方法。该研究在位置编码、注意力机制及多模态融合3个层面进行了针对性优化，并在大规模异构文档集上进行了系统性实验。结果显示：相比传统深度学习模型和原始Transformer,改进模型在准确率、精确率、召回率与F₁分数等指标上均取得了显著提升，为电力行业文档的高效利用奠定了可靠的技术支撑，同时也为其他领域的文档识别与分类任务提供了可行的参考路径。

关键词

深度学习 / 文档识别 / 人工智能 / 转换器(Transformer)