基于特征优化与多模态融合的肺炎检测模型研究

陆建波; 宋智; 于苗淼; 姚媛; 王晓晨

doi:10.13624/j.cnki.issn.1001-7445.2026.0649

广西大学学报（自然科学版） ›› 2026, Vol. 51 ›› Issue (3) : 649 -664. DOI: 10.13624/j.cnki.issn.1001-7445.2026.0649

基于特征优化与多模态融合的肺炎检测模型研究

陆建波, 宋智, 于苗淼, 姚媛, 王晓晨

作者信息 +

Author information +

文章历史 +

摘要

在对胸透影像进行肺炎检测的过程中，针对因肺炎症状的多样性与影像的复杂性导致的漏诊、误诊或无法确诊的问题，以及胸透影像与诊断报告的高维特征处理耗时久、肺炎预测准确率不高的问题，提出一种基于特征优化与多模态融合的肺炎检测模型：采用增强适应性的二进制灰狼优化（EABGWO）与轻量化Transformer组合的方案对图像特征进行提取优化；采用自适应权重融合文本报告中“发现”与“结论”内容，结合BERT模型与递归特征消除（RFE）进行文本特征的提取与降维。基于影像与文本模态信息差异显著的特点，提出使用带残差及文本增强的交叉注意力机制进行特征融合。在MIMIC-CXR数据集上进行了肺炎分类实验，F₁值达到99.92%;其次，进行Grad-CAM++热力图与SHAP分析提升了模型的可解释性。实验结果表明，该模型预测准确率优良、处理高效且结果可解释。