基于多模态检索增强自适应的高原肺水肿视觉问答模型构建

摘要

目的 构建基于多模态检索自适应的高原肺水肿(High altitude pulmonary edema, HAPE)视觉问答HAPE-VQA模型，缓解多模态大模型领域知识匮乏、生成幻觉严重及部署成本高的问题。方法 本研究回顾性收集2022年3月至2024年6月在新疆军区总医院确诊为HAPE患者的胸部X线及CT影像资料。基于214例HAPE患者图文数据，采用双盲法标注，构建943个问答对，包含封闭式问题521个，开放式问题422个。采用微调的通义千问视觉语言指令模型(Qwen2.5-VL-3B-Instruct)作为多模态大模型基座，两阶段低秩适应(Low-rank adaptation, LoRA)参数微调；构建HAPE专属知识库，并通过引入多模态检索增强生成(Retrieval-augmented generation, RAG),为模型回答提供事实依据；设计无训练依赖的自适应上下文检索模块，动态平衡信息覆盖与噪声过滤。基于放射学问答数据集(Visual question answering in radiology, VQA-RAD)、语义标注知识增强型医学视觉问答数据集(Semantically-labeled knowledge-enhanced, SLAKE)及本研究构建的HAPE数据集开展对比实验，消融实验验证模型构建的有效性，采用准确率和自然语言生成指标(ROUGE-L、BLEU和METEOR)评价模型的整体性能。结果 在VQA-RAD和SLAKE两个公开基准数据集上，HAPE-VQA的总体准确率分别达到81.2%和81.3%,优于对比的传统深度学习方法与主流多模态大模型；在本研究构建的HAPE数据集上，模型准确率达到93.5%;消融实验结果显示，采用Qwen2.5-VL-3B-Instruct作为基座模型，指标ROUGE-L、BLEU和METEOR分别有较大提升，采用LoRA微调和RAG均提升了模型准确率。结论 本研究模型在保持轻量性的同时，提升了HAPE场景下的问答准确率与事实一致性，有效缓解了生成幻觉问题，可为高原地区基层医疗机构提供实用的智能辅助诊断工具。

关键词

高原肺水肿 / 视觉问答 / 参数微调 / 检索增强生成

基金资助

国家自然科学基金项目(62563036); 新疆维吾尔自治区自然科学基金项目(2024D01C126)