医学视觉问答中图像与答案一致性验证方法研究

摘要

针对医学视觉问答(medical visual question answering, Med-VQA)中多模态特征融合不足和图像答案不匹配导致模型准确率不高的问题，构建了图像答案一致性验证(image and answer consistency verification, IACV)模型。在预训练阶段，通过结合多个预训练任务，增强模型的多模态特征提取与融合能力。在微调阶段，利用部位信息对图像进行部位划分，生成答案掩码矩阵，并对最终答案进行一致性验证，从而提升模型准确率。实验结果表明，IACV模型在公共数据集VQA-RAD和SLAKE上的准确率分别达到78.9%和84.6%,显著提高了Med-VQA任务的准确性，为后续的应用提供了更可靠的支持。

关键词

医学视觉问答(Med-VQA) / 答案掩码矩阵 / 一致性验证 / 预训练

基金资助

国家自然科学基金项目（81860318）; 昆明理工大学人才引进研究基金项目（KKZ3202203020）