医学视觉问答中的问题类型与答案一致性校验

摘要

医学视觉问答(Med-VQA)旨在根据医学影像内容准确回答临床问题，具有巨大应用潜力.现有Med-VQA方法大都统一处理开放式问题和封闭式问题，忽略了问题的复杂多变性，导致模型准确率较低.同时，受语言先验影响，模型容易利用数据集中问答对的分布规律，削弱了问题与答案的深层关系，导致出现答非所问现象.针对以上问题，本文提出一种即插即用的细粒度问题类型与答案一致性校验方法.首先，识别输入问题为开放式或封闭式类型以实现参数不共享的独立推理；然后，对开放式问题细粒度分类以进一步捕获复杂开放式问题对答案的约束关系；最后，根据问题类型生成答案掩码掩盖无关答案，实现问题类型与答案的一致性校验，进而缓解答非所问现象.在公共数据集SLAKE和VQA-RAD上的实验结果表明，本文方法能有效提高Med-VQA准确率.

关键词

医学视觉问答 / 细粒度问题类型 / 答案掩码 / 一致性校验

基金资助

国家自然科学基金项目(81860318)资助; 昆明理工大学引进人才科研启动基金项目(KKZ3202203020)资助