基于消融分析的卷积神经网络可解释性分析

摘要

针对基于类激活映射(CAM)的可解释性方法因受到与目标类别无关特征的干扰，导致可视化结果中含有较多噪声及对目标物体定位精度较低的问题，提出一种基于消融分析的卷积神经网络(CNN)可视化方法.先通过消融实验考察深层网络特征与目标类别的相关性并计算特征融合权重；再通过ReLU或Softmax函数对融合权重进行修正，以减少无关特征的干扰，得到定位精度更高的类激活图，从而对网络决策做出有效说明.在验证集ILSVRC 2012上使用多种评估指标进行验证，实验结果表明，该方法在各项指标上均取得了更好的模型解释能力.

关键词

可解释性 / 卷积神经网络 / 消融分析 / 深度学习