多样性引导的深度神经网络测试用例生成方法

摘要

基于覆盖引导的模糊测试(Coverage-Guided Fuzzing, CGF)广泛应用于深度神经网络(DNN)测试，通过生成覆盖率高的衍生测试样本以提升模型的测试充分性.已有CGF方法侧重覆盖率和对抗成功率，较少考虑样本的多样性和模型鲁棒性提升.本文提出了一种基于多样性引导的深度神经网络测试用例生成方法DeepGA,旨在有限时间内生成多样化的测试用例，并评估和提升模型的鲁棒性.该方法从训练集中提取代表性的图像特征分布构建聚簇中心，以最大化多样性轮廓系数作为目标函数，通过遗传算法和模糊测试的思想对初始种子集群采用真实的图像变异策略，迭代生成与不同类别在特征分布上相似的测试用例图像.为了验证所提方法的有效性，本文基于4个DNN模型和3种不同的数据集进行了实验，结果表明DeepGA可以生成多样化的测试用例，并且生成测试用例可用于重训练以进一步提高被测模型的鲁棒性.在鲁棒性提升方面，与基于6种覆盖引导的测试用例生成方法对比，准确率最高提升了11.44%.

关键词

覆盖引导的模糊测试 / 深度神经网络测试 / 鲁棒性 / 测试用例生成

基金资助

国家自然科学基金项目(62072233,U2241216)资助; 航空科学基金项目(201919052002)资助