噪声标签回归的泛化误差估计及过滤算法

摘要

当回归数据中存在数值型标签噪声时，传统泛化误差估计方法不再适用，回归模型的泛化性能缺乏保障.本文提出一种面向标签噪声的回归模型泛化误差估计方法，并设计了自适应高斯核噪声估计与样本召回过滤(adaptive Gaussian kernel noise estimator and sample recall filtering, AGKSRF)算法.在所提Craven-Wahba(CW)泛化误差估计的基础上，提出一种CW样本选择框架.基于最大后验估计思想和自适应近邻方法，提出标签噪声的自适应高斯核(adaptive Gaussian kernel, AGK)估计方法.结合所提框架，AGKSRF首先过滤大噪声样本，同时考虑到初次过滤时可能有部分干净样本被误删，AGKSRF根据模型在过滤样本上的误差对样本进行召回再过滤.标准数据集上的实验结果表明，AGKSRF降低模型误差的能力提升了6～51个百分点.AGKSRF还可以识别年龄估计数据上的错误标签.因此，AGKSRF算法可以有效提升数据质量.

关键词

噪声标签回归 / 泛化误差估计 / 自适应高斯核估计 / 样本召回过滤

基金资助

国家自然科学基金项目(62276161,U21A20513,62076154,61906113)资助; 山西省重点研发计划项目(202202020101003,202302010101007)资助