基于局部相关性的kNN分类算法

摘要

kNN算法作为一种简单、有效的分类算法,在文本分类中得到广泛的应用。但是在k值(通常是固定的)的选取问题上通常是人为设定。为此,本文引入了重构和局部保持投影(locality preserving projections,LPP)技术用于最近邻分类,使得k值的选取是由样本间的相关性和拓扑结构决定。该算法利用l1-范数稀疏编码方法使每个测试样本都由它的k(不固定)个最近邻样本来重构,同时通过LPP保持重构前后样本间的局部结构不变,不仅解决了k值的选取问题,并且避免了固定k值对分类的影响。实验结果表明,该方法的分类性能优于经典kNN算法。

关键词

kNN / 保局投影 / 重构 / 稀疏编码

基金资助

国家自然科学基金资助项目(61573270,61263035,61363009); 国家973计划项目(2013CB329404); 广西自然科学基金资助项目(2012GXNSFGA060004,2015GXNSFCB139011); 中国博士后科学基金资助项目(2015M570837); 广西多源信息挖掘与安全重点实验室开放基金资助项目(MIMS13-08)