无监督环境下改进Q-learning算法在网络异常诊断中的应用

摘要

针对无监督环境下传统网络异常诊断算法存在异常点定位和异常数据分类准确率低等不足，通过设计一种基于改进Q-learning算法的无线网络异常诊断方法：首先基于ADU(Asynchronous Data Unit异步数据单元)单元采集无线网络的数据流，并提取数据包特征；然后构建Q-learning算法模型探索状态值和奖励值的平衡点，利用SA(Simulated Annealing模拟退火)算法从全局视角对下一时刻状态进行精确识别；最后确定训练样本的联合分布概率，提升输出值的逼近性能以达到平衡探索与代价之间的均衡。测试结果显示：改进Q-learning算法的网络异常定位准确率均值达99.4%，在不同类型网络异常的分类精度和分类效率等方面，也优于三种传统网络异常诊断方法。

关键词

无监督 / 改进Q-learning / ADU单元 / 状态值 / 联合分布概率

基金资助

安徽省高等学校自然科学重点研究项目“发展新质生产力背景下云计算虚拟机安全性改进策略研究”（2024AH051836）; 安徽省高校理工科教师赴企业挂职实践项目“宿州数字奇安技术有限公司”（2024jsqygz182）; 安徽省高等学校省级质量工程项目“计算机网络基础”（2023hxkc129）