基于低维二阶马尔可夫矩阵的加密流量分类方法

摘要

网络流量加密在增强了通信安全与隐私保护的同时，也为恶意流量检测带来了新的挑战.近年来随着机器学习在各领域成功应用，其也被应用于加密流量分类中，但传统特征提取方法可能会导致流量中重要信息丢失或无效信息冗余，阻碍了分类精度与效率的进一步提升.本文提出一种基于低维二阶马尔可夫矩阵的加密流量分类方法 LDSM，用以筛选表征能力强的流量特征，从而优化模型分类效果.首先，提取加密流量中有效负载，根据其十六进制字符空间分布构建二阶马尔可夫矩阵；其次，通过计算状态转移概率矩阵中各特征的基尼增益，迭代删除对模型训练贡献最低的特征，取模型分类准确率最高的特征集合作为低维二阶马尔可夫矩阵特征；最后，通过实验验证低维二阶马尔可夫矩阵特征的模型训练能力.实验中构建了Scikit-learn的实验环境，采用两个公开数据集CTU-13和CIC-IDS2017，实现对加密流量的分类任务，特征降维实验结果表明，LDSM方法将二阶马尔可夫矩阵特征降维至256个特征时分类效果最佳，特征降维后仅为原特征数量的6.25%，保证模型分类精度的同时提升了模型训练效率；与其他方法对比实验结果表明，LDSM方法流量分类的平均准确率达到98.51%，与其他方法相比，分类准确率提高3%以上，所以LDSM方法对于加密流量分类是可行且有效的.

关键词

加密流量 / 机器学习 / 马尔可夫 / 基尼增益 / 特征降维