基于Transformer和CNN的恶意代码分类方法

摘要

针对现有基于CNN的恶意代码分类方法存在训练成本高以及少数类分类准确率低的问题，结合CNN和Transformer的特点提出了基于改进MobileVit的恶意代码分类方法 .首先，采用恶意代码可视化的样本预处理方法，加快模型收敛；然后，结合CNN和自注意力机制，提出了基于代价敏感性的MobileVit模型，通过改进Transformer encoder结构和加入Focal Loss方法，降低模型的训练成本，在提高模型对恶意代码样本表征能力的同时，保证模型对少数类的关注.实验表明，在网络层数、参数数量明显减少的情况下，改进后的MobileVit模型在准确率上依然能保持优势，在微软恶意代码分类数据集上准确率最高达到98.88%，相比于未修改的模型，在精确率、召回率和F1分数上分别提高了1.7%、2.0%和2.1%.模型对大型恶意家族预测准确率保持在99%以上的同时，对小型恶意家族的准确率最高提高了17%.

关键词

恶意代码分类 / 注意力机制 / 数据不平衡 / MobileVit