基于深度网络模型压缩的广告点击率预估模型

摘要

针对广告点击率预估模型难以有效捕捉高阶特征组合的非线性关系且模型复杂度较高、实际应用困难的问题,从模型预估准确度和模型实用性出发,提出了基于深度网络模型压缩的广告点击率预估模型。该模型无需特征工程,利用多头注意力机制对全局特征的有效采样与预组合,结合深度神经网络(DNN),更好地捕捉全局高阶特征组合的非线性关系;结合残差网络对复杂网络的优势,提高深度神经网络的收敛效率,避免模型过拟合;经模型蒸馏得到轻量化模型,可以更好地应用于实际场景。在Avazu数据集上实验表明,该模型的预估准确率和运行速度均有优异表现。

关键词

点击率预估 / 深度学习 / 模型蒸馏 / 多头注意力机制 / 残差网络