结合光流融合特征与自监督学习的微表情识别

摘要

针对微表情样本数目少且难以找到其光流融合特征对应源域的问题，提出了基于自监督学习的微表情识别方法。该方法包括自监督对比学习阶段和分类阶段。从微表情运动幅度低的特点出发，设计了双端运动信息提取策略，自监督对比学习阶段，设计了Inception结构结合瓶颈注意模块的特征提取网络以学习到丰富的特征表示；分类阶段，利用余弦距离引入宏表情的光流融合特征，与微表情光流融合特征分支相结合以补充运动信息。在CASME II和SAMM数据集上进行实验，识别精度分别达到0.734 9、0.580 8。实验结果表明，提出方法与基线方法和其他先进方法相比，可以获得良好的识别性能。

关键词

微表情识别 / 光流融合特征 / 自监督学习 / 余弦距离

基金资助

国家自然科学基金项目(62202077); 重庆市留学人员创业创新计划项目(cx2018123)