结合多区域特征和特征融合的微表情识别

摘要

微表情运动微弱、短暂和局部化的特点，使得难以从微表情视频序列中相关的局部区域中提取有效特征，进而导致准确识别微表情变得十分困难.针对上述问题，基于残差网络和长短期记忆网络，提出一种结合多区域特征提取模块(Multi-region Feature Extraction Module, MFEM)和多层特征融合模块(Multi-level Feature Fusion Module, MFFM)的微表情识别方法.首先，对微表情视频序列采用欧拉视频放大算法实现运动增强得到灰度序列，并结合TV-L1光流法的光流序列作为输入.有效特征提取阶段中，利用MFEM模块提取多个相关的局部区域中的显著特征，增强网络提取有效特征的能力；通过MFFM模块减少信息丢失，产生更综合的特征，提高模型学习微表情特征的能力；然后进行时序建模并分类.在casme2和samm数据集上进行实验，准确率分别达到84.959%、74.265%,UF1分别为0.855和0.604,优于现有方法.

关键词

微表情识别 / 残差网络 / 多区域特征提取 / 多层特征融合

基金资助

国家重点研发计划项目(2021YFF0600605)资助