结合视角矫正和改进ViViT的驾驶员睡意判断方法

摘要

针对传统检测方法中摄像头视角受限问题，提出了一种结合面部姿态矫正和改进ViViT的多视角下人脸疲倦检测方法。采用Mediapipe Face Mesh定位面部三维特征点并将其矫正为正面，利用提出的FGR-ViViT模型来捕捉矫正后的眼睛、眉毛、嘴巴线条图像帧序列变化。FGR-ViViT通过在ViViT的Temporal Transformer Encoder中添加部件选择模块来捕捉特征在时间维度中的细微差异，同时融合2次dropout和改进的对比损失函数来调整样本的相似性，降低模型过拟合风险并提高泛化能力。实验结果表明，提出的方法在YawDD和DROZY矫正后的线条图像帧的测试集上，F1-分数达到了94.5%和97.6%,相较于原始人脸图像帧分别提高了3.2%和10.4%,其FGR-ViViT相较于原始ViViT分别提高了6.1%和0.7%。所提方法适用于摄像头灵活摆放的多种应用场景，对解决多视角人脸睡意判断具有积极意义。

关键词

疲劳检测 / 多视角 / Video Vision Transformer / 部件选择模块