ViTAU:基于Vision transformer和面部动作单元的面瘫识别与分析

摘要

面部神经麻痹（Facial nerve paralysis,FNP），通常称为贝尔氏麻痹或面瘫，对患者的日常生活和心理健康产生显著影响，面瘫的及时识别和诊断对于患者的早期治疗和康复至关重要.随着深度学习和计算机视觉技术的快速发展，面瘫的自动识别变得可行，为诊断提供了一种更准确和客观的方式.目前的研究主要集中关注面部的整体变化，而忽略了面部细节的重要性.面部不同部位对识别结果的影响力并不相同，这些研究尚未对面部各个区域进行细致区分和分析.本项研究引入结合Vision transformer(ViT)模型和动作单元（Action unit,AU）区域检测网络的创新性方法用于面瘫的自动识别及区域分析.ViT模型通过自注意力机制精准识别是否面瘫，同时，基于AU的策略从StyleGAN2模型提取的特征图中，利用金字塔卷积神经网络分析受影响区域.这一综合方法在YouTube Facial Palsy(YFP)和经过扩展的Cohn Kanade(CK+)数据集上的实验中分别达到99.4%的面瘫识别准确率和81.36%的面瘫区域识别准确率.通过与最新方法的对比，实验结果展示了所提的自动面瘫识别方法的有效性.

关键词

Transformer / 面部动作单元 / 多分辨率特征图 / 生成器 / 热力图回归

基金资助

山东省自然科学基金资助项目（ZR2024MF087）; 国家自然科学基金资助项目（62172247）