考虑学习兴趣与微表情关联性的人脸细微特征识别算法

肖红 ,  刘显德

吉林大学学报(工学版) ›› 2025, Vol. 55 ›› Issue (05) : 1728 -1734.

PDF (1461KB)
吉林大学学报(工学版) ›› 2025, Vol. 55 ›› Issue (05) : 1728 -1734. DOI: 10.13229/j.cnki.jdxbgxb.20240446
计算机科学与技术

考虑学习兴趣与微表情关联性的人脸细微特征识别算法

作者信息 +

A facial subtle feature recognition algorithm considering the correlation between learning interests and micro expressions

Author information +
文章历史 +
PDF (1495K)

摘要

为提高人脸细微特征识别的精度,提出一种考虑学习兴趣与微表情关联性的人脸细微特征识别算法。选取图像熵作为人脸图像分割的目标函数,采用粒子群优化算法(PSO)对脉冲耦合神经网络(PCNN)参数展开优化,确定关键参数的最优值,实现人脸图像分割,确定眼睛以及嘴巴等关键区域。在学习兴趣和微表情关联性分析的基础上,采用Harris算法对尺度不变特征变换(SIFT)特征点展开筛选,精确锁定人脸表情图像中的关键兴趣点。基于特征点最大覆盖区域及其邻近范围的策略,捕获各个区域的特征。筛选后的区域被用作局部二值模式(LBP)特征提取的输入,并通过支持向量机(SVM)多分类技术实现人脸细微特征识别。实验结果表明:本文算法对人脸图像分割效果好,且对人脸细微特征识别精度高。

Abstract

In order to improve the accuracy of facial fine feature recognition, a facial fine feature recognition algorithm considering the correlation between learning interests and micro expressions is proposed. Selecting image entropy as the objective function for facial image segmentation, using particle swarm optimization (PSO) algorithm to optimize the parameters of pulse coupled neural network (PCNN), determining the optimal values of key parameters, achieving facial image segmentation, and identifying key areas such as eyes and mouth. On the basis of analyzing the correlation between learning interests and micro expressions, the Harris algorithm is used to filter the scale invariant feature transform (SIFT) feature points, accurately locking the key interest points in facial expression images. A strategy based on the maximum coverage area and its adjacent range of feature points to capture the features of each region. The filtered area is used as input for local binary patterns (LBP) feature extraction, and facial fine feature recognition is achieved through support vector machine (SVM) multi classification technology. The experimental results show that the proposed algorithm performs well in facial image segmentation and has high accuracy in recognizing subtle facial features.

Graphical abstract

关键词

学习兴趣 / 微表情 / 关联性 / 人脸细微特征 / 识别

Key words

learning interests / microexpressions / relevance / fine facial features / recognition

引用本文

引用格式 ▾
肖红,刘显德. 考虑学习兴趣与微表情关联性的人脸细微特征识别算法[J]. 吉林大学学报(工学版), 2025, 55(05): 1728-1734 DOI:10.13229/j.cnki.jdxbgxb.20240446

登录浏览全文

4963

注册一个新账户 忘记密码

0 引 言

人脸细微特征识别已成为计算机视觉领域的研究热点之一。该技术旨在通过对面部细微特征的精确提取和识别,实现对个体情感、意图等内在状态的推断与理解12。然而,传统的人脸识别算法更加注重人脸的整体特征,在面对光照、角度、表情、遮挡等因素时表现出局限性,尤其是在识别细微特征方面存在一定挑战。为有效提升人脸识别的准确性,越来越多的人开始关注人脸的细微特征识别。因此,研究人脸细微特征识别34对提升人脸识别的准确性具有重要意义。

周天绮等5获取包含特征点的最小边界矩形,引入能量函数确定人脸中下巴的最低点,同时组建面部轮廓的先验模板分别提取左脸和右脸的轮廓特征,依据提取的特征对人脸图像展开分解,并且借助欧氏距离实现人脸特征识别。该算法没有考虑到先验模板和实际面部轮廓偏差较大的情况下特征提取结果准确性偏低,会影响最终的识别结果。姚树婧等6将特征解耦和静动态联合图卷积网络有效结合展开人脸属性识别。该算法没有考虑环境等因素对识别结果产生的影响,在比较复杂的场景下,识别结果并不理想。陈拓等7优先捕获不同的表情特征,经过融合处理后形成“空域特征”;以人脸关键组件的信息作为依据对人脸表情在时域上的运动特征展开提取,并且引入卷积神经网络得到“时域特征”;最终将两种特征融合,完成识别。该算法对人脸关键组件过于依赖,在组件跟踪或者检测结果不准确的情况下,会严重影响最终的识别结果。Wu等8结合边缘人工智能驱动设计一种网络人脸表情识别框架,将其用于人脸表情识别。该算法依赖于训练数据的质量和多样性。如果训练数据不充足或者表情种类不够丰富,那么模型无法准确识别新的或复杂的表情。

为有效解决以上识别算法存在的问题,提出一种考虑学习兴趣与微表情关联性的人脸细微特征识别算法。在该算法中,将学习兴趣视为影响学习效果的关键因素之一。当个体对某一学科产生浓厚的兴趣时,会更专注地投入学习,从而获得更好的学习效果。同时,微表情作为人脸细微特征中重要的组成部分,具有短暂且难以察觉的特点,无法传达出丰富的情感和意图信息。微表情的识别对理解人类情感、改善人机交互等具有重要意义。通过结合学习兴趣与微表情关联性,旨在提高人脸细微特征识别的准确性和鲁棒性,以推动人脸识别技术在复杂环境下的应用与发展。

1 人脸细微特征识别算法

1.1 人脸图像分割

在人脸细微特征识别中,面临着光照、角度、表情变化和遮挡等难点,传统方法在处理这些挑战时存在局限性。为了解决这些问题,提出采用图像熵作为目标函数进行人脸图像分割,并结合粒子群优化算法对脉冲耦合神经网络(Pulse coupled neural network,PCNN)参数进行优化的新方法。通过这一步骤,可以提高人脸图像分割的准确性和鲁棒性,增强对人脸细微特征的捕捉能力,有效消除表情变化和遮挡带来的影响。通过图像分割有助于精确定位关键区域,减少冗余信息干扰,优化特征提取算法,从而提高识别系统的性能和准确度,为后续识别提供有效依据。

图像熵作为衡量图像信息量的指标,在人脸图像分割中发挥着关键作用。通过将图像熵作为目标函数,并结合PCNN进行参数优化,可以实现人脸图像的精准分割。图像熵反映了图像中灰度分布的均匀程度,为PCNN提供了明确的优化方向。而PCNN则通过模拟神经元之间的相互作用,实现对图像中不同区域的自动分割。通过不断调整PCNN的参数,可以使其对不同的熵值敏感程度不同,从而精准地识别和分割出人脸中的眼睛、鼻子和嘴巴等关键部位,实现更为精准的人脸图像分割。PSO算法(Particle swarm optimization)操作流程如图1所示。

PSO算法的核心在于通过一群随机初始化的粒子在搜索空间中不断迭代和自我调节,以逼近问题的最优解。每个粒子根据自身的个体最优解和整个群体的全局最优解来更新自己的位置和速度。粒子的速度和位置更新策略具体计算式如下:

速度更新公式:

vidk+1=wvidk+c1rand1kpbestidk-xidk+c2rand2kgbestidk-xidk

位置更新公式:

xidk+1=xidk+vidk+1

式中:vidk为粒子i在第k次迭代时的速度;c1c2为加速度系数,用于调节个体最优解和全局最优解对粒子运动的影响;w为惯性权重,用于平衡全局搜索和局部搜索的能力;xidk为粒子i在第k次迭代时所处的位置;rand为位于[0,1]内的随机数;pbestidkgbestidk为整个种群中个体以及全局极值点所在的位置。

在实际应用中,为防止粒子偏离搜索空间,需要严格限制粒子在各维度上的速度,确保其保持在-vdmax,+vdmax内。若速度取值过大,可能会导致粒子超出搜索空间,影响算法的效率和准确性。因此,合理控制粒子速度至关重要。

在人脸图像分割过程中910,PCNN模型中参数的选取对分割结果具有十分重大的影响。因此,需要采用PSO对PCNN中的参数进行优化处理11。为了优化PCNN模型中的参数,设计一个目标函数,促使分割后形成的图像利用目标函数可以获取最大值以及最小值,进而确定参数。考虑到人脸图像分割的实际需求,选取目标熵作为目标函数,获取最终的分割图像。目标熵反映了分割后图像的信息量,通过最大化目标熵,可以获得最佳的分割效果。通过式(3)给出分割处理后二值图像的熵I

I=-R0log2R0-R1log2R1

式中:R0R1表示图像经过分割处理后取值为1和为0的概率。

式(3)表示,在经过分割处理后的二值图像中,输出值为1和0的像素所含有的信息量的统计均值。

利用PSO对PCNN网络参数展开优化,确定PCNN关键参数的最优值,进而实现图像分割,详细的操作步骤如下:

(1)粒子群初始化:将种群规模设定为m,同时随机设定粒子的初始位置以及速度,将初始粒子群X¯0通过式(4)给出:

X¯0=θp0,ϕpi0,τpi0

式中:θp0为链接强度系数;ϕpi0为阈值幅值系数;τpi0为阈值衰减系数。

(2)计算适应度:利用初始化的PCNN参数对原始人脸图像进行分割,并计算每个粒子的适应度值fit0,即分割后图像的目标熵。

fit0=EijnI+θp0Lijn

式中:Eijn为内部连接函数;Lijn为人脸图像细节信息。

(3)更新粒子位置和速度:通过vidk+1xidk+1对各个粒子的位置以及速度进行调节,进而获取全新的粒子群X¯k+1,对每个粒子的适应度fit0展开评价。

(4)确定最优解:比较每个粒子的适应度值,确定个体极值fibest以及全局极值fgbest

(5)终止条件判断:如果算法符合终止要求,则表明其熵值达到峰值,此时可以利用最优的脉冲耦合神经网络参数对人脸图像展开分割。若不满足,则须返回至步骤(3)重新执行。

完成人脸图像分割处理后,可以确定人脸区域的关键区域,为后续的识别奠定坚实的基础。

1.2 考虑学习兴趣与微表情关联性的人脸细微特征识别

通过图像分割,人脸区域得以从背景中精准分离,消除了背景信息的干扰,使后续的特征提取和识别更加专注于人脸本身。然而,由于人脸表情的复杂性和微妙性,传统特征提取方法难以精确捕捉关键兴趣点。因此,在考虑学习兴趣与微表情关联性的基础上展开人脸细微特征识别。学习兴趣与微表情关联性在人脸细微特征识别中占据十分重要的地位,两者之间的关联性有助于提升识别结果的精度,同时采用Harris算法对SIFT(Scale invariant feature transform)特征点进行筛选,以精确锁定人脸表情图像中的关键兴趣点1213。Harris算法的稳定性和敏感性能够筛选出稳定且显著的角点,这些角点与人脸表情变化的关键区域紧密相关,为后续的特征提取和识别提供了有价值的信息。同时,基于特征点最大覆盖区域及其邻近范围的策略,能够全面捕获各区域的特征,从而高效且精准地进行细微表情的识别。

利用式(6)对高校学生学习兴趣和微表情之间的关联系数βm,t展开计算:

βm,t=hx,yptfit0σx,y

式中:hx,y为高校学生学习兴趣;pt为高校学生微表情集合;σx,y为皮尔逊相关系数。

完成高校学生学习兴趣以及微表情之间的关联系数计算后,引入Harris算法对SIFT特征点展开精细筛选,从而精准定位出人脸表情图像的关键感兴趣点。在选取特征点的过程中,综合考虑最大分布区域及其周边邻域,从而精准地提取各个区域的特征。经过精心挑选的区域被用作LBP(Local binary patterns,LBP)特征提取的输入图像,显著提升了特征提取的精准度和效率14。结合SVM(Support vector machine)多分类技术,实现了对人脸细微特征的精准识别。

Harris角点检测算法在人脸图像的处理中,应用一阶差分技术捕捉图像内的细微变化。通过计算自相关函数,深入描述了人脸图像局部区域内像素点灰度值的变动情况。为了削弱图像中的噪声干扰,引入了高斯滤波技术。以下给出Harris角点检测算子的详细操作步骤:

(1)计算人脸图像H中像素点x,y在水平以及垂直方向上的梯度值HxHy,通过式(7)获取人脸图像中像素点在对应位置的元素积Hxy

Hxy=βm,tHx×Hy

(2)将人脸图像H和高斯函数Gx,y展开卷积运算,进而得到像素点在x,y处的自相关矩阵N

N=GHx2  HxyHxy Hy2 

(3)利用式(9),计算出像素点位置的角点响应函数值CRF,该值反映该像素点作为角点的可能性:

CRF=detN-ktraceN

式中:detNtraceN分别为矩阵N的行和列。

(4)在以人脸图像像素点x,y作为中心的邻域内,判断点x,yCRF是否为邻域内的极大值,假设值,则将其表示为角点;反之,则继续判断下一个点。

采用SIFT算法获取局部极大值以及最小值,即人脸图像的SIFT特征点,操作步骤如下:

(1)通过高斯卷积核Gx,y,σ组建人脸图形的尺度空间,针对一幅人脸图像而言,将其尺度空间Lx,y,σ定义为式(10)的形式:

Lx,y,σ=Hx,yGx,y,σ

(2)为了显著提高特征点的稳定性,引入一种高斯差分尺度空间的概念,并将其以式(11)的形式展开描述:

Dx,y,σ=Dx,y,k,σ-CRFLx,y,σ×Hx,y

经过检测得到的所有极值点,必须经过一系列严格的校验流程,才可以确定其精确的特征点位置,具体如下:

(1)采用Dx,y,σ的二级泰勒展开式进行最小二乘拟合处理,对拟合曲线的极值展开计算,将其作为判定依据删除对比度较低的点。

(2)采用Hessian矩阵删除不稳定的边缘响应点,使其可以有效提升抗噪能力。

在捕获人脸图像的特征点之后,采用两种策略选定特征点区域以展开LBP特征提取:最大化特征点区域选择法和邻域选择法。前者针对关键部位的特征点进行选取,后者则侧重于捕捉整个人脸表情的特征点。这两种策略共同提升了表情识别的准确性和效率。

最后,将获取的LBP特征矩阵以直方图的形式进行描述,这有助于更直观地展示特征的分布情况。随后,将这些LBP直方图作为输入,送入SVM多分类器进行人脸细微特征分类15。SVM多分类器通过构建决策边界,将不同类别的特征进行有效区分,从而实现人脸细微特征的精准识别。具体表达式为:

fx=signDx,y,σi=1NαiyiKx,xi+b

式中:x为输入特征(即LBP直方图);N为支持向量的数量;αi为拉格朗日乘子,对应于每个支持向量;yi为支持向量的标签;Kx,xi为核函数;b为偏置项。

2 实验分析

为验证本文考虑学习兴趣与微表情关联性的人脸细微特征识别算法的有效性,从FER2013公开数据集中随机选取实验研究对象。该数据集包括7种基本面部表情,分别是愤怒、厌恶、恐惧、快乐、悲伤、惊讶和蔑视。FER2013数据集的获取地址为http://www.pitt.edu/~emotion/ck-spread.htm

在实验中,设定了相关参数,如表1所示,用于对本文人脸细微特征识别算法进行评估和比较。这些参数设置将有助于验证算法在不同表情情感下的识别能力,并进一步探究学习兴趣与微表情关联性对人脸识别效果的影响。

从FER2013公开数据集中随机选取实验研究对象 用于人脸图像分割实验测试,如图2所示。

实验选取过渡分割率(OR)、欠分割率(UR)以及人脸图像整体错误分割率(ER)作为测试指标用于实验分析,各种测试指标对应的计算式如下:

OR=OpUp+DpUR=UpUp+DpER=Op+UpDp

式中:OpUp分别为前景和背景中错误分割的像素数量;Dp为手动分割的像素数量,在3种测试测试指标中,取值越小说明分割效果越好。

采用本文算法和传统图像分割算法对图2中的测试样本展开分割处理,详细的实验测试结果如表2所示。通过分析表2中的实验数据可以看出,本文算法的三种测试指标均低于传统的图像分割算法,说明本文算法在人脸图像分割方面具有良好的性能,可以为后续的人脸细微特征识别提供有效依据。

分别采用文献[7]算法和文献[8]算法作为对比方法,对测试样本展开人脸细微特征识别,获取的实验结果如图3所示。

通过分析图3可知,本文算法能准确地捕捉并识别人脸上微小而重要的特征,使对不同表情的识别更加准确和可靠。相比之下,文献[7]和文献[8]中的算法在处理复杂表情时表现较差。由此可见,本文算法具有良好的人脸细微特征识别性能。本文方法通过结合图像熵、粒子群优化、脉冲耦合神经网络及特征点筛选技术,实现了精准的人脸图像分割和细微特征识别,提升了识别的准确性和效率。

3 结束语

传统的人脸细微特征识别技术面临着很多挑战。为提高人脸细微特征的识别精度,提出一种考虑学习兴趣与微表情关联性的人脸细微特征识别算法。通过优化脉冲耦合神经网络参数,实现了人脸图像的有效分割,并精准锁定了关键兴趣点。大量的实验测试证明;本文算法可以有效且精准实现人脸图像分割,同时还可以有效提升人脸细微特征识别结果的准确性,有效推进人脸技术的进步以及发展。然而,研究仍存在一定局限性,未来将继续探索更先进的方法以应对复杂场景。

参考文献

[1]

韩笑, 韩剑. 基于融合分层视觉感知的人脸局部特征识别[J]. 计算机仿真, 2022, 39(7):1 84-188.

[2]

Han Xiao, Han Jian. Face local feature recognition based on fusion hierarchical visual perception[J]. Computer Simulation, 2022, 39(7): 184-188.

[3]

兰凌强, 刘淇缘, 卢树华. 基于注意力机制与特征相关性的人脸表情识别[J]. 北京航空航天大学学报,2022, 48(1): 147-155.

[4]

Lan Ling-qiang, Liu Qi-yuan, Lu Shu-hua. Facial expression recognition based on attention mechanism and feature correlation[J]. Journal of Beijing University of Aeronautics and Astronautics, 2022, 48 (1): 147-155.

[5]

周丽芳, 刘俊林, 李伟生, 深度二值卷积网络的人脸表情识别方法[J]. 计算机辅助设计与图形学学报, 2022, 34(3): 425-436.

[6]

Zhou Li-fang, Liu Jun-lin, Li Wei-sheng, et al. Facial expression recognition based on deep binary convolutional network[J]. Journal of Computer-Aided Design & Computer Graphics, 2022, 34(3): 425-436.

[7]

王军杰, 王泉, 蒋平, 一种孤立中心损失方法及其在人脸表情识别中的应用[J]. 西安交通大学学报, 2022, 56(4): 119-126.

[8]

Wang Jun-jie, Wang Quan, Jiang Ping, et al.An isolated central loss method applied in facial expression recognition[J]. Journal of Xi'an Jiaotong University, 2022, 56(4): 119-126.

[9]

周天绮, 徐胜超. 基于广义对称变换的多模态人脸面部特征识别方法[J]. 计算机工程与设计, 2022, 43(9): 2609-2613.

[10]

Zhou Tian-qi, Xu Sheng-chao.Multimodal face feature recognition method based on generalized symmetric transformation[J]. Computer Engineering and Design, 2022, 43(9): 2609-2613.

[11]

姚树婧, 张立言, 李星燃. 结合特征解耦和静动态联合图卷积网络的人脸属性识别[J]. 计算机辅助设计与图形学学报, 2022, 34(7): 1020-1027.

[12]

Yao Shu-jing, Zhang Li-yan, Li Xing-ran. Facial attributes recognition combined with feature decoupling and static-dynamic joint graph convolutional network[J]. Journal of Computer-Aided Design & Computer Graphics, 2022, 34(7): 1020-1027.

[13]

陈拓, 邢帅, 杨文武, 融合时空域特征的人脸表情识别[J]. 中国图象图形学报, 2022, 27(7): 2185-2198.

[14]

Chen Tuo, Xing Shuai, Yang Wen-wu, et al. Spatio-temporal features based human facial expression recognition[J]. Journal of Image and Graphics, 2022, 27(7): 2185-2198.

[15]

Wu Y, Zhang L, Gu Z, et al. Edge-AI-driven framework with efficient mobile network design for facial expression recognition[J]. ACM Transactions on Embedded Computing Systems, 2023, 22(3): 1-17.

[16]

杨贞, 彭小宝, 朱强强, 基于Deeplab V3 Plus的自适应注意力机制图像分割算法[J]. 计算机应用,2022, 42(1): 230-238.

[17]

Yang Zhen, Peng Xiao-bao, Zhu Qiang-qiang, et al. Image segmentation algorithm with adaptive attention mechanism based on Deeplab V3 Plus[J]. Journal of Computer Applications, 2022, 42(1): 230-238.

[18]

王小鹏, 魏统艺, 房超, 自适应非局部空间约束与K-L信息的模糊C-均值噪声图像分割算法[J]. 控制理论与应用, 2022, 39(7): 1261-1271.

[19]

Wang Xiao-peng, Wei Tong-yi, Fang Chao, et al. Fuzzy C-means algorithm with adaptive non-local spatial constraints and K-L information for noisy image segmentation[J]. Control Theory & Applications, 2022, 39(7): 1261-1271.

[20]

王力, 贾欣雨. 基于PSO-PF-SVM的模拟电路故障诊断[J]. 江苏大学学报:自然科学版, 2023, 44(2): 221-228.

[21]

Wang Li, Jia Xin-yu. Fault diagnosis of simulation circuit based on PSO-PF-SVM[J]. Journal of Jiangsu University(Natural Science Edition), 2023, 44(2): 221-228.

[22]

Diao Z, Ueda K, Hou L, et al. Automatic drift compensation for nanoscale imaging using feature point matching[J]. Applied Physics Letters, 2023, 122(12): 121601.

[23]

Lin C F, Su C W, Chen C S.Image capturing and stitching system based on scale-invariant feature transform features for untextured and smooth objects[J].Optical Engineering, 2023(11): 113103.

[24]

崔巍, 吴一梦, 曹福凯. 飞机主体合金裂缝的工业CT图像特征提取[J]. 兵器材料科学与工程, 2022,45(4): 115-119.

[25]

Cui Wei, Wu Yi-meng, Cao Fu-kai. Feature extraction of cracks in aircraft main body alloy from industrial CT image[J]. Ordnance Material Science and Engineering, 2022, 45(4): 115-119.

[26]

Yılmaz A, Küçüker A, Bayrak G, et al. An improved automated PQD classification method for distributed generators with hybrid SVM-based approach using un-decimated wavelet transform[J]. International Journal of Electrical Power & Energy Systems, 2022, 136: 107763.

基金资助

黑龙江省哲学社会科学研究规划项目(22EDE389)

黑龙江省教育科学“十四五”规划年度重点课题项目(GJB1421113)

AI Summary AI Mindmap
PDF (1461KB)

157

访问

0

被引

详细

导航
相关文章

AI思维导图

/