基于嵌入式系统的实时瞳孔中心定位算法研究

梁金玉 ,  陈燕 ,  王昱杰 ,  张权

中北大学学报(自然科学版) ›› 2025, Vol. 46 ›› Issue (04) : 438 -445.

PDF (2668KB)
中北大学学报(自然科学版) ›› 2025, Vol. 46 ›› Issue (04) : 438 -445. DOI: 10.62756/jnuc.issn.1673-3193.2024.10.0006
医学图像处理前沿应用专栏

基于嵌入式系统的实时瞳孔中心定位算法研究

作者信息 +

Research on Real-Time Pupil Center Location Algorithm Based on Embedded System

Author information +
文章历史 +
PDF (2731K)

摘要

针对瞳孔中心定位时存在反射光斑干扰而导致定位准确率低和鲁棒性差的问题, 本文提出了一种面向嵌入式系统的瞳孔中心精确定位算法。首先, 通过对人眼图像进行对比度增强等预处理, 标注了瞳孔中心位置, 构造了平均合成精确滤波器(Average of Synthetic Exact Filters, ASEF); 接着, 使用平均合成精确滤波器确定单目瞳孔位置, 同时结合“三庭五眼”人脸比例算法确定双目瞳孔位置, 实现瞳孔的粗定位; 然后, 以粗定位坐标为中心, 多次选取感兴趣区域进行投影运算, 减小反射光斑的干扰, 从而修正瞳孔中心坐标, 最终实现双目瞳孔中心的精确定位。使用拟合椭圆法、 Starburst模型法和本文算法在模拟人眼和真实人眼上进行检测, 实验结果表明: 本文算法能够有效避免反射光斑对瞳孔中心定位的干扰, 准确获取瞳孔中心位置, 运行时间达到0.035 s, 检测误差控制在1像素范围内。相比于椭圆拟合法和Starburst模型法, 本文算法在检测速度和精度上表现更佳, 能够满足眼科仪器实时性和嵌入式系统部署等实际应用需求。

Abstract

In order to solve the problem of low accuracy and poor robustness due to the interference of reflected light spot in the positioning of pupil center, this paper presented an algorithm for accurate positioning of pupil center for embedded system. Firstly, the Average of Synthetic Exact Filters (ASEF) was constructed by pre-processing the human eye image with contrast enhancement and marking the central position of the pupil. Next, the average synthetic precision filter was used to determine the location of the monocular pupil, and the binocular pupil was determined by the “three courts and five eyes” face ratio algorithm to realize the coarse positioning of the pupil. Then, taking the coarse positioning coordinates as the center, the region of interest was selected several times for projection operation to reduce the interference of reflected light spots, so as to corrected the pupil center coordinates, and finally achieved the accurate positioning of the binocular pupil center. The fitting ellipse method, Starburst model method and the proposed algorithm were used to detect simulated human eyes and real human eyes. The experimental results show that the proposed algorithm can effectively avoid the interference of reflected light spots on the positioning of pupil center, accurately obtain the central position of pupil, and the running time reaches 0.035 s. The detection error is controlled within 1 pixel. Compared with elliptic fitting method and Starburst model method, the proposed algorithm has better performance in detection speed and accuracy, and can meet the practical application requirements of real-time ophthalmic instrument and embedded system deployment.

Graphical abstract

关键词

瞳孔中心定位 / 平均合成精确滤波器 / 对比度增强 / 三庭五眼 / 投影运算

Key words

pupil center positioning / average of synthetic exact filters / contrast enhancement / three courts and five eyes / projection operation

引用本文

引用格式 ▾
梁金玉,陈燕,王昱杰,张权. 基于嵌入式系统的实时瞳孔中心定位算法研究[J]. 中北大学学报(自然科学版), 2025, 46(04): 438-445 DOI:10.62756/jnuc.issn.1673-3193.2024.10.0006

登录浏览全文

4963

注册一个新账户 忘记密码

0 引 言

人眼瞳孔中心定位技术在医学检测1、 人机交互23和生物识别4等基于嵌入式系统平台的相关仪器中有着广泛的应用, 其定位准确性的高低直接决定了检测性能的优劣。因此, 研究如何在嵌入式系统上实现更加快速、 准确、 稳定的瞳孔中心定位具有重要的实际意义。

目前, 瞳孔中心定位常用的方法有Hough变换法、 椭圆拟合法和深度学习法5。其中, Hough变换法利用人眼瞳孔的近圆特性, 通过参数空间变换实现瞳孔中心的定位。张宏薇等6通过限定Hough变换时的半径检测范围实现了瞳孔识别与中心定位, 相比传统的Hough变换方法在准确率上有明显提升; 臧晶等7先使用混合投影定位人眼区域, 再利用Hough变换定位瞳孔中心, 从而减少了定位时间。Hough变换类方法由于需要对每个边缘像素点求解所有可能的圆心与半径, 导致计算耗时大且内存空间需求大, 因而限制了其在实际中的有效应用。椭圆拟合法则基于瞳孔轮廓点拟合目标椭圆, 该拟合椭圆中心即为待确定的瞳孔中心。王鹏等8首先通过感兴趣区域获取、 阈值分割、 形态学处理及边缘检测等系列处理来获取瞳孔边缘轮廓, 再使用最小二乘椭圆检测来精确定位瞳孔中心; Lu等9提出了一种基于弧支撑的椭圆检测算法, 通过提取属于共同椭圆上的弧支撑线段形成弧支撑群, 采用局部选择和全局搜索的配对方式快速拟合初始椭圆, 再对初始椭圆的5D参数空间进行分层聚类, 形成椭圆候选集并对其验证, 最后输出正确的椭圆信息; Dewi等10提出使用椭圆拟合和改进的微调算法克服睫毛遮挡, 但当大部分瞳孔被遮挡时, 算法的准确率会降低, 而且算法的结果非常依赖于阈值化和Canny边缘检测器的结果; Yu等11提出了基于Starburst模型的瞳孔中心定位方法, 使用Starburst模型对瞳孔边缘特征点进行了聚类, 并使用RANdom SAmple Consensus(RANSAC)算法对瞳孔边缘进行椭圆拟合得到瞳孔中心。近年来, 随着深度学习的飞速发展, 基于卷积神经网络的瞳孔定位技术受到很多学者关注, 这种方法将大量的训练样本输入到卷积网络中进行学习, 进而拟合出人眼外观与瞳孔参数之间的关系。Chen等12采用由粗到精的瞳孔中心定位策略, 使用基于ATLBP-THACs特征的级联分类器、 分支CNN和多任务CNN组成的检测器找出眼睛区域, 再使用浅CNN估计7个地标位置进而估计瞳孔中心和半径; Gou等13引入多尺度注意链接网络(MAL-Net)的深度神经网络, 并设计了一个链接注意力模块(LAM)和一个新的多尺度链接结构(MLS)来用于准确检测眼睛中心; 孙语等14提出了一种基于注意力机制和空洞卷积的瞳孔检测方法, 有效提高了定位准确率。由于基于深度学习的瞳孔中心定位算法对运行环境的要求较高, 实现成本较大, 限制了其在实际情况中的使用。针对面向嵌入式系统的实际应用, 上述瞳孔中心定位算法呈现出实时性不高、 通用性不强和定位精度仍需提升等问题。

综上所述, 针对嵌入式系统的实际应用需求, 为了进一步提高瞳孔中心定位精度, 同时提高检测效率和降低误检率, 本文提出了一种适用于嵌入式系统的瞳孔中心精确定位算法。

1 算法原理

本文所提算法包含构造平均合成精确滤波器(Average of Synthetic Exact Filters, ASEF)、 粗定位和精确定位等步骤。首先, 对采集到的样本图像进行对比度增强等预处理, 并基于预处理后的样本图像构造ASEF; 然后, 运用ASEF对人脸图像实现单目瞳孔粗定位, 同时结合“三庭五眼”人脸比例算法实现双目瞳孔粗定位; 最后, 利用多次投影算法修正瞳孔中心位置, 实现双目瞳孔中心的精确定位。算法整体流程如图 1 所示。

1.1 构造ASEF

ASEF是Bolme等15提出的一种基于相关滤波器的人眼定位方法, 具有比其他人眼定位方法更加优越的性能。

为突出瞳孔结构, 对输入人脸图像图 2(a) 进行预处理, 首先采用对数增强算法扩展低灰度值部分, 从而显示出更多细节; 然后对图像进行规范化处理, 确保均值为0, 标准差为1, 使图像具有一致的强度; 最后为减小快速傅里叶变换对图像边缘的频率影响, 对图像进行余弦窗处理, 如式(1)~式(4)所示。

Si(x,y)=clog(ai(x,y)+1),
Ti(x,y)=Si(x,y)-M[Si(x,y)-M]2,
w=cosπri2rmax,
fi(x,y)=Ti(x,y)w,

式中: c为常数; ai(x,y)为输入图像; Si(x,y)为对数增强结果; M为像素均值; Ti(x,y)为规范化结果; w为余弦窗函数; ri为图像上各个像素点到中心像素点的距离; rmax为最大距离; fi(x,y)为图像经余弦窗处理后的结果, 即预处理后的最终结果。

对于一幅预处理后的图像fi(x,y), 希望通过一个相关滤波器hi, 输出一幅对应右边瞳孔响应的图像gi。其中, gi是以目标位置(xi,yi)为峰值, σ为半径的二维高斯分布图像, 满足公式

gi(x,y)=e-(x-xi)2+(y-yi)2σ2

σ决定峰值半径的大小, 图 2(b)σ=4的响应图像, 图 2(c)图 2(b) 对应的二维高斯分布图像, 可以看出瞳孔区域相比于周围区域有非常明显的响应。

根据卷积定理知时域的卷积相当于频域的乘积, 其思想构成了ASEF的基础, 即

gi(x,y)=fi(x,y)hi(x,y)=F-1(Fi(w,v)Hi(w,v)),
Gi(w,v)=Fi(w,v)Hi*(w,v),

式中: fi(x,y)为输入图像预处理后的结果; gi(x,y)为输入图像的响应图像; hi(x,y)为输入图像对应的滤波器; FiGiHi分别为figihi的二维傅里叶变换; Hi*Hi的共轭。

可得单幅样本图像对应滤波器的频域表达式

Hi*(w,v)=Gi(w,v)Fi(w,v)

图 2(d) 所示, 单幅样本图像对应的滤波器并没有显示出瞳孔结构。为了构建泛化能力强的相关滤波器, 本文利用傅里叶变换的线性变换性质对每幅样本图像计算对应的滤波器, 并对这些滤波器取平均, 满足式(9)式 (10)。这样可以减少单幅样本图像个体特征的影响, 同时提升跨样本图像的共享特征。

Hμ*(w,v)=1Ni=1NHi*(w,v),
hμ(x,y)=1Ni=1Nhi(x,y)

N表示样本图像的数目, 对Hμ*取共轭得到HμHμ为频域下的ASEF, 经傅里叶逆变换获得hμhμ为时域下的ASEF, 如图 2(e)图 2(f) 所示。

构造ASEF的整体流程如图 3 所示。

首先, 对N幅人脸图像进行预处理并对其瞳孔中心位置进行标注, 得到响应图像, 如图 3(a) 所示。响应图像和预处理后的人脸图像通过傅里叶变换、 乘积运算得到N个相关滤波器, 并对这些滤波器计算均值, 经过傅里叶逆变换得到时域下的ASEF, 如图 3(b) 所示。

1.2 瞳孔粗定位

本文算法通过ASEF与“三庭五眼”人眼比例算法相结合的方式初步定位瞳孔位置, 主要包含单目瞳孔粗定位、 双目瞳孔粗定位以及双目瞳孔粗定位验证。

1) 单目瞳孔粗定位: 对待测图像做与构造ASEF时相同的预处理, 对预处理后的待测图像进行傅里叶变换, 将其与ASEF做乘积运算, 再通过IFFT计算出响应图像gi, 找出gi全局中的最大值, 将其最大值对应的坐标作为目标瞳孔的位置c1(x1,y1)。详细流程如图 4 所示。

2) 双目瞳孔粗定位: “三庭五眼”人脸比例中的“五眼”是指脸的宽度比例, 以眼形长度为单位, 把脸的宽度分为五等份。根据“三庭五眼”人脸比例算法初步寻找另一只瞳孔位置, 由于个体差异和拍照角度等因素的影响, 需要对样本图像进行统计分析, 以确定第二只瞳孔位置的搜索范围, 如图 5 所示。已知待测图像大小为H×W, 右眼瞳孔位置为(x1,y1), 为确保所有测试图像都可以找到左眼瞳孔位置, 设计搜索范围大于实际人眼在人脸中的比例, 因此, 搜索范围的左边界为x1-35W, 右边界为x1-15W, 搜索宽度为25W。由于待测图像中的人眼高度小于200像素, 因此, 取y1的上下100像素范围作为搜索高度h。在响应图像gi中, 定义搜索范围内最大值对应的坐标为左眼瞳孔位置c2(x2,y2)

3) 双目瞳孔粗定位验证: 本文通过峰值旁瓣比16(Peak to Sidelobe Ratio, PSR)验证是否检测到瞳孔。定义PSR值η=(gmax-μc)δc, 其中gmax为响应输出的最大值, μcδc分别表示以响应输出最大值位置为中心的11×11方块区域以外的区域的均值和标准差。本文设定一个阈值ηa, 如果ηηa, 则表示定位位置为瞳孔, 继续执行后续1.3节中的瞳孔精确定位算法。

1.3 瞳孔精确定位

在构造ASEF时, 由于手动标注瞳孔中心受主观因素的影响, 导致响应输出存在误差。同时, 光照条件下瞳孔上的反射光斑也对瞳孔中心定位精度有较大影响。观察输入人脸图像图 2(a) 发现, 瞳孔位置的灰度值和周围灰度值相差明显, 因此, 本文引入投影算法17来修正瞳孔中心。由于存在反射光斑, 直接对整个瞳孔区域进行投影时修正效果不佳。因此, 本文提出在水平和垂直方向上分别选择多个感兴趣区域进行投影运算, 从而减少反射光斑干扰, 提高瞳孔中心修正的可靠性, 进而达到修正瞳孔中心的目的。

以右眼瞳孔垂直方向投影为例进行说明。以粗定位坐标c1为中心, 步长为6, 在垂直方向上取多个感兴趣区域, 对每个感兴趣区域进行垂直投影。没有光斑干扰的感兴趣区域, 投影曲线表现出中间凹、 两边凸的趋势, 如图6(a)、 图 6(b) 所示; 而有光斑干扰的感兴趣区域, 投影曲线中凹的部分会出现明显的凸起, 如图6(c)、 图 6(d) 所示。为减小反射光斑带来的干扰, 提高定位准确性, 假设垂直投影灰度值Ai=[a1,a2,a3,,an], 设定阈值为θ, 对每个感兴趣区域中anθ的值找出其位置坐标, 位置坐标的中值记为MAi, 然后, 再将每个感兴趣区域的MAi排序, 取其中值作为标准值Mst; 判断每个感兴趣区域的MAiMst之间的距离, 剔除距离较大的点并对留下的值计算平均值, 从而得到修正后的X1坐标。同理, 进行水平投影得到修正后的Y1坐标和左眼瞳孔的修正坐标C2(X2,Y2)

2 实验结果与分析

实验中采集真实人脸图像1 056幅, 通过放大、 缩小、 旋转等方式对数据集进行扩充增强, 数据集共包含7 392幅人脸图像, 按照20∶1的比例划分为样本图像和测试图像, 在Visual Studio 2017上进行实验并部署到嵌入式试验机上进行测试。

2.1 算法性能的模拟人眼验证

为验证算法准确性, 模仿真实人眼的瞳孔形状和反射光斑, 在真实人眼图像上构建模了拟瞳孔图像。以瞳孔内一点为中心绘制黑色圆或椭圆作为模拟瞳孔, 并在模拟瞳孔上嵌入白点来模拟反射光斑。其中, 模拟人眼图像的左眼瞳孔中心坐标为(209, 374)、 右眼瞳孔中心坐标为(960, 309)。使用文献[8]、 文献[11]和本文算法对其进行瞳孔中心定位, 通过对比定位结果与真实值误差的绝对值、 检测时间来衡量算法的性能。如图 7 所示为3种算法对模拟人眼的检测效果图。表 1 为3种算法的定位坐标和检测时间。

表 1 可知, 在反射光斑干扰的情况下, 3种算法均能实现瞳孔中心的定位, 但文献[8]和文献[11]的定位结果误差较大, 而本文算法误差均小于1像素; 并且本文算法在检测时间上有较大优势。因此, 本文算法在准确性和实时性方面表现更好。

2.2 真实人眼的定位结果与分析

图 8(a)图 8(b) 为分辨率不同的人脸图像。对两种人脸图像分别使用文献[8]、 文献[11]和本文算法进行瞳孔中心定位, 实验结果如图 8(c) 所示。为了清晰展示定位效果, 截取原图中的眼部区域进行展示。

3种方法在不同分辨率图像上的定位结果如表 2表 3 所示。将得到的瞳孔中心坐标与人工标定的标准瞳孔中心坐标相比, 可以看出, 3种方法均能实现瞳孔中心定位。但是, 由于现实应用中采集的人脸图像存在阴影或者反射光斑等情况, 文献[8]和文献[11]的方法并不能准确获得瞳孔边缘, 导致得到的瞳孔中心与标准瞳孔中心的误差较大。本文算法在精确定位时使用多次投影的方式, 减小了反射光斑的干扰, 从而降低了瞳孔中心定位的误差。同时, 文献[8]的方法在分辨率高的图像上比在分辨率低的图像上表现更好, 而本文算法在不同分辨率的图像上的表现相当, 定位误差均在1像素范围内, 因此, 相比其他两种算法, 本文算法的定位精确度更高。

为验证本文算法在检测时间上的优势, 本文使用10幅图像的平均运行时间来衡量算法的运行速度, 如表 4 所示。结果表明, 本文算法的运行时间较前两种算法有显著优势。将本文算法部署至基于嵌入式系统的实际产品上, 利用测试集进行测试, 本文算法依然有很好的表现且检测效果与实验结果相同, 可满足瞳孔中心定位算法在嵌入式系统上部署的需求。

3 结 论

本文提出了一种针对嵌入式系统的实时瞳孔中心定位算法, 该算法在构造ASEF的基础上结合“三庭五眼”思想实现了瞳孔中心的粗定位, 再通过改进的投影算法减小反射光斑的干扰, 从而实现瞳孔中心的精确定位。通过定量分析验证了算法准确性, 并在分辨率不同的人脸图像上进行实验, 相比现有算法, 本文算法定位更准确, 无误检漏检情况, 且展现出更高的稳定性和更快的检测速度。算法运行时间缩短至0.035 s, 检测误差控制在1像素范围内, 耗时短、 精度高是其明显优势。该算法已成功部署至基于嵌入式系统的实际产品中, 满足眼科仪器对瞳孔中心定位的速度及精度的需求。

参考文献

[1]

蔡怀宇, 史玉, 娄世良, . 应用于红外眼科疾病检测的瞳孔定位算法[J]. 中国光学202114(3): 605-614.

[2]

CAI HuaiyuSHI YuLOU Shilianget al. Pupil location algorithm applied to infrared ophthalmic disease detection[J]. Chinese Optics202114(3): 605-614. (in Chinese)

[3]

XIA YLOU JDONG Jet al. Hybrid regression and isophote curvature for accurate eye center localization[J]. Multimedia Tools and Applications202079(1): 805-824.

[4]

HSU W YCHUNG C J.A novel eye center localization method for multiview faces[J].Pattern Recognition2021119: 108078.

[5]

王骏祥, 马健为, 宋笛秋, .基于OpenCV与MediaPipe的面部动作控制鼠标操作技术[J]. 计算技术与自动化202443(2): 177-181.

[6]

WANG JunxiangMA JianweiSONG Diqiuet al. Research on facial action control mouse operationbased on opencv and media pipe[J]. Computing Technology and Automation202443(2): 177-181. (in Chinese)

[7]

POULOPOULOS NPSARAKIS E Z. A real-time high precision eye center localizer[J]. Journal of Real-Time Image Processing202219(2): 475-486.

[8]

张宏薇, 王仕洋, 李宪龙, .基于Hough变换的瞳孔识别方法研究与实现[J].液晶与显示201631(6): 621-625.

[9]

ZHANG HongweiWANG ShiyangLI Xianlonget al. Research and implementation of pupil recognition based on Hough transform[J]. Chinese Journal of Liquid Crystals and Displays201631(6): 621-625. (in Chinese)

[10]

臧晶, 徐旭云, 刘冠楠, .一种融合混合投影和虹膜定位的瞳孔定位[J].电子世界2017(13): 175.

[11]

ZHANG JingXU XuyunLIU Guannan . et al. A pupil location method based on hybrid projection and iris location[J]. Electronics World2017(13): 175. (in Chinese)

[12]

王鹏, 温宏韬, 王世龙, .基于近眼红外图像的高精度瞳孔中心定位方法[J].哈尔滨理工大学学报202227(5): 38-46.

[13]

WANG PengWEN HongtaoWang Shilonget al. High-precision pupil center positioning method based on near-eye infrared image[J]. Journal of Harbin University of Science and technology202227(5): 38-46.(in Chinese)

[14]

LU CXIA SSHAO Met al.Arc-support line segments revisited: an efficient high-quality ellipse detection[J] in IEEE Transactions on Image Processing201929: 768-781.

[15]

DEWI D A SWIBIRAMA SARDIYANTO Iet al. Robust pupil localization algorithm under off-axial pupil occlusion[C]//2nd International Conference on Bioinformatics, Biotechnology and Biomedical Engineering (BioMIC)-Bioinformatics and Biomedical Engineering.IEEE, 2019: 1-6.

[16]

YU PDUAN WSUN Yet al. A Pupil-positioning method based on the starburst model[J]. Computers, Materials & Continua, 202064(2): 1199-1217.

[17]

CHEN J CYU P QYAO C Yet al. Eye detection and coarse localization of pupil for video-based eye tracking systems[J]. Expert Systems with Applications2024236: 121316.1-121316.12.

[18]

GOU CZHONG RYU Y Zet al. MAL-Net: multiscale attention link network for accurate eye center detection[J]. Computer Vision and Image Understanding2023234: 103750.

[19]

孙语, 刘文龙, 蒋茂松.基于注意力机制和空洞卷积的瞳孔定位算法[J]. 电子测量技术202346(15): 126-132.

[20]

SUN YuLIU WenlongJIANG Maosonget al. Pupil location algorithm based on Attention Gateand dilated convolution[J]. Electronic Measurement Technology202346 (15): 126-132. (in Chinese)

[21]

BOLME D SDRAPER B ABEVERIDGE J R.Average of synthetic exact filters[C]//IEEE Conference on Computer Vision and Pattern Recognition, 2009: 2105-2112.

[22]

范舜奕, 倪磊, 刘斌斌, .基于峰值特性判定模型更新的鲁棒视觉跟踪算法[J].空天预警研究学报202438(1): 50-56.

[23]

FAN ShunyiNI LeiLIU Binbinet al. Robust visual tracking algorithm based on peak characteristics to determine model updating[J]. Journal of Air & Space Early Warning Research202438(1): 50-56. (in Chinese)

[24]

汤云敏.基于轮廓投影算法的智能终端数字媒体图像信息识别研究[J]. 自动化与仪器仪表2024(2): 20-23.

[25]

TANG Yunmin. Research on digital media image information recognition of smart terminal based on contour projection algorithm[J]. Automation & Instrumentation2024(2): 20-23.(in Chinese)

基金资助

山西省基础研究计划项目(202103021224204)

山西省研究生实践创新研究(2024SJ268)

AI Summary AI Mindmap
PDF (2668KB)

548

访问

0

被引

详细

导航
相关文章

AI思维导图

/