基于机器视觉的图像视觉显著目标快速识别算法

Fast recognition algorithm for salient objects in image vision based on machine vision

摘要

在图像视觉显著目标快速识别中，受到光照条件变化、背景复杂性等因素干扰，图像中存在大量噪声干扰显著目标的检测，导致识别鲁棒性差。为此，本文引入机器视觉技术，利用傅里叶变换滤波技术对原始图像进行增强处理，增强对光照变化、背景复杂性等因素的鲁棒性，提升对噪声的抵抗力，提升目标识别的鲁棒性。采用机器视觉中的傅里叶变换滤波技术对原始图像展开处理，生成梯度图，完成原始图像增强。通过多个邻近像素的线性模型计算斜率差的变化趋势，根据斜率差分布的测量值确定最优阈值，引入形态学迭代腐蚀方法有效区分目标区域与噪声区域，实现图像的高清晰度分割。采用多尺度分析策略将图像划分为多个数量不等的超像素区域，计算各超像素内像素的颜色均值，实现图像抽象化表示。基于显著特征的特性，分别对各个尺度下超像素的显著度均值展开计算，并对其展开融合处理，得到图像视觉显著目标识别结果。结果表明：本文算法的区域对比度可达0.597 7，区域一致性可达0.913 2，在不同类型的噪声下目标识别召回率可达99%，本文算法具有较好的一致性，表明本文方法能够有效提升识别结果鲁棒性。

Abstract

In the rapid recognition of visually significant targets in images， the presence of a large amount of noise in the image can interfere with the detection of significant targets due to factors such as changes in lighting conditions and background complexity， resulting in poor recognition robustness. To this end， this article introduces machine vision technology and uses Fourier transform filtering technology to enhance the original image， improve its robustness to factors such as lighting changes and background complexity， enhance its resistance to noise， and improve the robustness of target recognition. According to the Fourier transform filtering technique in machine vision， the original image is unfolded and processed to generate a gradient map， completing the enhancement of the original image. By using a linear model of multiple adjacent pixels to calculate the trend of slope difference， the optimal threshold is determined based on the measured values of slope difference distribution. The morphological iterative erosion method is introduced to effectively distinguish the target area from the noise area， achieving high-definition segmentation of the image. Adopting a multi-scale analysis strategy to divide the image into multiple superpixel regions of varying numbers， calculating the color mean of pixels within each superpixel， and achieving abstract representation of the image. Based on the characteristics of salient features， the mean saliency of superpixels at various scales is calculated and fused to obtain the visual salient object recognition results of the image. The results show that the CM of the proposed algorithm can reach 0.597 7， UM can reach 0.913 2， and the target recognition recall rate can reach 99% under different types of noise. The proposed algorithm has good consistency， indicating that the proposed method can effectively improve the robustness of recognition results.

Graphical abstract

关键词

机器视觉 / 图像视觉显著目标 / 快速识别 / 傅里叶变换滤波 / 梯度图

Key words

machine vision / visual salient targets in images / quick identification / Fourier transform filtering / gradient map

0 引 言

在图像处理与机器视觉的研究领域中，图像视觉显著目标快速识别算法的研究占据着举足轻重的地位。在信息科技的迅猛推进下，图像数据的数量经历了前所未有的激增，呈现爆炸性的增长态势。如何从海量图像中迅速而准确地识别出视觉显著目标，成为一个亟待解决的关键问题。上述问题不仅关系到图像处理的效率与精度，更直接影响到机器视觉技术在自动驾驶、智能监控、医学影像分析等领域的广泛应用与深入发展。视觉显著目标，作为图像中最吸引人类视觉注意力的部分，包含图像的核心信息与关键特征。因此，研究高效精准的显著目标识别算法^［1，2］，对拓展图像理解的深度与广度具有重要意义。

相关研究者^［3，4］对图像视觉显著目标识别方面的内容展开大量研究，例如张官荣等^［5］将基于对比度的全自动区域检测（Contrast-based fully automatic region，CFAR）和卷积神经网络（Convolutional neural network，CNN）有效结合，实现图像目标识别。但是CFAR和CNN的结合需要考虑参数设置和优化标准，参数调优存在较大难度，造成目标识别结果并不理想。Guo等^［6］通过模糊聚类方法组建目标识别，同时将其和无人机有效结合，完成目标识别。由于天气、光照、遮挡等因素引入噪声，导致无人机拍摄图像聚类效果下降，从而降低目标识别的准确性。李向荣等^［7］通过目标检测算法对图像展开目标识别和采集，利用CNN执行目标图像特征提取，并引入机器学习方法展开可疑目标分类，最终完成目标识别，但是模型无法充分训练规模比较大的数据集，影响模型识别效果。赵鹏宇等^［8］将ORB特征提取算法与Onecut分割算法有效结合，完成目标识别，但是处理高分辨率图像时，整体的识别性能差。

针对以上问题，提出一种基于机器视觉的图像视觉显著目标快速识别算法，利用机器视觉技术中的傅里叶变换滤波对原始图像进行增强处理，生成梯度图，完成原始图像增强。并基于显著特征的特性，计算各个尺度下超像素的显著度均值，得到图像视觉显著目标识别结果。

1 机器视觉下图像视觉显著目标识别

为了实现图像视觉显著目标识别，首先对图像进行分割，采用多尺度分析策略将图像划分为多个数量不等的超像素区域，计算各超像素内像素的颜色均值和各个尺度下超像素的显著度均值，得到最终图像视觉显著目标识别结果。

1.1　基于机器视觉的图像分割

为了提升图像视觉显著目标识别效果，利用图像分割快速定位图像中的显著目标或区域，通过分割出显著目标，可以减少背景或其他非目标区域的干扰，提高目标识别结果的准确性。基于机器视觉的图像分割流程如图1所示。

1.1.1 获取梯度信息

优先输入图像，对原始图像展开均值滤波处理，得到两个梯度分量I_x和I_y，利用式（1）给出梯度图像I_g：

I_g=\sqrt[]{I_x^{\mathrm{2}}+I_y^{\mathrm{2}}}（1）

1.1.2 基于斜率差展开阈值选择

对原始图像直方图展开平滑处理后，需要计算其斜率差分布，确定最佳阈值，进而实现各种类型的图像分割。将图像直方图中相邻像素值间的斜率变化量视为像素分布的动态变化速率，阈值的选择步骤如下：

（1）在设定的区间范围［1，255］内对图像的灰度值重新排列，并且利用式（2）对归一化直方图分布R\left(i\right)展开计算：

\left\{\begin{array}{l}R\left(i\right)=\frac{I_g{M}_i}{M_j}\\ j=\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}\mathrm{x}{M}_{\tilde{j}},\tilde{j}\in \left[\mathrm{1,255}\right]\end{array}\right.（2）

式中：M_i为像素值i的频率；M_j为在区间［1，255］内的最高频率值；M_{\tilde{j}}为像素值\tilde{j}的频率值；\tilde{j}为像素值的完整范围。

（2）通过机器视觉中的离散傅里叶变换将R\left(i\right)转换到频域内，在频域中展开滤波处理，如式（3）所示：

G\left(K\right)={\displaystyle \sum _{x=\mathrm{1}}^{\mathrm{255}}}R\left(i\right)\mathrm{e}\mathrm{x}\mathrm{p}\left(-j\frac{\mathrm{2}\mathrm{\pi }Ki}{\mathrm{255}}\right)（3）

式中：K=\mathrm{1,2},\cdots ,\mathrm{255}；G\left(K\right)为R\left(i\right)经过傅里叶滤波后的归一化直方图；K为频率值。

完成滤波处理后，将其变换到空间域，如式（4）所示：

R^{\mathrm{\text{'}}}\left(i\right)=\frac{\mathrm{1}}{\mathrm{255}}{\displaystyle \sum _{K=\mathrm{1}}^{\mathrm{255}}}{G}^{\mathrm{\text{'}}}\left(K\right)\mathrm{e}\mathrm{x}\mathrm{p}\left(-j\frac{\mathrm{2}\mathrm{\pi }Ki}{\mathrm{255}}\right)（4）

式中：R^{\mathrm{\text{'}}}\left(i\right)为平滑处理后的直方图；G^{\mathrm{\text{'}}}\left(K\right)表示频率带宽为15的低通滤波器对R\left(i\right)展开傅里叶滤波。

（3）计算R^{\mathrm{\text{'}}}\left(i\right)上各个点在其左、右两侧与邻近点间的斜率差异，针对每侧包含特定数量相邻点的数据集，执行线性模型拟合操作，以量化局部斜率变化趋势：

\left\{\begin{array}{l}{y}_l=a{x}_l+R^{\mathrm{\text{'}}}\left(i\right)b\\ {\left[a,b\right]}^{\mathrm{T}}={\left({\mathit{C}}^{\mathrm{T}}\mathit{C}\right)}^{-\mathrm{1}}{\mathit{C}}^{\mathrm{T}}Y\end{array}\right.（5）

式中：y_l和x_l分别表示像素值为l时线性模型的纵坐标和横坐标；a为斜率；b为截距；T为迭代次数；\mathit{C}为线性矩阵。通过式（6）展开l点的斜率差u\left(l\right)计算：

u\left(l\right)=\frac{a_{{}^{\mathrm{2}}}\left(l\right)-a_{{}^{\mathrm{1}}}\left(l\right)}{y_l}（6）

式中：a_{{}^{\mathrm{1}}}\left(l\right)和a_{{}^{\mathrm{2}}}\left(l\right)分别为在点l处的两个斜率。

1.1.3 测量数据校准

斜率差将会影响测量数据准确性，为此将斜率差u\left(l\right)转换为连续函数，基于斜率差分布对具体测量数据E_m进行校准，见式（7）：

E_m=\frac{\mathrm{2}u\left(l\right)\times p_{\mathrm{p}\mathrm{r}\mathrm{e}\mathrm{c}\mathrm{i}\mathrm{s}\mathrm{i}\mathrm{o}\mathrm{n}}\times r_{\mathrm{r}\mathrm{e}\mathrm{c}\mathrm{a}\mathrm{l}\mathrm{l}}}{p_{\mathrm{p}\mathrm{r}\mathrm{e}\mathrm{c}\mathrm{i}\mathrm{s}\mathrm{i}\mathrm{o}\mathrm{n}}+r_{\mathrm{r}\mathrm{e}\mathrm{c}\mathrm{a}\mathrm{l}\mathrm{l}}}（7）

式中：r_{\mathrm{r}\mathrm{e}\mathrm{c}\mathrm{a}\mathrm{l}\mathrm{l}}为符合标准分割的区域在阈值分割区域中所占百分比；p_{\mathrm{p}\mathrm{r}\mathrm{e}\mathrm{c}\mathrm{i}\mathrm{s}\mathrm{i}\mathrm{o}\mathrm{n}}为符合标准分割的区域在标准分割区域中所占百分比。

1.1.4 图像分割

在参数优化与阈值\theta精选之后，运用形态学腐蚀操作实现目标区域与微小噪声斑点的区分，进而实现图像的精确分割处理Z\left(x,y\right)：

Z\left(x,y\right)=\left\{\begin{array}{l}\mathrm{1},\mathrm{i}\mathrm{f}{E}_{m}I\left(x,y\right)-P_{k}I\left(x,y\right)>\theta \\ \mathrm{0},\mathrm{o}\mathrm{t}\mathrm{h}\mathrm{e}\mathrm{r}\mathrm{w}\mathrm{i}\mathrm{s}\mathrm{e}\end{array}\right.（8）

式中：I\left(x,y\right)为原始图像；P_k为腐蚀操作。若形态学腐蚀操作实现目标区域较微小噪声斑点区域大，即覆盖噪声斑点区域，则Z\left(x,y\right)为1，表示对原始图像进行分割处理；反之，Z\left(x,y\right)为0，表示不对原始图像进行分割处理。

根据以上过程完成图像分割。

1.2　图像视觉显著目标快速识别

采用多尺度分析策略将上节分割的图像划分为多个数量不等的超像素区域^［9，10］，计算各超像素内像素的颜色均值，计算各个尺度下超像素的显著度均值，得到最终图像视觉显著目标识别结果。

多尺度分析策略利用Lab颜色空间的优势，在空间内执行K-means聚类算法，以实现像素的有效分组，得到的像素分组即超像素。将图像抽象化为3个不同尺度，并引入以超像素间空间距离为权重的加权颜色距离总和量化超像素的稀疏性。对于Lab颜色空间及空间位置中的任意两个超像素i和j，分别定义为颜色空间和空间位置欧氏距离，表示为d_{\mathrm{c}\mathrm{o}\mathrm{l}\mathrm{o}\mathrm{r}}\left(i,j\right)和d_{\mathrm{p}\mathrm{o}\mathrm{s}\mathrm{i}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}}\left(i,j\right)，对上述距离展开归一化处理，以确保分析的一致性，即：

S_{i_k}={\displaystyle \sum _{j=\mathrm{1}}^{N_k}}{d}_{\mathrm{c}\mathrm{o}\mathrm{l}\mathrm{o}\mathrm{r}}\left(i,j\right)\cdot Z\left(x,y\right)\mathrm{e}\mathrm{x}\mathrm{p}\left(-\frac{d_{\mathrm{p}\mathrm{o}\mathrm{s}\mathrm{i}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}}\left(i,j\right)}{{\sigma }_p^{\mathrm{2}}}\right)（9）

式中：{\sigma }_p^{\mathrm{2}}为控制因子；N_k为超像素的数量总和；e为常数；S_{i_k}为两个超像素间颜色空间的欧氏距离之和S_{i_k}取值越大，则说明超像素具有较强的稀疏性。

根据上述分析，为了量化空间分散性，选取特定超像素，并计算其与颜色相似度高的其他超像素之间的空间距离总和，以此作为衡量图像结构特性的一个关键指标。首先，通过颜色相似度阈值筛选出与第i个超像素颜色相近的邻近超像素集。为了平滑处理空间距离并赋予不同距离对应的权重，引入高斯滤波机制，将空间分散性的量化B\left(i,j\right)通过式（10）给出：

B\left(i,j\right)=\mathrm{e}\mathrm{x}\mathrm{p}\left[-\frac{d_{\mathrm{c}\mathrm{o}\mathrm{l}\mathrm{o}\mathrm{r}}^{\mathrm{2}}\left(i,j\right)}{{\sigma }_p^{\mathrm{2}}}\right]（10）

利用超像素间空间距离的累积值量化图像的空间分散特性H_{i_k}，如式（11）所示：

H_{i_k}={\displaystyle \sum _{j=\mathrm{1}}^{N_k}}B\left(i,j\right)\cdot S_{i_k}（11）

当超像素间的颜色相似度较高时，可将B\left(i,j\right)值设定为接近1，此设定基于超像素间的空间距离评估其空间分散性，即颜色相近时，空间距离成为衡量分散性的主导因素。相反，若颜色差异显著，则B\left(i,j\right)值趋近于0，表明在此情境下，空间距离对超像素空间分散性几乎没有任何影响。深入分析式（12），H_{i_k}值增大则直接映射出第i个超像素颜色在整幅图像中的广泛分布特性，进而指示其较高的空间分散程度。

按照以上分析，超像素显著性G_{i_k}和S_{i_k}两者之间成正比，而和H_{i_k}成反比。若某一超像素的数值显著偏高，说明其颜色特性在整幅图像中具有更广泛的分布范围，G_{i_k}对应的计算式如下：

G_{i_k}=H_{i_k}\cdot \mathrm{e}\mathrm{x}\mathrm{p}\left(-\frac{S_{i_k}}{{\varphi }_k}\right)（12）

式中：{\varphi }_k为尺度参数。

在完成各独立尺度上特征值的G_{i_k}值计算后，对每个尺度的显著性度量进行归一化处理，确保G_{i_k}值范围统一映射至0~255的区间内，以灰度图像的形式直观展现处理后的数据。将各尺度下生成的显著图展开有效融合，通过融合技术，构造出所有尺度信息的最终显著图，实现图像视觉显著目标快速识别，如式（13）所示：

G={\displaystyle \sum _{i=\mathrm{1}}^{N_k}}{\omega }_i\cdot G_{i_k}（13）

式中：G为最终的显著图，即图像视觉显著目标快速识别结果；{\omega }_i为第i个尺度显著图对应的权重值。

2 实验分析

2.1　实验设计

为了验证所提基于机器视觉的图像视觉显著目标快速识别算法的有效性，在MSRA公开图像库中随机选取交通图片用于实验分析，具体的实验环境和实验参数设置如下。

（1）实验环境

实验平台为Matlab；操作系统为Windows 11；编程语言为Python；图像采集设备：高清摄像机；外部设备：光源、镜头和支架等。

（2）实验参数

图像分辨率为1 920×1 080像素；像素深度为10 Bit；超像素块数量为200；平滑项参数为0.1；迭代次数为200次。

具体实验现场图如图2所示。

2.2　图像分割性能分析

2.2.1　图像分割效果

数据集由336张不同拍摄角度的交通图像及其相应的标注图构成，分辨率大小均为1 280×1280像素，图3所示为该数据集中的一张示例。

对图3进行标注与分割处理，得到分割结果如图4所示。

在图像分割过程中，首先对预测的结果图做预处理操作，获得对应的标注图像，基于此标注图像做进一步细化处理，将其转变为具有单像素点的图像，至此完成图像分割处理，由上述结果可知，本文方法能够有效分割图像目标与图像背景。

2.2.2　CM与UM性能

为进一步评估分割性能，实验选取区域对比度（CM）与区域一致性（UM）作为客观的衡量标准用于深入分析。其中，CM与UM的数值越高，则标志着图像分割的效果越优，具体的实验结果如表1所示。

分析表1中的CM指标可知：编码为01的测试样本，本文算法的CM可达0.578 5，Hough图像分割算法的CM为0.547 2，基于PCNN的图像分割算法的CM为0.522 8；编码为04的测试样本，本文算法的CM可达0.597 7，Hough图像分割算法的CM为0.500 5，基于PCNN的图像分割算法的CM为0.497 7。

分析表1中的UM指标可知：编码为02的测试样本，本文算法的UM可达0.899 6，Hough图像分割算法的UM为0.863 6，基于PCNN的图像分割算法的UM为0.846 9；编码为03的测试样本，本文算法的UM可达0.913 2，Hough图像分割算法的UM为0.856 3，基于PCNN的图像分割算法的UM为0.831 1。

综合以上结果表明，本文方法在区域对比度与区域一致性上都有较好的效果。说明将本文算法用于图像分割获取的分割效果更优，可为后续的图像视觉显著目标快速识别奠定坚实的基础。

3.3　目标识别效果

为了验证本文方法对目标的识别鲁棒性，采用本文算法、Hough图像分割算法以及基于PCNN的图像分割算法进行不同类型噪声下的召回率验证，得到的结果如表2所示。

分析表2可知：高斯噪声下，Hough图像分割算法的目标识别召回率为68%，基于PCNN的图像分割算法的目标识别召回率为72%，本文算法的目标识别召回率可达99%；椒盐噪声下，Hough图像分割算法的目标识别召回率为76%，基于PCNN的图像分割算法的目标识别召回率为70%，本文算法的目标识别召回率可达98%；脉冲噪声下，Hough图像分割算法的目标识别召回率为81%，基于PCNN的图像分割算法的目标识别召回率为79%，本文算法的目标识别召回率可达99%。上述结果表明，本文算法在各类型噪声下都具有较高的目标识别召回率，验证了本文算法的识别鲁棒性。

3 结束语

本文提出了基于机器视觉的图像视觉显著目标快速识别算法，利用傅里叶变换滤波增强原始图像处理，增强对光照变化、背景复杂性等因素的鲁棒性，提升对噪声的抵抗力，引入形态学迭代腐蚀方法有效区分目标区域与噪声区域，实现图像的高清晰度分割，计算各个尺度下超像素的显著度均值，并对其展开融合处理，实现图像视觉显著目标识别。大量实验分析证明：本文算法可以提取图像骨架，实现图像有效分割，且区域一致性与区域对比度能够有效提高，获取精准的图像视觉显著目标快速识别结果。

参考文献

[1] 廖辉传, 赵海霞. 基于分类器决策融合的红外图像目标识别方法[J]. 红外与激光工程, 2022, 51(8): 282-287.

[2] Liao Hui-chuan, Zhao Hai-xia. Infrared image target recognition method based on decision fusion of classifiers[J]. Infrared and Laser Engineering, 2022, 51 (8): 282-287.

[3] 徐志京, 孙久武, 霍煜豪. 多特征区域的细粒度船舶图像目标识别方法[J]. 计算机工程与应用, 2022, 58(10): 224-230.

[4] Xu Zhi-jing, Sun Jiu-wu, Huo Yu-hao. Fine-grained ship image target recognition method based on multiple feature regions[J]. Computer Engineering and Applications, 2022, 58(10): 224-230.

[5] 尤锟, 张全成, 李凯勇. 基于三维激光点云的运动图像动态目标识别方法[J].应用激光, 2022, 42(4): 147-153.

[6] You Kun, Zhang Quan-cheng, Li Kai-yong. Dynamic object recognition method in moving image based on three-dimensional laser point cloud[J]. Applied Laser, 2022, 42 (4): 147-153.

[7] 严荣慧, 谢海成, 花敏恒, 等. 基于运动与表象特征的广域船舶目标识别方法[J]. 中国舰船研究, 2022, 17(1): 227-234.

[8] Yan Rong-hui, Xie Hai-cheng, Hua Min-heng, et al. Wide-area ship target recognition method based on motion and appearance features[J]. Chinese Journal of Ship Research, 2022, 17(1): 227-234.

[9] 张官荣, 赵玉, 陈相, 等. 基于CFAR和CNN的SAR图像目标识别技术[J]. 电光与控制, 2022, 29(7): 119-125.

[10] Zhang Guan-rong, Zhao Yu, Chen Xiang, et al. SAR image target recognition technology based on CFAR and CNN[J]. Electronics Optics & Control, 2022, 29(7): 119-125.

[11] Guo L, Yang R, Zhong Z, et al. Target recognition method of small UAV remote sensing image based on fuzzy clustering[J].Neural Computing & Applications,2022,34(15):12299-12315.

[12] 李向荣, 陈永康, 王志刚, 等. 一种基于视觉的库区可疑目标识别算法研究[J]. 北京理工大学学报, 2022, 42(4): 424-429.

[13] Li Xiang-rong, Chen Yong-kang, Wang Zhi-gang, et al. Research on a vision-based suspicious target recognition algorithm in reservoir area[J]. Transactions of Beijing Institute of Technology, 2022, 42(4): 424-429.

[14] 赵鹏宇, 王宗彦, 何晓, 等. 基于机器视觉的Delta机器人目标识别算法研究[J]. 工具技术, 2022, 56(3): 113-117.

[15] Zhao Peng-yu, Wang Zong-yan, He Xiao, et al. Research on target recognition and grabber of delta robot based on machine vision[J]. Tool Engineering, 2022, 56(3): 113-117.

[16] 袁小平, 何祥, 王小倩, 等. 基于多层级特征自适应融合的图像分割算法[J]. 浙江大学学报: 工学版, 2022, 56(10): 1958-1966.

[17] Yuan Xiao-ping, He Xiang, Wang Xiao-qian, et al. Image segmentation algorithm based on multi-level feature adaptive fusion[J]. Journal of Zhejiang University(Engineering Science), 2022, 56(10): 1958-1966.

[18] 倪波, 蔡贤涛. Parzen窗算法下图像视觉显著目标识别仿真[J].计算机仿真, 2023, 40(11): 161-164, 266.

[19] Ni Bo, Cai Xian-tao. Simulation of visual significant object recognition in images using Parzen window algorithm[J]. Computer Simulation, 2023, 40(11): 161-164, 266.

基金资助

2022广东省科技专项基金项目(SDZX2022009)