基于改进YOLOv8模型的交通标志检测方法

Traffic Sign Detection Method Based on Improved YOLOv8 Model

摘要

当前交通标志检测方法主要依赖单阶段深度学习算法构建的目标检测模型，存在检测精度低、模型通用性弱等问题。为解决这类问题，提出一种基于改进YOLOv8模型的交通标志检测方法。该方法通过引入基于注意尺度序列融合的机制，提升了神经网络对于多尺度信息的提取能力；通过增加小目标检测层，使得方法更适用于小目标检测；采用RT-DETR的检测头，通过解耦尺度内交互和跨尺度融合高效处理多尺度特征。此外，为了克服现有交通标志检测方法在弱泛化方面的局限性，提高包围盒回归的准确性和效率，采用一种全新的损失函数inner-mpdiou，有效提高了模型的训练效率和精度。基于清华-腾讯100K（TT100K）数据集的实验结果表明：在保证实时性的前提下，该方法平均精度高达84.0%，相较于目前国际主流YOLOv8模型，提高了7.1%，整体模型大小降低了12.9%，提升了低分辨小目标检测有效性。

Abstract

Current methods for traffic sign detection primarily rely on single-stage deep learning algorithms to construct target detection models, which suffer from low detection accuracy and weak model generalizability. To address these issues, a traffic-sign detection method based on an improved the YOLOv8 model was proposed. This method introduces an attention-scale sequence fusion mechanism that enhances the ability of the neural network to extract multi-scale information. The addition of a small-object detection layer makes this method more suitable for small-object detection. Additionally, it adopts the RT-DETR detector head to process multi-scale features efficiently by decoupling the intra-scale interactions and cross-scale fusions. Moreover, to overcome the limitations of existing methods in terms of weak generalization and to improve the accuracy and efficiency of bounding box regression, a novel loss function， inner-mpdiou， is employed, which effectively improves the training efficiency and accuracy of the model. Experimental results on the Tsinghua-Tencent 100K (TT100K) dataset showed that under the premise of real-time performance, this method achieved an average accuracy of up to 84.0%. Compared with the current international mainstream YOLOv8 model, its average accuracy was improved by 7.1%, and the overall model size was reduced by 12.9%, thereby enhancing the effectiveness of low-resolution small object detection.

Graphical abstract

0　 引 言

目标检测作为计算机视觉中最基本、最具挑战性的问题之一，近年来受到了广泛的关注^[1]，小目标检测是目标检测的一大分支，由于小目标像素占比小、语义信息有限、易受复杂场景干扰、小目标本身易聚集以及易被遮挡，导致小目标检测一直是目标检测领域中的一大难点^[2]。交通标志检测作为小目标检测的一个重要应用领域，不仅需要应对该领域的通用挑战，同时需要面对该领域特有的复杂性，例如复杂的路况和恶劣的天气条件可能会导致交通标志信息模糊、扭曲、图像过曝、欠曝甚至遮挡，影响其可见性^[3]。

现有的交通标志检测(Traffic Sign Recognition, TSR)^[4]方法主要分为传统算法和深度学习算法两大类。传统算法通常通过提取颜色特征和形状特征检测交通标志，这类算法可以在简单的环境下检测交通标志，但由于其特征提取能力较弱，无法满足复杂背景下小型交通标志检测任务的需求^[5-8]。基于深度学习的目标检测算法由于其强大的特征提取能力，逐渐成为交通标志检测的主流方向。

随着深度学习的进一步发展，涌现出许多分支方法，例如自适应学习^[9]、监督学习^[10]、联邦学习^[11]、多模态关系学习^[12]、主动联合先验学习^[13]等。这些方法在各自领域内都展现出了独特的优势和应用价值。然而，当聚焦于目标检测这一特定领域时，基于卷积神经网络（Convolutional Neural Networks, CNN）凭借其深层的网络结构和强大的特征提取能力展现出了卓越的性能。CNN的检测框架主要分为两阶段检测算法和单阶段检测算法^[14]。两阶段检测算法的检测精度较高，但时间复杂度也较高，且检测头设计较冗余^[15]。虽然许多研究已经改善了这些检测算法的性能，但现有的两阶段检测算法难以应用于实时检测^[16]，YOLO（You only look once）作为单阶段检测算法的代表，解决了这一问题。YOLO将整个网络视为单个通道，同时预测全图像的边界框和概率，并在一步推理中检索所有对象^[17]。单阶段检测算法具有实时性好，易于部署等特点^[1]，但此方法主要受到以下限制:

1) 精度低：检测器的性能和数据集的特性限制了精度，特别是对于小目标。

2) 泛化能力低：YOLO模型表现出对数据集质量的高度依赖性，导致不同的数据集的检测性能存在显著差异和不稳定性。

因此，本文主要从提高YOLO模型的性能和改善现有方法对于数据集质量的高度依赖性两个方面解决上述问题。本文在YOLOv8的基础上改进了Neck部分和Head部分，得到改进的YOLOv8模型，所设计的模型尺度序列特征融合模块(Scale Sequence Feature Fusion,SSFF)通过结合多尺度图像的全局或高级语义信息，增强网络对不同大小和形状小目标的多尺度特征提取能力。此外，模型使用了RT-DETR（Revisiting DETR with Transformers）的检测头，能够通过解耦多尺度特征的内部尺度交互和跨尺度融合高效处理不同尺度的特征。为改善模型的局限性，本文融合了多种损失函数的思想，提出了inner-mpdiou损失函数，该损失函数能够根据不同的检测样本采用不同尺度的辅助边界框，有效提高模型训练的效率，并且引入了缩放因子比率来控制计算损失时辅助边界框的尺度大小，保证了其适用性和有效性。

1　 相关工作

在工业应用中已经实现了图像中大中型物体的准确检测，然而，小物体的准确检测仍然是一个挑战。复杂背景中尺度的微小变化和巨大的相似性使得交通标志难以识别。Lu等^[18]引入了双路径注意力模块细化特征，突出小物体的关键信息，并最大限度地减少背景干扰，提高了模型对小目标的识别性能。Huang等^[19]采用了一种自注意机制自适应的增强不同金字塔级别的特征，证明了尺度变化仍然是目前检测器的瓶颈。Hong等^[20]利用时序选择模块引导较深的层向较浅的层提供合适的特征，提高了模型性能和处理不平衡数据集的能力。这表明多尺度特征融合对于增强小目标表示和检测性能至关重要。

上述方法虽然解决了模型对于小目标检测精度较低的问题，但交通标志检测同时存在着实时性的要求。Wang等^[21]在改进的Faster R-CNN网络中引入了Score-IOU平衡抽样方法，能获得质量更好的候选框，高效地解决现实中小交通标志的检测与识别问题。Hoang等^[22]基于自适应ROI（Region of Interest）和RetinaNet检测，分类道路上的箭头和自行车标记，丢弃了其他不相关的噪声，增强了模型的性能。为了追求实时检测，Zhang等^[23]提出了一种由预处理、道路交通标志检测和分割组成的方法，在道路交通标志检测阶段采用轻量级网络和注意力机制相结合的方法提高准确性和对交通标志的敏感性。这些多阶段检测方法虽然解决了交通标志检测的实时性问题，但在实际应用场景需要将模型部署在移动设备上，以便在真实的环境中快速、准确地检测出不同大小和形状的交通标志。因此，模型需要在参数个数较少、检测速度较快的情况下，提高多尺度目标的检测性能。基于以上需求，本文选取最新的单阶段检测器YOLOv8模型。

YOLOv8在YOLOv5的基础上，引入了新功能和改进，进一步提升了性能和灵活性。如今，因其设计快速、准确且易于使用的特点，YOLOv8已经成为了各种物体检测与跟踪、实例分割、图像分类等任务的绝佳选择。YOLOv8整体上的结构与YOLOv5类似，如图1所示，相对于YOLOv5，YOLOv8主要有如下改进：

1） 将C3模块替换为C2f模块，实现了进一步的轻量化；

2） 将YOLOv5中的PAN-FPN上采样阶段中的卷积结构删除；

3） 采用了解耦的输出头部，并且采用了Anchor-free的思想；

4） 舍弃了物体的置信度损失，引入了Distribution Focal Loss函数。

2　 本文方法

本文方法主要分为图像预处理和模型推理两个阶段，如图2所示。首先对原始图像进行预处理，例如通过LetterBox将原始图像的尺寸转换为网络所需的输入尺寸（640×640），并对图像进行归一化处理，将像素值范围从[0,255]转换至[0,1]；然后进行模型推理，推理流程如下：

1） Backbone：图像通过模型的主干网络进行初步处理；

2） 特征提取：从图像中提取出有用的特征信息；

3） 通过Neck：将Backbone的输出传递到Neck部分；

4） 特征融合：Neck部分将不同尺度的特征图进行融合，以增强特征的表达能力；

5） 送入Head：将融合后的特征图送入Head部分进行最终预测；

6） 预测边界框和类别：Head部分预测出目标的边界框和类别；

7） 应用阈值过滤：移除置信度低于预设阈值的预测结果；

8） 非极大值抑制（Non⁃Maximum Suppression，NMS）：对剩余的预测结果执行NMS操作，以去除重叠的检测框并保留最佳的预测结果；

9） 输出检测结果：输出最终的检测结果，包括目标的类别和边界框信息。

本文方法具有3个关键点：（a）在原YOLOv8模型的Neck部分引入了SSFF模块，增强了多尺度信息提取能力，同时提升了特征表达的丰富性；（b）在原YOLOv8模型的Head部分引入了RE-DETR模型检测头，提升了对复杂场景和对象关系的理解能力；（c）优化了损失函数，使得模型有着更高的收敛速度、更强的泛化能力。改进的YOLOv8模型架构如图3所示。

2.1　Neck改进

针对交通标志的多尺度问题，现有文献仅采用求和或级联的方法进行金字塔特征融合^[24]。然而，特征金字塔的网络结构在充分利用各层级特征图之间的相关性方面存在局限性。为了克服这一限制，新的特征融合策略应运而生，这些策略强调不同尺度特征之间的交互关系，通过引入注意力机制或深度特征融合，能够更全面地挖掘和利用多尺度信息。这种方法不仅提高了特征的表达能力，还增强了模型在处理多尺度目标时的鲁棒性。

为了进一步提升网络的多尺度信息提取能力，本文引入了ASF机制^[24]中的SSFF模块。SSFF模块的优势在于能够有效地整合深度特征图中的高维信息与浅层特征图中的细节信息，通过评估不同尺度特征的权重，能更加专注于对小目标检测更为关键的细节信息。这种加权融合策略既能强化对小目标识别更有效的特征，又能抑制与其不相关的信息，显著增强了模型对小目标的检测性能。

SSFF模块结构如图4所示，该模块用于融合P3、P4和P5的特征图，这些特征图捕获了各种大小和形状的不同空间尺度。在SSFF模块中，P3、P4和P5特征图被归一化为相同的大小进行上采样，将上采样后的特征图堆叠，形成3D Conv的输入，以实现多尺度特征的整合，然后通过批量归一化（Batch Normalization，BN）来加速网络收敛，最后通过激活函数SiLU缓解梯度消失问题。因SSFF模块是基于特征金字塔P3层设计的，其主要功能包括：

1) 使用1×1的卷积将P4和P5层的特征通道数更改为256；

2) 使用最近邻插值方法将P4和P5层的大小调整为P3层的大小；

3) 将每个特征层的维度增加，将其从三维张量更改为四维张量；

4) 将四维特征图沿着深度维度连接以形成用于后续卷积的三维特征图；

5) 使用三维卷积、三维批量归一化和SiLU激活函数^[25]完成尺度序列特征提取。

为了进一步提升小目标的检测能力，本研究还引入了小目标检测层P2，增加了一个分辨率为160×160的检测特征图，专门用于检测4×4像素以上的微小目标。同时通过优化模型结构，使新加入的小目标检测层能更好地与现有层融合，共同提升模型的整体性能。新增的小目标检测层与原有的多层检测结构协同工作，能够共同捕获从小到大的各类目标特征，从而不仅提高了小目标的检测精度，还改善了多尺度目标的检测效果。

2.2　Head改进

为提高模型的特征处理效率，本研究引入了RT-DETR的检测头，该检测头通过解耦尺度内交互和跨尺度融合高效地处理多尺度特征。RT-DETR的检测头采用Deformable Transformer Decoder，增强了模型对输入数据的灵活处理能力。为了确保实时目标检测的速率，RT-DERT检测头仅在高层级的特征上应用Encoder，大幅减少了计算量并加快了计算速度，同时未损害模型性能。

YOLOv8原本的损失函数是CIoU^[26]，计算公式如（1）式所示。

\mathrm{C}\mathrm{I}\mathrm{o}\mathrm{U}=\mathrm{1}-\mathrm{I}\mathrm{o}\mathrm{U}+\frac{{\rho }^{\mathrm{2}}(B,B^{\mathrm{g}\mathrm{t}})}{c^{\mathrm{2}}}+\alpha \bullet v（1）

\mathrm{I}\mathrm{o}\mathrm{U}=\frac{\left|B\bigcap B^{\mathrm{g}\mathrm{t}}\right|}{\left|B\bigcup B^{\mathrm{g}\mathrm{t}}\right|}

v=\frac{\mathrm{4}}{{\mathrm{\pi }}^{\mathrm{2}}}{(\mathrm{a}\mathrm{r}\mathrm{c}\mathrm{t}\mathrm{a}\mathrm{n}\frac{W}{H}-\mathrm{a}\mathrm{r}\mathrm{c}\mathrm{t}\mathrm{a}\mathrm{n}\frac{W^{\mathrm{g}\mathrm{t}}}{H^{\mathrm{g}\mathrm{t}}})}^{\mathrm{2}}

\alpha =\frac{v}{\mathrm{1}-\mathrm{I}\mathrm{o}\mathrm{U}+v}

其中，\mathrm{I}\mathrm{o}\mathrm{U}表示基本的损失函数，是一个简单有效的度量预测边界框和真实边界框重叠程度的指标；B表示预测边界框，B^{\mathrm{g}\mathrm{t}}表示真实边界框；{\rho }^{\mathrm{2}}(B,B^{\mathrm{g}\mathrm{t}})表示预测边界框和真实边界框的中心点之间的欧几里得距离；c表示最小封闭矩形对角线长度；\alpha是一个超参数，用于平衡中心点距离和边界框尺寸之间的权重；v是边界框的宽高比率的调整因子；W和H代表预测框的宽度和高度，W^{\mathrm{g}\mathrm{t}}和H^{\mathrm{g}\mathrm{t}}代表真实边界框的宽度和高度。

尽管CIoU在某些情况下提供了更全面和准确的边界框评估，但是其公式中v反映的是纵横比的差异，而不是宽高分别与其置信度的真实差异，所以有时会阻碍模型有效的优化相似度。

为解决上述问题，本文结合inner-iou^[27]和mpdiou^[28]提出了一个新的损失函数（简称inner-mpdiou），其可以在克服现有方法弱泛化的局限性的同时提高包围盒回归的准确性和效率，计算公式如(2)~(11)式所示。

b_{\mathrm{l}}^{\mathrm{g}\mathrm{t}}=x^{\mathrm{g}\mathrm{t}}-\frac{w^{\mathrm{g}\mathrm{t}}\times \mathrm{r}\mathrm{a}\mathrm{t}\mathrm{i}\mathrm{o}}{\mathrm{2}},b_{\mathrm{r}}^{\mathrm{g}\mathrm{t}}=x^{\mathrm{g}\mathrm{t}}+\frac{w^{\mathrm{g}\mathrm{t}}\times \mathrm{r}\mathrm{a}\mathrm{t}\mathrm{i}\mathrm{o}}{\mathrm{2}}（2）

b_{\mathrm{t}}^{\mathrm{g}\mathrm{t}}=y^{\mathrm{g}\mathrm{t}}-\frac{h^{\mathrm{g}\mathrm{t}}\times \mathrm{r}\mathrm{a}\mathrm{t}\mathrm{i}\mathrm{o}}{\mathrm{2}},b_{\mathrm{b}}^{\mathrm{g}\mathrm{t}}=y^{\mathrm{g}\mathrm{t}}+\frac{h^{\mathrm{g}\mathrm{t}}\times \mathrm{r}\mathrm{a}\mathrm{t}\mathrm{i}\mathrm{o}}{\mathrm{2}}（3）

b_{\mathrm{l}}=x-\frac{w\times \mathrm{r}\mathrm{a}\mathrm{t}\mathrm{i}\mathrm{o}}{\mathrm{2}},b_{\mathrm{r}}=x+\frac{w\times \mathrm{r}\mathrm{a}\mathrm{t}\mathrm{i}\mathrm{o}}{\mathrm{2}}（4）

b_{\mathrm{t}}=y-\frac{h\times \mathrm{r}\mathrm{a}\mathrm{t}\mathrm{i}\mathrm{o}}{\mathrm{2}},b_{\mathrm{b}}=y+\frac{h\times \mathrm{r}\mathrm{a}\mathrm{t}\mathrm{i}\mathrm{o}}{\mathrm{2}}（5）

\mathrm{i}\mathrm{n}\mathrm{t}\mathrm{e}\mathrm{r}=\left(\mathrm{m}\mathrm{i}\mathrm{n}\left(b_{\mathrm{r}}^{\mathrm{g}\mathrm{t}},b_{\mathrm{r}}\right)-\mathrm{m}\mathrm{a}\mathrm{x}\left(b_{\mathrm{l}}^{\mathrm{g}\mathrm{t}},b_{\mathrm{l}}\right)\right)\times

\left(\mathrm{m}\mathrm{i}\mathrm{n}\left(b_{\mathrm{b}}^{\mathrm{g}\mathrm{t}},b_{\mathrm{b}}\right)-\mathrm{m}\mathrm{a}\mathrm{x}\left(b_{\mathrm{t}}^{\mathrm{g}\mathrm{t}},b_{\mathrm{t}}\right)\right)（6）

\mathrm{u}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{n}=\left(w^{\mathrm{g}\mathrm{t}}\times h^{\mathrm{g}\mathrm{t}}\right)\times {\left(\mathrm{r}\mathrm{a}\mathrm{d}\mathrm{i}\mathrm{o}\right)}^{\mathrm{2}}+\left(w\times h\right)\times

{\left(\mathrm{r}\mathrm{a}\mathrm{d}\mathrm{i}\mathrm{o}\right)}^{\mathrm{2}}-\mathrm{i}\mathrm{n}\mathrm{t}\mathrm{e}\mathrm{r}（7）

\mathrm{I}\mathrm{o}{\mathrm{U}}^{\mathrm{i}\mathrm{n}\mathrm{n}\mathrm{e}\mathrm{r}}=\frac{\mathrm{i}\mathrm{n}\mathrm{t}\mathrm{e}\mathrm{r}}{\mathrm{u}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{n}}（8）

d_{\mathrm{1}}^{\mathrm{2}}=(b_{\mathrm{l}}-b_{\mathrm{l}}^{\mathrm{g}\mathrm{t}}{)}^{\mathrm{2}}+(b_t-b_{\mathrm{t}}^{\mathrm{g}\mathrm{t}}{)}^{\mathrm{2}}（9）

d_{\mathrm{2}}^{\mathrm{2}}=(b_{\mathrm{r}}-b_{\mathrm{r}}^{\mathrm{g}\mathrm{t}}{)}^{\mathrm{2}}+(b_{\mathrm{b}}-b_{\mathrm{b}}^{\mathrm{g}\mathrm{t}}{)}^{\mathrm{2}}（10）

\mathrm{I}\mathrm{o}{\mathrm{U}}^{\mathrm{i}\mathrm{n}\mathrm{n}\mathrm{e}\mathrm{r}‐\mathrm{m}\mathrm{p}\mathrm{d}}=\frac{\mathrm{i}\mathrm{n}\mathrm{t}\mathrm{e}\mathrm{r}}{\mathrm{u}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{n}}-\frac{d_{\mathrm{1}}^{\mathrm{2}}}{w^{\mathrm{2}}+h^{\mathrm{2}}}-\frac{d_{\mathrm{2}}^{\mathrm{2}}}{w^{\mathrm{2}}+h^{\mathrm{2}}}（11）

其中，b_{\mathrm{l}}^{\mathrm{g}\mathrm{t}}、b_{\mathrm{r}}^{\mathrm{g}\mathrm{t}}、b_{\mathrm{t}}^{\mathrm{g}\mathrm{t}}、b_{\mathrm{b}}^{\mathrm{g}\mathrm{t}}分别代表真实边界框的左、右、上、下边界坐标；b_{\mathrm{l}}、b_{\mathrm{r}}、b_{\mathrm{t}}、b_{\mathrm{b}}分别代表预测边界框的左、右、上、下边界坐标。x^{\mathrm{g}\mathrm{t}}和y^{\mathrm{g}\mathrm{t}}代表真实边界框的中心坐标；x和y代表预测边界框的中心坐标。w^{\mathrm{g}\mathrm{t}}和h^{\mathrm{g}\mathrm{t}}代表真实边界框的宽度和高度；w和h代表预测边界框的宽度和高度。\mathrm{r}\mathrm{a}\mathrm{d}\mathrm{i}\mathrm{o}代表缩放比例，用于调整真实边界框的大小，取值范围通常为[0.5,1.5]。\mathrm{i}\mathrm{n}\mathrm{t}\mathrm{e}\mathrm{r}和\mathrm{u}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{n}分别代表交集区域和并集区域的面积。\mathrm{I}\mathrm{o}{\mathrm{U}}^{\mathrm{i}\mathrm{n}\mathrm{n}\mathrm{e}\mathrm{r}}表示交集区域和并集区域的比例；d_{\mathrm{1}}^{\mathrm{2}}和d_{\mathrm{2}}^{\mathrm{2}}分别代表预测边界框与真实边界框左边界之间的平方距离和右边界之间的平方距离，\mathrm{I}\mathrm{o}{\mathrm{U}}^{\mathrm{i}\mathrm{n}\mathrm{n}\mathrm{e}\mathrm{r}‐\mathrm{m}\mathrm{p}\mathrm{d}}表示本文所提出的损失函数。

3　 实 验

3.1　数据集

TT100K数据集是清华大学与腾讯^[29]联合制作的大型交通标志数据集。该数据集包含了各种复杂环境和天气条件下的大量道路交通标志，数据集内标志规模非常小，很接近实际应用场景，检测难度极大。

TT100K数据集包含221类交通标志，每个数据样本的尺寸为2 048×2 048，由于原图像的尺寸较大，本实验对原图像进行裁剪，裁剪后的图像比例为640×640。原始数据集共有6 107个训练数据和3 073个测试数据。数据集类别示例如图5所示，其中以“w”开头的标志为警告标志，以“p”开头的标志为禁止标志，以“i”开头的标志为指示标志，以“*”结尾的标志为数值标志，例如ph*可能会代表ph3.5、ph5.5等。

根据数量查询，大量的交通标志类别在TT100K数据集中所占比例不足1%，没有代表性，无法有效学习。因此，我们分析了该数据集中各种类型的交通标志的数量，并选择了45个数量超过100的交通标志类别，以平衡数据集中不同类别的交通标志造成的样本差异。

3.2　参数设置

本次实验的硬件平台为Intel(R) i5-13400F CPU,32 GB RAM,NVIDIA GeForce GTX4090 24 G显卡，操作系统为Ubuntu 20.04。通过观察模型实际的训练效果，实验中调整适合的超参数，在训练过程中，学习率的初始值为0.01，batch设置为16，epoch设置为500，使用SGD作为优化器。在训练过程中采用余弦退火策略降低学习率。

3.3　评估标准与训练过程

本文采用平均精度（mAP）、检测速度、模型大小、精确率(Precision)和召回率(Recall)作为评估标准，全面判断模型的性能优劣。各评估标准的计算公式如下：

\mathrm{m}\mathrm{A}\mathrm{P}=\frac{\mathrm{1}}{N}{\displaystyle \sum _{i=\mathrm{1}}^N}\mathrm{A}{\mathrm{P}}_i（12）

P=\frac{\mathrm{T}\mathrm{P}}{\mathrm{T}\mathrm{P}+\mathrm{F}\mathrm{P}}（13）

R=\frac{\mathrm{T}\mathrm{P}}{\mathrm{T}\mathrm{P}+\mathrm{F}\mathrm{N}}（14）

其中，AP是单个类的精度（\mathrm{A}\mathrm{P}={\int }_{\mathrm{0}}^{\mathrm{1}}P(r)\mathrm{d}r）；mAP是所有类的平均AP；TP（True Postive）代表真阳性，FP(False Postive)代表假阳性，FN（False Negative）代表假阴性。P(Precision)代表精度，R(Recall)代表召回率。

3.4　实验结果分析

为了证明本文方法在交通标志检测中的优势，将其与YOLOv5s、YOLOv8、YOLOv4-Tiny、YOLOX^[30]、SSD^[31]、Mask-SSD^[32]、Faster-YOLOv8^[33]进行了比较，结果如表1所示。由表1可知，本文方法mAP为84.0%，比YOLOv8高7.1%，比Faster-YOLOv8高6.2%，表明本文方法具有有效性和优越性。图6展示了本文方法与YOLOv8检测结果的对比，由图6可知，本文方法的置信度相较于YOLOv8的置信度有一定的提升。

表2展示了YOLOv8和本文方法在TT100K数据集中不同交通标志类别的检测性能。本文方法检测禁止交通标志类、指示交通标志类、警告交通标志类的AP分别为82.7%、89.7%、81.4%，与YOLOv8相比分别提高了7.9%、3.8%、7.1%。实验结果表明本文通过融合P3、P4和P5层的特征图，使模型能够更有效的提取多尺度的信息，帮助模型聚焦于重要特征，由此提高了模型性能。

图7对比了本文方法与YOLOv8的精确率和召回率。由图7可以清楚地观察到，无论是召回率曲线还是精确率曲线，本文方法都显著地超越了YOLOv8。召回率的提升说明了本文方法在识别小目标时能够更全面地覆盖到更多的相关目标，减少遗漏；精确率的提升则表明本文方法在识别过程中能够更准确地区分目标与非目标，减少了误识别的情况。本文方法的优化不仅体现在数值上的提升，更重要的是在实际应用中能够为用户带来更为准确和可靠的检测结果，显著提升了模型在处理复杂且多变场景下的实际价值。

3.5　消融实验

表3显示了在YOLOv8模型上增量添加Neck和Head组件训练的消融结果。结果表明，YOLOv8基准的检测mAP为76.9%。通过分别添加Head及Neck组件，mAP分别提高到79.4%和80.5%。

当IoU阈值在0.5时，从图8(a)可以看出，训练过程中，本文模型曲线的斜率较YOLOv8大，表明本文模型在训练开始时具有更强的学习能力，并且在收敛后精度更高，说明了本文模型具有更好的泛化能力，面对复杂环境会更为有利。

将本文方法可视化，如图8(b)所示。从图8(b)可以观察到，本文方法成功识别了实际交通场景中的多尺寸交通标志，图中预测框上方数字表明大多数交通标志置信度维持在0.8以上，几乎没有漏检和误报。

3.6　空间和时间复杂度分析

通过对训练结果的分析，证明了提出的模型在空间复杂度上的有效性。由表3可知本文提出的模型在优化网络结构后，相较于基线模型YOLOv8，其模型大小降低了12.9%。实验结果表明本文方法的改进可以有效减少模型大小，更适宜部署在移动设备上。

因本文方法引入了ASF机制，同时增加了小目标检测层，因此其复杂度也随之增加，实时性也有所降低，但仍能保持交通标志检测实时性的基本要求。

3.7　泛化能力验证

采用CCTSDB2021数据集^[34]对本文方法的泛化能力进行了验证，CCTSDB2021数据集包括不同条件下拍摄的交通标志，例如云雾、夜晚、雨雪、日光直射等情况，验证结果如表4所示。由表4可知，本文方法在该数据集上的mAP相较于YOLOv8提升了2.2个百分点，证明了本文方法泛化能力的有效性。图9展示了本文模型在CCTSDB2021数据集上的检测效果，从左至右代表大雾、雪天、夜晚、雨天、日照、高噪等复杂环境状况。由图9可以看出，在复杂场景中本文方法展示了较高的鲁棒性，能够有效地识别目标，同时证明了本文方法通过对多尺度特征的有效利用，增强了对不同尺寸目标的检测能力，使其能够在复杂环境中适应多样化的目标形态。

4　 结 语

本文从小目标检测精度较低以及现有模型泛化性较弱的难点出发，引入了基于注意尺度序列融合的机制，增强神经网络的多尺度信息提取能力，增加了小目标检测层，用于在高分辨率的图像上提取浅层特征，加强模型对小目标的检测性能；并采用RT-DETR的检测头，通过解耦尺度内交互和跨尺度融合来高效的处理多尺度特征；另外，该方法使用一种全新的损失函数inner-mpdiou，既可以克服现有方法弱泛化的局限性，也提高了包围盒回归的准确性和效率。实验结果表明本文方法能够有效融合多维度信息，在TT100K数据集上达到了84.0%的mAP，与基线模型相比提高了7.1%，同时模型大小仅5.4 MB，更适宜在移动设备上部署，同时满足实时性要求。消融实验和泛化能力验证实验也证明了本文提出模型的优越性。同时本文方法存在着以下局限性：1） 尽管YOLO系列模型在速度上进行了优化，但在追求更高准确性的同时，模型的复杂度再次增加，会对实时性能产生负面影响。高复杂模型在嵌入式或移动设备上可能无法达到实时性能，限制了其在资源受限设备上的部署。2） YOLO模型对计算资源的要求较高，特别是在需要快速处理大量图像数据的情况下。高硬件需求限制了模型在资源受限设备上的使用，增加了部署成本。3） 现有公开交通标志数据集主要集中在某些特定国家，并且多数是在较理想的环境中采集的，缺乏复杂和极端条件的样本。数据多样性不足导致训练出的模型在新的场景或不同国家的交通标志上表现不佳，限制了全球通用性。针对上述几个局限性，我们下一步将尝试对模型进行知识蒸馏，使得模型能够保持较高性能的同时获得更快的推理速度。

参考文献

[1] ZOU Z X， CHEN K Y， SHI Z W， et al. Object detection in 20 years： A survey［J］. Proceedings of the IEEE， 2023， 111（3）： 257-276. DOI： 10.1109/JPROC.2023.3238524 .

[2] 潘晓英， 贾凝心， 穆元震， 等. 小目标检测研究综述［J］. 中国图象图形学报， 2023， 28（9）： 2587-2615. DOI： 10.11834/jig.220455 .

[3] PAN X Y， JIA N X， MU Y Z， et al. Survey of small object detection［J］. Journal of Image and Graphics， 2023， 28（9）： 2587-2615. DOI： 10.11834/jig.220455（Ch ）.

[4] CHU J Q， ZHANG C， YAN M M， et al. TRD-YOLO： A real-time， high-performance small traffic sign detection algorithm［J］. Sensors， 2023， 23（8）： 3871. DOI： 10.3390/s23083871 .

[5] 蒋翼浓， 张世义. 交通标志识别技术综述［J］. 汽车工程师， 2021（8）： 15-18. DOI： 10.3969/j.issn.1674-6546.2021.08.004 .

[6] JIANG Y N， ZHANG S Y. A review of research on detection and recognition methods of traffic signs ［J］. Automotive Engineer， 2021（8）： 15-18. DOI： 10.3969/j.issn.1674-6546.2021.08.004（Ch ）.

[7] 陈晗晗， 王俊英， 任肖月. 交通标志的检测与识别方法研究综述［J］. 信息技术与信息化， 2024（3）： 77-82.

[8] CHEN H H， WANG J Y， REN X Y. Summary of traffic sign recognition technology［J］. Information Technology and Informatization， 2024（3）： 77-82 （Ch）.

[9] 于平平， 齐林， 马苗立， 等. 基于视觉注意机制和形状特征的交通标志检测方法［J］. 数学的实践与认识， 2019， 49（21）： 123-131.

[10] YU P P， QI L， MA M L， et al. Traffic signs detection based on visual attention mechanism and shape feature［J］. Mathematics in Practice and Theory， 2019， 49（21）： 123-131 （Ch）.

[11] DALAL N， TRIGGS B. Histograms of oriented gradients for human detection［C］//2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. New York： IEEE Press， 2005： 886-893. DOI： 10.1109/CVPR.2005.177 .

[12] TAKAKI M， FUJIYOSHI H. Traffic sign recognition using SIFT features［J］. IEEJ Transactions on Electronics， Information and Systems， 2009， 129（5）： 824-831. DOI： 10.1541/ieejeiss.129.824 .

[13] XUE B， YI W J， JING F， et al. Complex ISAR target recognition using deep adaptive learning［J］. Engineering Applications of Artificial Intelligence， 2021， 97： 104025. DOI： 10.1016/j.engappai.2020.104025 .

[14] XUE B， TONG N N. DIOD： Fast and efficient weakly semi-supervised deep complex ISAR object detection［J］. IEEE Transactions on Cybernetics， 2019， 49（11）： 3991-4003. DOI： 10.1109/TCYB.2018.2856821 .

[15] XUE B， HE Y， JING F， et al. Robot target recognition using deep federated learning［J］. International Journal of Intelligent Systems， 2021， 36（12）： 7754-7769. DOI： 10.1002/int.22606 .

[16] XUE B， TONG N N. Real-world ISAR object recognition using deep multimodal relation learning［J］. IEEE Transactions on Cybernetics， 2020， 50（10）： 4256-4267. DOI： 10.1109/TCYB.2019.2933224 .

[17] XUE B， HE Y， JING F， et al. Dynamic coarse-to-fine ISAR image blind denoising using active joint prior learning［J］. International Journal of Intelligent Systems， 2021， 36（8）： 4143-4166. DOI： 10.1002/int.22454 .

[18] WU X W， SAHOO D， HOI S C H. Recent advances in deep learning for object detection［J］. Neurocomputing， 2020， 396： 39-64. DOI： 10.1016/j.neucom.2020.01.085 .

[19] LI Z M， PENG C， YU G， et al. Light-head R-CNN： In defense of two-stage object detector［EB/OL］. 2017： 1711.07264.

[20] ZHOU W， LI C Y， YE Z W， et al. An efficient tiny defect detection method for PCB with improved YOLO through a compression training strategy［J］. IEEE Transactions on Instrumentation and Measurement， 2024， 73： 2003514. DOI： 10.1109/TIM.2024.3390198 .

[21] REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： Unified， real-time object detection［C］//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. New York： IEEE Press， 2016： 779-788. DOI： 10.1109/CVPR.2016.91 .

[22] LU X C， JI J， XING Z Q， et al. Attention and feature fusion SSD for remote sensing object detection［J］. IEEE Transactions on Instrumentation and Measurement， 2021， 70： 5501309. DOI： 10.1109/TIM.2021.3052575 .

[23] HUANG J， CHEN Z X， JONATHAN WU Q M， et al. CATFPN： Adaptive feature pyramid with scale-wise concatenation and self-attention［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2022， 32（12）： 8142-8152. DOI： 10.1109/TCSVT.2021.3087002 .

[24] HONG Z， YAO J， LI K H， et al. Conjunction of active and semi-supervised learning for wireline logs-based automatic lithology identification［J］. IEEE Geoscience and Remote Sensing Letters， 2022， 19： 3008905. DOI： 10.1109/LGRS.2022.3214929 .

[25] WANG F， LI Y D， WEI Y C， et al. Improved faster RCNN for traffic sign detection［C］//2020 IEEE 23rd International Conference on Intelligent Transportation Systems （ITSC）. New York： IEEE Press， 2020： 1-6. DOI： 10.1109/ITSC45102.2020.9294270 .

[26] HOANG T M， NAM S H， PARK K R. Enhanced detection and recognition of road markings based on adaptive region of interest and deep learning［J］. IEEE Access， 2019， 7： 109817-109832. DOI： 10.1109/ACCESS.2019.2933598 .

[27] ZHANG W W， MI Z Y， ZHENG Y C， et al. Road marking segmentation based on siamese attention module and maximum stable external region［J］. IEEE Access， 2019， 7： 143710-143720. DOI： 10.1109/ACCESS.2019.2944993 .

[28] TAN C， YU R W， XIONG S W， et al. Making contract users safer： Towards building a safe browsing platform on Ethereum［J］. ISA Transactions， 2023， 141： 121-131. DOI： 10.1016/j.isatra.2023.04.021 .

[29] ELFWING S， UCHIBE E， DOYA K. Sigmoid-weighted linear units for neural network function approximation in reinforcement learning［J］. Neural Networks， 2018， 107： 3-11. DOI： 10.1016/j.neunet.2017.12.012 .

[30] ZHENG Z H， WANG P， LIU W， et al. Distance-IoU loss： Faster and better learning for bounding box regression［EB/OL］. ［2019-11-19］. DOI: 10.1609/aaai.v34i07.6999 .

[31] ZHANG H， XU C， ZHANG S J. Inner-IoU： More effective intersection over union loss with auxiliary bounding box［EB/OL］. ［2023-11-14］.

[32] MA S L， XU Y. MPDIoU： A loss for efficient and accurate bounding box regression［EB/OL］. ［2023-07-14］. DOI: 10.1016/j.imavis.2024.105381 .

[33] ZHU Z， LIANG D， ZHANG S H， et al. Traffic-sign detection and classification in the wild［C］//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. New York： IEEE Press， 2016： 2110-2118. DOI： 10.1109/CVPR.2016.232 .

[34] GE Z， LIU S T， WANG F， et al. YOLOX： Exceeding YOLO series in 2021［EB/OL］. 2021： arXiv： 2107.08430.

[35] LIU W， ANGUELOV D， ERHAN D， et al. SSD： Single shot MultiBox detector［EB/OL］. 2015： arXiv： 1512.02325. DOI: 10.1007/978-3-319-46448-0_2 .

[36] SUN C， AI Y B， WANG S， et al. Mask-guided SSD for small-object detection［J］. Applied Intelligence， 2021， 51（6）： 3311-3322. DOI： 10.1007/s10489-020-01949-0 .

[37] 高良鹏， 赵博文， 简文良. 基于Faster-YOLOv8网络模型的车载交通标志检测算法研究［J］. 重庆交通大学学报（自然科学版）， 2024， 43 （8）： 114-123.

[38] GAO L P， ZHAO B W， JIAN W L. Vehicle-mounted traffic sign detection algorithm based on faster-YOLOv8 network model［J］. Journal of Chongqing Jiaotong University （Natural Science）， 2024， 43（8）： 114-123 （Ch）.

[39] ZHANG J， ZOU X， KUANG L-D， et al. CCTSDB 2021： A more comprehensive traffic sign detection benchmark ［EB/OL］. ［2022-12-31］.