基于轻量级YOLO网络与注意力机制的车道线检测方法

董乐 ,  罗佳 ,  杨双龙

中北大学学报(自然科学版) ›› 2026, Vol. 47 ›› Issue (3) : 274 -286.

PDF (4518KB)
中北大学学报(自然科学版) ›› 2026, Vol. 47 ›› Issue (3) : 274 -286. DOI: 10.62756/jnuc.issn.1673-3193.2025.09.0012
目标检测技术专栏

基于轻量级YOLO网络与注意力机制的车道线检测方法

作者信息 +

Lane Detection Method Based on Lightweight YOLO Network and Attention Mechanism

Author information +
文章历史 +
PDF (4625K)

摘要

当前基于深度学习的车道线检测算法普遍存在实时性不足、 全局特征建模能力有限等问题, 且相关研究大多停留于仿真环境验证阶段, 缺乏面向实际嵌入式系统的部署验证。本文提出了一种基于轻量级YOLO网络与注意力机制的车道线检测方法, 并完成了从算法设计到实车系统的部署与验证。首先, 引入轻量级Faster-Net作为骨干网络, 结合部分卷积(PConv)模块进行结构重构, 在维持特征提取能力的前提下, 显著降低了计算复杂度。其次, 在特征融合网络的SPPF模块后嵌入自注意力机制, 以增强模型对车道线全局结构及长程空间依赖的建模能力, 并抑制复杂背景干扰。结果表明, 该方法在CULane数据集上取得了96.83%的精确率, 单帧推理时间为11.0 ms, 在TuSimple数据集上达到96.33%的准确率, 帧率为90.9帧/s, 性能优于当前主流算法。最后, 将优化后的模型部署于Jetson Orin NX嵌入式平台, 并开展实车沙盘环境下的功能验证, 结果表明, 系统在真实场景中具备良好的稳定性与实时性。本工作不仅提升了车道线检测算法的理论性能, 还实现了该技术由数据集验证走向实际车载系统, 从而为自动驾驶感知技术的工程化应用提供了完整可行的技术路径。

Abstract

Aiming at the current issues in lane detection algorithms based on deep learning, such as insufficient real-time performance, limited global feature modeling capability, and the fact that most related studies remain at the simulation validation stage with a lack of deployment verification for practical embedded systems, this paper proposed a lane detection method based on a lightweight YOLO network and an attention mechanism, and completed the deployment and verification from algorithm design to a real-vehicle system. First, a lightweight Faster-Net was introduced as the backbone network, combined with partial convolution (PConv) modules for structural redesign, which significantly reduced computational complexity while maintaining feature extraction capability. Second, a self-attention mechanism was embedded after the SPPF module of the feature fusion network to enhance the model’s modeling ability for the global structure of lane lines and long-range spatial dependencies, while suppressing interference from complex backgrounds. The results show that the proposed method achieves a precision of 96.83% on the CULane dataset with a single-frame inference time of 11.0 ms, and an accuracy of 96.33% on the TuSimple dataset with a frame rate of 90.9 FPS, outperforming current mainstream algorithms. Finally, the optimized model was deployed on the Jetson Orin NX embedded platform, and functional verification was carried out in a real-vehicle sandbox environment. The results demonstrate that the system exhibits good stability and real-time performance in real-world scenarios. This work not only improves the theoretical performance of lane detection algorithms, but also transitions the technology from dataset validation to practical in-vehicle system implementation, providing a complete and feasible technical pathway for the engineering application of autonomous driving perception technology.

Graphical abstract

关键词

深度学习 / 自动驾驶 / 车道线检测 / 自注意力机制 / Faster-Net / 实车部署

Key words

deep learning / autonomous driving / lane detection / self-attention mechanism / Faster-Net / real-vehicle deployment

引用本文

引用格式 ▾
董乐,罗佳,杨双龙. 基于轻量级YOLO网络与注意力机制的车道线检测方法[J]. 中北大学学报(自然科学版), 2026, 47(3): 274-286 DOI:10.62756/jnuc.issn.1673-3193.2025.09.0012

登录浏览全文

4963

注册一个新账户 忘记密码

0 引 言

以自动驾驶为核心的智能汽车技术已成为人工智能技术落地的重要应用领域, 也是国内外研究的热点之一1。在自动驾驶系统中, 车道线检测技术作为最基础且关键的环节, 直接关系到车辆保持车道行驶与变道决策的准确性和稳定性, 决定无人驾驶任务的成败23。目前, 车道线检测方法分为两类: 传统的车道线检测技术与基于深度学习的车道线检测技术。

传统车道线检测技术主要依赖边缘检测、 几何拟合及颜色特征分析等经典计算机视觉方法4。针对传统方法的局限性, 许多学者提出了改进方案。周发华等5结合车道线的成像特点与斜率特征, 对霍夫变换算法进行了优化, 显著提升了检测效果。尽管传统方法具有计算效率高、 实现简单及实时性强的优势, 但其在动态和复杂驾驶环境下的鲁棒性较差。例如, 在光照变化、 路面遮挡或非直线车道条件下, 传统方法的检测准确性显著下降, 难以满足实际应用需求。

近年来, 随着深度学习技术的快速发展, 深度神经网络在车道线检测算法设计中的应用日益广泛, 并逐渐成为该领域的主要研究方向。卷积神经网络(CNN)凭借其在图像特征提取方面的卓越表现, 为车道线检测性能的提升奠定了坚实基础。神经网络凭借其强大的表征学习能力与非线性映射功能, 能够从海量数据中自动学习高层次特征, 进而实现对目标的精准检测6-8。基于深度学习的车道线检测方法不仅能够有效应对复杂环境下的挑战, 还显著提升了检测的鲁棒性与泛化能力, 为自动驾驶技术的发展提供了强有力的支持。

目前, 基于深度学习的车道线检测流程如图 1 所示, 众多学者在此基础上展开了深入研究, 并取得了显著成果。武丽等9采用了空间卷积网络(Spatial CNN, SCNN), 通过在二维特征图上进行逐像素的纵向传播, 有效捕捉了车道线长且连续的形状特征, 从而显著提升了检测算法的鲁棒性。Krizhevsky等10提出的深度卷积神经网络架构AlexNet, 通过大规模训练学习环境特征, 使其在复杂场景下表现出较高的适应性, 并在检测精度上实现了重要突破。此外, 许多研究通过结合预处理和后处理技术进一步提升了检测性能。

随着自动驾驶技术向高阶演进, 车道检测任务对复杂场景适应性、 空间感知精度及特征表征鲁棒性的要求持续提升。当前研究主要围绕3D车道检测与注意力机制融合两大核心方向突破。

3D车道检测的核心挑战在于精准建模车道的空间结构, 化解视角转换失真、 低能见度干扰、 单目深度估计模糊及复杂地形适配不足等问题。近期研究多通过融入先验知识、 优化网络架构或革新检测范式实现性能突破, SparseLaneSTP算法11利用了车道专用时空注意力机制, 有效避免了传统BEV视角转换导致的特征错位问题。该方法通过连续车道表征与时间正则化技术, 充分利用车道线先验知识降低了误检率。PersFormer12利用关键点检测的策略, 提升了对复杂车道模式的泛化能力。CurveFormer13中给出了一种端到端架构, 无需额外的视图转换模块, 可直接从透视图像特征映射出3D车道检测结果, 解决了单目视觉深度预测难题, LATRLATR中给出了一个端到端的查询驱动架构, 其核心是车道感知查询与动态3D地面嵌入机制, 避免了中间表示, 实现了从图像到3D车道结构的直接检测。CLGO14是一种基于几何约束的单目3D车道检测方法, 通过联合优化相机姿态估计与引入车道线先验知识, 实现了从图像到3D车道结构的预测。Anchor3DLane算法15中给出了无BEV视角的3D锚点回归方案, 通过自适应稀疏锚点生成模块提升复杂路况下的3D车道建模精度, 但模型参数量过大, 难以适配车载低算力平台。

注意力机制可精准聚焦车道线关键特征区域, 抑制背景干扰, 因此被广泛应用于提升车道检测的精度与鲁棒性。该方向的研究核心在于优化注意力模块的设计与网络结构的融合方式, 以适配车道线细长、 稀疏的特征特性。3DLaneNet模型16采用具有多空间金字塔池化模块的编码器-解码器结构, 并引入注意力机制解码器, 有效降低了检测任务中的误识别率。RESA算法17通过反复的特征转移扩大感受野, 增强了对弯曲车道线的检测能力。LSTR方法18将车道检测建模为实例分割问题, 通过深度多项式回归预测车道线的多项式系数, 进而绘制出完整的车道线图像, 实现了高精度的车道线检测。

尽管近年来深度学习技术的广泛应用显著提升了车道线检测算法的性能, 使其表现出相较于传统方法更强的适应性, 但基于深度学习的检测方法仍面临一些挑战。例如, 深度学习模型通常具有较大的参数量和高计算复杂度, 这在一定程度上限制了车道线检测的实时性。此外, 受限于网络的局部感受野, 大多数现有算法在捕捉车道线的全局特性时存在不足, 易受场景中冗余信息的干扰, 导致网络推理能力下降, 难以实现对车道线的高效识别19

针对上述问题, 本文提出了一种基于轻量级YOLO网络的车道线检测方法。该方法采用Faster-Net20作为轻量级特征提取网络, 通过引入部分卷积(Partial Conv)模块对通道信息进行高效处理, 从而大幅减少计算量和内存访问, 显著提高了神经网络的运行效率。在保证计算效率的基础上, 进一步引入自注意力机制。该机制通过降低图像中冗余信息对识别过程的干扰, 增强网络结构的感受野, 使模型能够更全面地捕捉车道线信息, 进而提升模型的识别能力和泛化能力。本文提出的算法为车道线检测任务提供了一种高效的解决方案。

1 基于轻量级YOLO网络的车道线检测方法

本文以YOLOv5分割模型为基准框架, 选用Faster-Net作为骨干网络, 同时在图像输入端后添加自注意力模块, 其算法流程如图 2 所示。

1.1 改进YOLOv5模型

本文选择YOLOv5而非YOLOv8等更新版本, 核心原因如下:

1) 任务适配性: YOLOv5-seg的分割分支专为像素级语义分割设计, 可直接输出车道线掩码, 对细长车道线的边缘定位精度高于YOLOv8-seg的anchor-free机制;

2) 轻量化基础: YOLOv5的参数量仅6.2×106, 远低于YOLOv8的11.2×106, 更适配车载端低算力设备;

3) 工程兼容性: YOLOv5的开源生态成熟, 与车载感知系统的集成成本更低, 而YOLOv8的工业级部署工具链尚未完善。

然而, YOLOv5模型虽具备快速推理优势, 但在复杂图像分割任务中的细节处理能力有限, 易丢失细节特征信息21-23。本文通过对骨干网络进行结构优化, 并引入注意力机制模块, 从而在保持其快速推理优势的同时, 提升车道线检测的精度与鲁棒性。改进后模型结构如图 3 所示。

图 3 中, Conv代表卷积, C3模块代表残差组件集成的卷积结构图, Concat代表张量拼接, self-attention为自注意力机制模块。

改进后的网络结构由输入端(Input)、 骨干网络(Backbone)、 颈部网络(Neck)以及预测(Prediction Head)等4个模块组成。

输入端: 主要用于原始热点图像数据集的数据增强、 预处理, 在模型训练阶段, 采用Mosaic策略, 丰富训练数据背景多样性, 避免单一数据导致的过拟合问题, 提升模型泛化能力。

骨干网络: 更换YOLOv5原有的CSPDarknet骨干网络, 引入Faster-Net轻量级网络, 在不损失精度的前提下降低模型深度, 提升计算效率。

颈部网络: 突破传统Neck网络仅依赖特征拼接(Concat)和多尺度融合的局限, 在SPPF模块后引入自注意力机制模块, 构建特征局部融合与全局特征增强的优化结构, 以实现目标的多尺度特征融合。

预测层: 针对车道线分割任务的二分类特性(像素为车道线或非车道线), 采用二值交叉熵损失函数, 精准衡量模型预测的车道线像素坐标与实际坐标的差异。

1.2 Faster⁃Net网络

在无人驾驶系统的感知任务中, 实时性是一个至关重要的性能指标。然而, 传统的神经网络结构由于其复杂的计算流程和较高的参数量, 往往难以满足高效识别的需求。因此, 本文采用Faster-Net作为骨干网络, 以优化计算效率并提升模型性能, 其网络结构如图 4 所示。Faster-Net的整体架构由4个层次化的阶段构成, 每个阶段均包含一个Faster-Net块。

在网络的初始部分, 设计了一个由步长为4的4×4卷积(Conv)构成的嵌入层, 或由步长为2的2×2卷积构成的合并层, 以实现特征的高效降维和空间信息的初步提取。在每个Faster-Net块中, PConv模块被置于两个逐点卷积层之间, 以进一步优化特征提取过程。此外, 规范化层和激活层被放置在中间层之后, 这一设计不仅有助于保持特征的多样性, 还能显著降低计算延迟, 从而在保证模型性能的同时满足实时性需求。通过上述设计Faster-Net在减少计算复杂度和内存占用的同时, 实现了对空间信息的高效提取, 为无人驾驶感知任务提供了一种高效且鲁棒的解决方案。

L=NFsvFS,

式中: L为延迟(latency), 是自动驾驶感知任务的约束指标, 定义为图像输入模型到输出检测结果的总耗时; vFS为浮点运算速度(floating point operations per second, FLOPS), 表示每秒浮点运算次数, 用于衡量有效计算速度; NFs为浮点运算量(floating point operations, FLOPs), 表示浮点运算总数, 用于衡量模型复杂度。

NFs=h×ω×k2×c2,

式中: h为输入特征图的高度; ω为输入特征图的宽度; k为卷积核的边长; c为特征图的通道数。

PConv的工作原理为在一部分输入通道上应用常规Conv进行空间特征提取, 其余通道保持不变。对于连续的特征提取而言, 将第一个或最后一个连续的Cp 通道视为整个特征图的代表进行计算, 以确保不会丢失特征图的信息。PConv的NFs计算表示为

NFs=h×ω×k2×cp2

在车道线检测任务中, 通过通道注意力机制对Faster-Net骨干网络的特征通道进行分析发现, 仅20%~25%的通道集中了95%以上的有效车道线特征(如边缘纹理、 细长轮廓特征), 其余通道多为路面背景、 噪声等冗余信息。因此, 设Cp=14C, 故, 由式(2)与(3)可知, PConv与Conv的NFs比值为1∶16, 且vFS也与内存访问次数相关, 而PConv由于仅将输入特征图的部分通道用于提取特征值, 在网络中的内存访问也会相应减少, 极大地提升了运算速度。

在保证网络计算效率的前提下, 为保证模型的识别精度, 向PConv附加逐点卷积(PWConv)形成T形卷积, 以充分提取通道信息, 结构如图 5 所示。与常规Conv相比, 其对于数据的处理更多地集中在中心位置, 以确保对输入信息的充分利用, 选择批量归一化(BN)减少模型对输入特征尺度的依赖, 从而提高模型的泛化能力, 选取ReLU作为激活函数进一步提升网络计算效率。

1.3 自注意力机制

基于深度学习的车道线检测算法会受限于其网络感受野及冗余信息的干扰, 进而影响实时检测效果24, 本文采用自注意力机制来增强系统对全局信息的提取能力。现有方法将自注意力机制嵌入骨干网络或预测层, 存在明显缺陷: 嵌入骨干网络易过度抑制局部特征, 导致车道线边缘细节丢失; 嵌入预测层则因特征已压缩, 全局关联计算不充分。本文选择在Neck网络的SPPF模块之后作为嵌入位置, 核心优势如下:

1) 时序适配性: SPPF模块已完成多尺度局部特征融合, 此时引入自注意力机制可直接对局部融合特征进行全局关联建模, 避免早期嵌入对局部细节的破坏;

2) 特征质量保障: Neck网络阶段特征未经过过度压缩, 保留了更丰富的语义信息, 为全局关联计算提供充足支撑;

3) 效率协同: 与Faster-Net轻量级骨干网络形成互补, Faster-Net降低计算复杂度, 自注意力机制提升特征提取能力, 避免单一模块导致的效率或精度损失。

图 6 所示, 自注意力机制采用Query-Key-Value模型进行全局建模, 其中Query代表查询模块, 即需要自注意力机制关注的车道线特征点信息的查询矩阵; Key代表键模块, 是包含车道线及其背景点的全局信息矩阵; Value代表值模块, 用于最后的加权求和, 输出注意力矩阵。

首先对于卷积网络提取的特征矩阵X=[x1x2,…,xn]∈RC×N, 分别计算其QKV

Q=XWQ
K=XWK
V=XWV

式中: WQWKWV随机初始化矩阵, 在训练过程中会不断更新以增强模型的拟合能力。经过计算后得到Q=[q1q2,…,qn]∈RC×NK=[k1k2,…,kn]∈RC×NV=[v1v2,…,vn]∈RC×N分别代表由查询向量、 键向量、 值向量组成的矩阵, C代表矩阵通道数, N代表矩阵像素总数。

之后对每一个输入的元素使用其 Q 值与 K 值进行点积得到其注意力分数矩阵。

Score(Qi,KjT)=QiKjTdK,

式中: dK为键的维度; Qi为第i个查询向量; KjT为第j个键向量的转置。

在得到注意力分数矩阵后, 用softmax函数进行归一化, 计算流程如式(8)所示。得到注意力分布矩阵, 表示输入xi 的注意力权重分布。

aij=softmaxQiKjTdK

最后对注意力权重加权求和, 将结果与矩阵V相乘得到最终的注意力矩阵Z 计算流程如式(9)所示。其中每个元素与输入X特征矩阵中的元素分别对应, Z矩阵中的每个元素表征了特征矩阵中各元素之间的关联程度, 关联程度越高模型赋予其更高的权重。

Z=j=1NaijVj

综上所述, 自注意力机制在车道线检测中的应用主要通过计算车道线像素点之间的关联性, 以增强模型从全局信息中提取车道线特征的能力。在该过程中, 特征矩阵中的各像素点通过查询(Query)、 键(Key)和值(Value)模块进行像素点之间的特征值相似度计算, 最终得到的自注意力矩阵Z表征了特征矩阵中各像素点之间的关联性, 有助于模型从全局信息中提取车道线特征点, 从而提高车道线识别的精度和鲁棒性。

1.4 轻量化分割模型适配

前文1.1节与1.2节通过更换Faster-Net轻量级骨干网络、 引入T形卷积等设计, 初步降低了模型计算复杂度。1.3节通过将自注意力机制创新性嵌入Neck网络SPPF模块后, 有效强化了车道线全局特征关联与抗干扰能力。但在自动驾驶实车场景中, 车载边缘设备存在算力有限、 数据传输带宽受限等硬件约束, 传统分割模型即便经过上述结构改进, 仍难以完全满足实车实时响应要求。因此, 本节设计轻量化分割模型及编码器降维处理方案, 核心作用如下:

1) 算法层面: 在保留车道线分割精度的前提下, 压缩模型的计算量与特征数据量, 通过结构优化实现高精度与高效率的平衡;

2) 工程层面: 为实车部署提供技术支撑, 通过特征降维减少数据传输延迟, 确保模型在车载终端达到实时处理标准, 最终实现算法的实车部署。

轻量化分割模型是基于本文改进YOLOv5架构的像素级分类模型, 其本质是在车道线分割任务的基础上, 通过Faster-Net的部分卷积(PConv)、 精简网络参数、 优化特征提取等轻量化设计, 在保留分割精度的同时降低计算复杂度。

该模型的轻量化特性源于Faster-Net的核心设计, 通过部分卷积模块减少冗余计算, 为实车部署的低延迟提供基础保障。

编码器降维处理是指利用神经网络的编码模块, 对轻量化分割模型输出的高维度特征图进行压缩, 生成低维度、 高辨识度特征表示的过程, 减少数据传输与后续计算复杂度, 适配车载硬件的实时处理需求。编码器处理数据的过程如图 7 所示, 具体流程为:

1) 借助Faster-Net的嵌入层(步长为4的4×4卷积或步长为2的2×2合并层), 对分割后的高维特征图进行初步降维, 在压缩空间维度的同时, 保留车道线边缘、 连续性等关键特征;

2) 通过层次化Faster-Net块的迭代处理, 结合部分卷积(PConv)与逐点卷积(PWConv)构成的T形卷积, 进一步精简特征图的通道数, 剔除冗余信息;

3) 输出低维度特征向量, 保证车道线特征的辨识度, 降低数据传输延迟, 为实车场景中车道保持、 路径规划等后续决策功能提供高效数据支撑。

2 实验结果

2.1 数据集

CULane数据集包含55 688张高分辨率的道路场景图像, 图像的分辨率为1 280×720, 是学术和工业界广泛使用的数据集, 数据集示例如图 8 所示。

TuSimple数据集是车道线检测领域的经典城市道路数据集, 包含6 408张真实城市道路图像, 分辨率为1 280×720, 涵盖平直车道、 弯曲车道、 光照变化、 轻微遮挡等常见城市道路场景。该数据集提供了精确的车道线像素级标注及车道线数量、 类型等属性信息, 是评估车道线检测算法在城市道路场景中性能的核心基准。实验中直接采用数据集官方标注文件, 无需额外标注, 确保实验的公平性。数据集示例如图 9 所示。

本文以CULane与TuSimple数据集作为训练数据集, 先通过格式标准化(保持1280×720分辨率)、 像素归一化(映射至[0,1]区间)消除数据干扰, 再通过自定义标注流程完成车道线语义区域标注及实例ID分配, 适配分割任务需求。数据集采用7∶1∶2的比例划分为训练集、 验证集、 测试集, 确保各子集场景分布均匀。训练阶段采用Mosaic拼接、 随机翻转、 亮度与对比度扰动等在线数据增强策略扩充有效样本, 并结合模型中批量归一化层、 权重衰减(0.000 5)的正则化设计, 以及轻量化网络的低复杂度特性, 有效避免过拟合, 保障模型泛化能力。

2.2 实验环境

采用Windows操作系统, GPU型号是NVIDIA GeForce RTX1650, 编程语言为Python3.8, 实验在PyTorch深度学习框架下运行。相应参数设置如表 1 所示。

本文模型损失函数使用二值交叉熵损失函数(Lseg)衡量模型预测的车道线像素点坐标与实际车道线像素点坐标差异, 从而指导模型优化分割能力并快速收敛, 其原理表示为

Lseg=-ijyijlog(y^ij)

式中: y^ij为像素点i的真实类别; yij 为模型预测的该像素点类别。

2.3 定性分析

基于本文提出的检测算法, 在CULane与TuSimple数据集上进行定性验证, 结果如图 10 所示。

经对比可见原模型存在以下问题:

1) 漏分割问题: 原模型在弯曲车道线区域出现明显的漏分割, 车道线末端断裂, 而本文模型可完整捕捉弯曲车道线的连续轮廓, 无断裂现象;

2) 误检测问题: 原模型在路面阴影区域将阴影误判为车道线(置信度为0.38), 而本文模型通过自注意力机制抑制背景干扰, 无此类误检测;

3) 分割精度: 本文模型的车道线实例掩码与实际车道线边界高度吻合, 目标框置信度均高于0.90(最高达0.98), 原模型的掩码区域存在偏移, 部分目标框置信度低于0.40, 覆盖精度显著不足。

上述结果表明, 本文模型有效解决了原始模型的漏分割与误检测问题, 分割效果和识别精度更贴合自动驾驶实际需求。

2.4 定量分析

针对CULane数据集, 采用F1值作为识别精度的评价指标, 在此基础上选取反应时间t作为衡量模型实时性的指标。

F1=RPRE×RREC1-α×RPRE+α×RREC

式中: α=0.5, 为IoU值; RPRE为精确率; RREC为召回率。

RPRE=TPTP+FP,

式中: TP为模型正确识别的车道线数量; FP为模型错误识别的车道线数量; TP+FP为预测结果为车道线总数。

RREC=TPTP+FN,

式中: FN为模型将车道线识别为其他信息的数量; TP+FN为模型识别正确的车道线总数。

基于上述评价标准, 本文模型与其他主流车道线检测算法在CULane数据集上的定量实验对比结果如表 2 所示。

表 2 可知, 本文模型在精度与实时性上均表现最优。F1达96.83%, 高于原YOLOv5、 LaneNet、 SCNN等算法, 识别时间仅11.0 ms, 满足自动驾驶实时性需求。

针对TuSimple数据集, 使用准确率(Accuracy, Acc)、 错检率(False Positive, FP)以及漏检率(False Negative, FN)作为评价车道线检测算法的性能的标准。

Acc=imCimSim
FP=FprePpre
FN=MpreNgt

式中: CimSim分别为准确检测到的与总的车道线像素的数量; FpreNpreMpreNgt分别为错误检测的、 检测到的、 没有检测到的以及总的车道线的数量。此外, 本文采用帧率作为衡量算法实时性的指标。

基于上述评价标准, 本文模型与其他主流车道线检测方法在TumSiple数据集上的定量实验对比结果如表 3 所示。

表 3 可知, 本文模型在TuSimple数据集上也表现出显著优势。在精度方面准确率达到96.33%, 高于所有对比方法。在实时性方面, 帧率高达90.9 帧·s-1, 远超其他方法, 充分满足实时检测的需求。

2.5 消融实验

为进一步验证所提模块的改进效果, 设计了消融实验, 以定量评估不同改进措施对模型性能的贡献。消融实验通过逐步引入各改进模块, 对比分析不同模型配置在识别精度和计算效率方面的表现, 从而全面验证各模块的有效性。

消融实验基于CULane与TuSimple两大数据集开展, 采用各数据集对应的标准评价指标进行全面评估。首先, 测试原始模型在数据集上的性能; 其次, 逐步引入轻量级骨干网络和自注意力机制模块, 验证各模块在提高模型识别效率和提升识别精度方面的作用。实验结果如表 4表 5 所示。

消融实验验证了各模块的技术价值及其协同优化效应。本文模型能在精度与实时性上达到最优平衡的原因在于Faster-Net与自注意力机制的深度融合, 前者通过轻量化设计保障了推理效率, 后者通过增强全局关联与抑制干扰提升了检测精度。二者的协同作用实现了车道线检测在精度与实时性上的双重提升。

为验证本文对于自注意力机制嵌入位置的选取效果,选取3类代表性的同类方法作为对比,在相同实验环境下测试,对比结果如表 6表 7 所示。

表 6表 7 进一步验证了自注意力机制嵌入位置与骨干网络的适配性, 具体分析如下:

1) 骨干网络影响: 相同嵌入位置下, Faster-Net骨干的模型推理速度显著优于CSPDarknet53, 且精度无明显下降, 验证了Faster-Net轻量化设计的有效性;

2) 嵌入位置影响: 无论采用何种骨干网络, Neck (SPPF后)的嵌入位置均表现最优, 在CULane 数据集上, 改进网络的F1达到96.83%, 较Backbone嵌入提升3.58百分点, 较Prediction嵌入提升2.53百分点, 在TuSimple数据集上, 该组合的推理帧率为90.90 帧·s-1, 精确率达96.33%, 实现了精度与实时性的最优平衡;

3) 原因阐述: Neck(Concat后)嵌入虽推理速度略快, 但因未经过SPPF模块的多尺度特征融合, 全局关联能力不足, 精度低于SPPF后嵌入, 而Backbone或Prediction嵌入分别存在细节丢失、 特征压缩过度的问题, 均无法达到最优性能。

为进一步验证所提注意力机制在车道线检测任务中的有效性, 本文对模型特征提取阶段的注意力权重分布进行可视化分析, 结果如图 11 所示, 图中红色代表高注意力权重, 从可视化热力图可以得出以下结论:

图 11(a) 为未引入自注意力机制的基础模型热力图, 可见无明显聚焦特征。由于特征呈均匀分布, 模型在复杂场景下的抗干扰能力较弱, 这也是传统卷积网络在复杂场景下易出现漏检、 误检的核心原因, 凸显了引入自注意力机制的必要性。

图 11(b) 中, 注意力权重分散于图像大部分区域, 车道线与背景的边界模糊。骨干网络阶段特征以局部细节为主, 未经过多尺度融合, 自注意力机制难以筛选有效特征, 导致过度关注背景冗余信息, 车道线边缘细节被抑制。

图 11(c) 的注意力权重虽向车道线区域集中, 但呈现碎片化分布, 左侧车道线的中间段存在断裂。预测层特征经过多次压缩后语义信息不足, 全局关联计算不充分, 无法建模车道线的长距离连续性, 导致对复杂曲率车道线的聚焦能力有限。

图 11(d) 的权重聚焦效果优于前两者, 但车道线两侧仍存在零星红色高权重点。Concat操作仅完成特征拼接, 未经过SPPF模块的特征聚合, 全局特征关联能力不足, 难以完全抑制路面阴影、 轻微遮挡等干扰因素。

图 11(e) 中, 注意力权重精准且连续地覆盖车道线区域, 红色高权重区域与车道线实际边界高度契合, 路面背景几乎无冗余激活。SPPF模块已完成多尺度局部特征融合, 此时引入自注意力机制可直接对融合特征进行全局关联建模, 既保留了车道线边缘细节, 又强化了全局连续性, 解决了其他嵌入位置的缺陷, 验证了该嵌入位置的优越性。

综上, 消融实验从数据与可视化两个层面证实了各模块改进的有效性, 以及模块间协同优化的重要意义。

2.6 实车部署

为进一步验证本文所提车道线检测方法在真实驾驶场景中的实用性与可靠性, 基于已构建的轻量级YOLO网络模型, 开展实车部署实验, 完成模型从算法层面到实际应用场景的验证。实验平台采用搭载Jetson Orin NX主控芯片的智能小车, 如图 12 所示, 该款主控芯片拥有16 GB内存, 算力达到100 TOPS, 能够满足实时图像处理与深度学习推理的需求。

智能小车配备摄像头用于实时采集道路图像, 摄像头型号为Intel RealSense D35i。将采集的图像输入轻量化分割模型, 得到分割图像。分割图像通过与训练阶段一致的编码器进行降维处理, 从而生成低维度的特征表示, 减少了计算复杂度并提高了实时处理能力。

本文所提方法已在实车环境下完成部署测试, 检测结果如图 13 所示。

模型在实验室两类沙盘场景中均实现高效车道线检测。如图 13(a)图 13(c) 所示, 针对沙盘A与沙盘B的连续车道线场景, 分割掩码与实际车道线边界高度契合, 无偏移或漏检, 即使面对图 13(b)图 13(d) 所示的断续车道线复杂工况, 模型仍能精准捕捉车道线全局轮廓与连续特征, 展现出优异的抗干扰能力和鲁棒性。实验统计显示, 本文模型平均识别精度达93.80%, 单帧识别耗时仅11.8 ms, 满足实时检测需求, 为智能驾驶系统后续的车道保持、 路径规划等功能奠定了坚实基础。

3 结论

本文针对现有基于深度学习的车道线检测方法在实时性与精度上难以兼顾的问题, 提出一种融合轻量级网络与注意力机制的检测方法, 其核心技术贡献如下:

1) Faster-Net与T形卷积的轻量化设计: 通过PConv模块减少网络计算量, 结合T形卷积的中心区域聚焦, 在保证特征提取完整性的同时大幅提升模型运行效率;

2) 自注意力机制的全局特征优化: 基于QKV模型实现车道线像素的全局关联建模, 有效降低路面冗余信息干扰, 使系统鲁棒性显著提高;

3)车道线任务的定制化适配: 通过Mosaic增强、 实例化标注、 二值交叉熵损失函数, 使模型更适配车道线分割任务, 在CULane数据集与TuSimple数据集上表现均优于主流算法;

4)实车部署: 成功将轻量化改进后的车道线检测模型部署于实车平台, 其推理速度与精度完全满足自动驾驶系统的实时性要求。

实验结果表明, 本文模型在CULane数据集与TuSimple数据集上的表现优于主流算法, 兼顾了精度与实时性。未来研究将进一步优化模型计算量, 探索多模态数据融合(如结合激光雷达), 以提升极端天气(暴雨、 大雾)下的检测性能, 从而更好地满足实际自动驾驶需求。

参考文献

[1]

徐明星, 王坤俊, 刘洋, . 智慧城市基础设施与智能网联汽车协同发展现状及展望[J]. 清华大学学报(自然科学版)202565(12): 2464-2492.

[2]

XU MingxingWANG KunjunLIU Yanget al. Status and prospects of synergistic development between smart city infrastructure and intelligent connected vehicles[J]. Journal of Tsinghua University (Science and Technology)202565(12): 2464-2492. (in Chinese)

[3]

罗通强, 刘坚坚, 赵炳根, . 智能汽车系统功能安全保障机制的现状与展望[J]. 汽车工程学报202414(6): 921-933.

[4]

LUO TongqiangLIU JianjianZHAO Binggenet al. Current status and future outlook of system functional safety mechanisms in intelligent vehicles[J]. Chinese Journal of Automotive Engineering202414(6): 921-933. (in Chinese)

[5]

罗为明, 应朝阳, 孙巍, . 辅助驾驶汽车安全技术检验需求研究[J]. 中国标准化2023(21): 219-223.

[6]

LUO WeimingYING ZhaoyangSUN Weiet al. Research on safety technological inspection requirements of vehicles with driving assist[J]. China Standardization2023(21): 219-223. (in Chinese)

[7]

赵强, 王瑞, 朱宝全, . 基于机器视觉的车道线检测研究进展综述[J]. 计算技术与自动化202241(1): 34-40.

[8]

ZHAO QiangWANG RuiZHU Baoquanet al. Overview of the research progress of lane line detection based on machine vision[J]. Computing Technology and Automation202241(1): 34-40. (in Chinese)

[9]

周发华, 陈继清, 杨蓉. 基于改进Hough变换和斜率特征的车道线识别[J]. 现代电子技术202346(7): 180-186.

[10]

ZHOU FahuaCHEN JiqingYANG Rong. Lane line recognition based on improved Hough transformation and slope feature[J]. Modern Electronics Technique202346(7): 180-186. (in Chinese)

[11]

郭晨策, 陈舒颖, 司马浩东. 人工智能技术在车辆无人驾驶中的应用分析[J]. 时代汽车2023(21): 190-192.

[12]

GUO ChenceCHEN ShuyingSIMA Haodong. Application analysis of artificial intelligence technology in vehicle unmanned driving[J]. Auto Time2023(21): 190-192. (in Chinese)

[13]

王景楠, 薛晨阳, 齐向东, . 基于RBF神经网络PID的UUV轨迹跟踪控制[J]. 中北大学学报(自然科学版)202445(6): 843-851.

[14]

WANG JinnanXUE ChenyangQI Xiangdonget al. Research on UUV trajectory tracking control based on RBF neural network PID[J]. Journal of North University of China (Natural Science Edition)202445(6): 843-851. (in Chinese)

[15]

SONG YFENG QXIAO Set al. Fault diagnosis of railway switch machines based on VMD⁃SDP-CNN[J]. Journal of Measurement Science and Instrumentation202516(2): 291-301.

[16]

武丽, 张征浩, 葛彩成, . 基于改进SCNN网络的车道线检测算法[J]. 计算机与现代化2024(7): 87-92.

[17]

WU LiZHANG ZhenghaoGE Caichenget al. Lane line detection algorithm based on improved SCNN network[J]. Computer and Modernization2024(7): 87-92. (in Chinese)

[18]

KRIZHEVSKY ASUTSKEVER IHINTON G E. ImageNet classification with deep convolutional neural networks[J]. Communications of the ACM201760(6): 84-90.

[19]

LIU BLING Q. Sparse LaneFormer: End-to-end lane detection with sparse proposals and interactions[J]. IEEE Transactions on Intelligent Transportation Systems202526(8): 11931-11944.

[20]

CHEN LSIMA CLI Yet al. PersFormer: 3D lane detection via perspective transformer and the OpenLane benchmark[C]//Computer Vision-ECCV 2022. Cham: Springer, 2022: 550-567.

[21]

BAI YCHEN ZFU Zet al. CurveFormer: 3D lane detection by curve propagation with curve queries and attention[C]//2023 IEEE International Conference on Robotics and Automation (ICRA), 2023: 7062-7068.

[22]

LIU RCHEN DLIU Tet al. Learning to predict 3D lane shape and camera pose from a single image via geometry constraints[J]. Proceedings of the AAAI Conference on Artificial Intelligence202236(2): 1765-1772.

[23]

HUANG SSHEN ZHUANG Zet al. Anchor3DLane: Learning to regress 3D anchors for monocular 3D lane detection[C]//2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2023: 17451-17460.

[24]

GARNETT NCOHEN RPE’ER Tet al. 3D-LaneNet: End-to-end 3D multiple lane detection[C]//2019 IEEE/CVF International Conference on Computer Vision (ICCV), 2019: 2921-2930.

[25]

范英, 石磊, 苏伟伟, . 基于PINet+RESA网络的车道线检测算法[J]. 江苏大学学报(自然科学版)202344(4): 373-378.

[26]

FAN YingSHI LeiSU Weiweiet al. Lane detection algorithm based on PINet+RESA network[J]. Journal of Jiangsu University (Natural Science Edition)202344(4): 373-378. (in Chinese)

[27]

张莹, 张露露, 孙月, . LSTR算法的改进及在车道线检测中的应用[J]. 小型微型计算机系统202445(8): 1863-1868.

[28]

ZHANG YingZHANG LuluSUN Yueet al. Improvement of LSTR algorithm and its application in lane line detection[J]. Journal of Chinese Computer Systems202445(8): 1863-1868. (in Chinese)

[29]

洪书颖, 张东霖. 语义信息处理方式分类的车道线检测技术研究综述[J]. 计算机工程与应用202561(5): 1-17.

[30]

HONG ShuyingZHANG Donglin. Survey on lane line detection techniques for classifying semantic information processing modalities[J]. Computer Engineering and Applications202561(5): 1-17. (in Chinese)

[31]

邬开俊, 徐泽浩, 单宏全. 基于FasterNet和YOLOv5改进的玻璃绝缘子自爆缺陷快速检测方法[J]. 高电压技术202450(5): 1865-1876.

[32]

WU KaijunXU ZehaoSHAN Hongquan. Rapid detection method for self-exploding defects in glass insulators based on improved FasterNet and YOLOv5[J]. High Voltage Engineering202450(5): 1865-1876. (in Chinese)

[33]

李俊成, 徐增丙, 孙茂基. 基于改进YOLOv5香菇成熟度检测模型[J]. 农业装备与车辆工程202462(6): 18-22.

[34]

LI JunchengXU ZengbingSUN Maoji. Mushroom maturity detection model based on improved YOLOv5[J]. Agricultural Equipment & Vehicle Engineering202462(6): 18-22. (in Chinese)

[35]

LIU CZHANG MYAN Het al. CSYOLO: A YOLOv8-based PCB defect detection model integrating composite backbone networks and dynamic snake convolution[J]. Journal of Measurement Science and Instrumentation202617(1): 151-161.

[36]

李昊璇, 苏艳琼. 基于改进YOLOv8的道路缺陷检测[J]. 测试技术学报202438(5): 506-512.

[37]

LI HaoxuanSU Yanqiong. Road defect detection based on improved YOLOv8[J]. Journal of Test and Measurement Technology202438(5): 506-512. (in Chinese)

[38]

张宸嘉, 朱磊, 俞璐. 卷积神经网络中的注意力机制综述[J]. 计算机工程与应用202157(20): 64-72.

[39]

ZHANG ChenjiaZHU LeiYU Lu. Review of attention mechanism in convolutional neural networks[J]. Computer Engineering and Applications202157(20): 64-72. (in Chinese)

AI Summary AI Mindmap
PDF (4518KB)

0

访问

0

被引

详细

导航
相关文章

AI思维导图

/