双分支特征自适应融合的车道线检测方法

Method of lane detection based on adaptive fusion of double branch features

摘要

为解决深浅层特征直接融合易导致的特征腐蚀和淹没问题，实现复杂环境车道线精准检测，提出了双分支特征自适应融合的车道线检测方法。首先，设计了双分支特征提取网络，提升复杂环境车道线特征提取能力，减少空间细节信息损失；其次，构建了特征自适应融合模块，利用通道注意力与自注意力引导特征选择和融合，自适应地调整融合过程，优化特征图的通道和空间语义信息；此外，改进的并行混合金字塔池化模块更符合道路细长、大跨度特性，多方向捕获远程上下文关系；最后，本文方法在TuSimple、CULane和Curvelanes数据集进行了实验测试，F₁分别达到了96.93%、76.48%和83.21%，实验结果表明：本文方法能有效应对遮挡、阴影等复杂场景车道线检测任务，其性能相对于主流分割类车道线检测方法有显著提升。

Abstract

In order to solve the problem of feature corrosion and submergence caused by direct fusion of deep and shallow features and realize accurate lane detection in complex environment， a lane detection method based on adaptive fusion of double-branch features was proposed. Firstly， a dual-branch feature extraction network was designed in the method to enhance the feature extraction capability for lane lines in complex environments and reduce the loss of spatial detail information. Secondly， a feature adaptive fusion module was constructed， in which channel attention and self-attention were utilized to guide feature selection and fusion. The fusion process was adaptively adjusted to optimize the channel and spatial semantic information of feature maps. In addition， the improved parallel hybrid pyramid pooling module is more in line with the characteristics of long and narrow roads and captures remote context in multiple directions. Finally， the proposed method was tested on TuSimple， CULane and Curvelanes data sets， and the F₁ reaches 96.93%， 76.48% and 83.21% respectively. The experimental results show that the proposed method can effectively deal with lane line detection tasks in complex scenes such as occlusion and shadow， and its performance is significantly improved compared with the mainstream segmentation lane line detection methods.

Graphical abstract

关键词

计算机应用 / 车道线检测 / 特征自适应融合 / 通道注意力 / 自注意力 / 金字塔池化

Key words

computer application / lane detection / feature adaptive fusion / channel attention / self-attention / pyramid pooling

0 引 言

车道线检测是自动驾驶感知技术的基本组成部分，在车道保持、自适应巡航等应用中扮演着重要角色，因此，车道线检测研究对于提升交通安全性、推动自动驾驶和智慧交通发展具有重要意义。

传统方法是利用手工设计的特征提取和规则检测车道线^［1-4］。Sun等^［1］尝试在HSI颜色表示中检测车道，赵颖等^［2］利用改进Hough变换算法实时检测道路引导线。但在复杂多变的道路场景中，传统方法需要大量的参数调整和规则设计，不具备良好的泛化能力与可扩展性。近年来，人工智能技术越来越多地应用于驾驶领域，基于深度学习的车道检测方法已经取得了重大进展，相较于传统算法能自动提取图像中的车道线特征信息，具备优异的建模能力与特征学习能力。目前基于深度学习的车道线检测方法可分为3类：基于参数回归、基于行锚和基于分割的检测方法。

基于参数回归的车道线检测方法中，Tabelini等^［5］提出了多项式回归车道线模型，利用车道线的置信度分数判断车道的存在性，实现端到端的车道估计，但易受到数据样本不平衡的影响，多项式参数偏向直线车道，算法泛化能力差。同时，车道线参数回归模型存在多项式系数难以优化和精度较低的问题，而Liu等^［6］在DETR的基础上以端到端方式预测多项式，实现了注意力机制与曲线拟合的有效结合，直接输出车道形状模型参数。Feng等^［7］引入了Bezier曲线，避免了多项式方程优化问题，并针对车道线对称位置信息，提出特征翻转融合模块，但该模块面对弯道与匝道场景时检测效果欠佳。

基于行锚的车道线检测方法是将图像划分成单元格，检测是否包含车道线的行，并对含有车道线的行进行单元格分类。Qin等^［8］建立了行分类检测网络，相对于分割方法，单元格特征感受野大，应对遮挡、阴影等场景能力增强，计算复杂度大幅下降，但该方法主干网络特征提取能力较差，面对弯道场景时检测精度较低。为提高网络特征提取能力，张云佐等^［9］提出双特征提取网络，并构建注意力模块，注重特征关键语义信息。此外，为改善弯道识别效果，时小虎等^［10］提出了弯道增强损失函数，通过车道线二阶导数方程建模，加入弯道车道线形状约束。针对交叉等复杂拓扑结构车道线，Liu等^［11］提出了基于条件卷积的条件车道检测方法，设计了循环实例模块来克服具有复杂拓扑结构的车道线检测问题。

基于分割的车道线检测方法中，为了提高性能，设计了各种增强特征机制，Pan等^［12］提出消息传递机制来捕获车道之间的强烈空间关系。Su等^［13］在消息传递机制的基础上增加了对角线方向结构信息，构建了多方向切片卷积模块，该模块提高了车道特征提取能力，但信息传递操作耗时长，导致推理速度较慢。而Zheng等^［14］设计了实时特征聚合模块，实现了信息在特征图的像素之间传播。Hou等^［15］将知识蒸馏引入车道线检测中，它通过自蒸馏模块聚合上下文信息。Xu等^［16］采用神经架构搜索技术搭建网络，该网络具有优异的特征提取性能，但神经架构搜索技术需要耗费较多的计算力资源。

分割类车道线检测方法是对像素点进行分类，以识别和区分车道线与背景，在面对车辆遮挡、拥挤、磨损、光照强度低等缺乏视觉线索场景时，易出现漏检情况，而在路沿、栏杆、带状阴影、箭头等相似条状物场景下，易出现误检情况，之前的分割类车道线检测方法为应对复杂场景注重于各种增强特征机制，但忽略了特征提取网络中深浅层特征直接融合易导致的特征腐蚀与淹没问题。因此，本文提出了双分支特征自适应融合的车道线检测方法，该方法依靠双分支特征提取网络，减少了空间细节信息损失，提高了特征提取能力，并利用特征自适应融合机制增强深浅层特征信息融合，过滤冗余与干扰信息，注重关键语义信息，增强上下文分支与空间细节分支间的信息传递。此外，引入了金字塔池化模块，捕获远距离上下文关系，并在特征解码阶段提出了双粒度上采样解码器，实现了低分辨率特征图的粗细粒度像素级预测。

1 车道线检测网络模型设计

本文提出的双分支车道线检测方法的整体框架如图1所示。总体结构包括特征提取编码器和特征上采样解码器两部分。编码器主体部分由残差网络构成，在图像1/8特征层处构建了双分支结构，分别为空间细节分支和上下文分支，双分支间利用通道注意力和交叉自注意力进行特征融合，并在上下文分支的深层网络处添加了金字塔池化模块，用于捕获上下文关系；解码器部分主要包括分割头、辅助分割头与车道线存在检测头。

1.1　特征提取编码器

为了弥补空间细节的损失与缓解感受野收缩，DDRNet^［17］构建了双分支主干网络结构，引入双边连接来增强不同分辨率分支之间的信息交换，而在复杂场景的车道线检测任务中，空间细节与感受野对网络应对缺少视觉线索与相似条状物干扰场景同样具有重要作用。

因此，本文借鉴DDRNet的网络结构思想，搭建了双分支车道线检测网络（Double-branch detection network，DBDNet），该主干网络主要由ResNet^［18］组成，额外添加空间细节分支，形成了由上下文分支和空间细节分支构成的双分支结构。为平衡分辨率和推理速度，空间细节分支创建在输入图像的1/8特征层处，且后续不进行任何下采样操作。然而将低分辨率语义信息和高分辨率空间细节信息直接融合存在风险，特征信息被周围信息过度腐蚀与淹没，针对此问题，在双分支特征融合处实现了特征自适应融合，过滤冗余与干扰信息，关注关键语义信息，充分融合细节信息和语义信息，提高网络特征表达能力，特征提取网络结构如图2所示。

1.2　特征自适应融合

1.2.1　通道感知融合模块

车道线具有细长结构、空间跨度较大的特性，故精准检测需要全面的多层次特征信息，同时骨干网络的深层特征呈现语义信息丰富、目标定位相对粗糙的特点，相反，浅层特征则提供精确的目标位置，但语义信息有限。特征金字塔网络^［19］和PANet^［20］通过上采样高级特征与低级特征直接像素级相加，利用语义信息丰富每一层特征，然而该方法未执行特征选择，特征信息被简单累加。因此，在通道注意力的基础上提出了通道感知融合模块（Channel perception fusion module，CPFM），CPFM利用通道注意力过滤特征层信息，保留关键语义信息，实现浅层特征与深层特征高效融合。CPFM的特征感知融合过程如图3所示。

假定CPFM模块的浅层输入特征为{\mathit{X}}_l\in {\mathbb{R}}^{C\times H\times W}，深层输入特征为{\mathit{X}}_h\in {\mathbb{R}}^{C\times H\times W}，首先通过Concat操作将输入特征空间{\mathit{X}}_l和{\mathit{X}}_h按通道维度拼接起来得到\mathit{X}\in {\mathbb{R}}^{\mathrm{2}C\times H\times W}，然后利用挤压映射和激励映射获得通道注意力融合权重，并将权重通过矩阵乘法分别对原始输入特征{\mathit{X}}_l和{\mathit{X}}_h进行加权，再将加权特征与另一分支的原始特征相加，得到增强特征{\widehat{\mathit{X}}}_l和{\widehat{\mathit{X}}}_{\mathit{h}}。

\begin{array}{c}{\widehat{\mathit{X}}}_l={\mathit{X}}_l+{\mathit{X}}_h\otimes \\ \delta (\mathrm{P}\mathrm{W}\mathrm{C}\mathrm{o}\mathrm{n}{\mathrm{v}}^n(\mathrm{G}\mathrm{A}\mathrm{P}(\mathrm{C}\mathrm{a}\mathrm{t}({\mathit{X}}_l,{\mathit{X}}_h))))\end{array}（1）

\begin{array}{c}{\widehat{\mathit{X}}}_h={\mathit{X}}_h+{\mathit{X}}_l\otimes \\ \delta (\mathrm{P}\mathrm{W}\mathrm{C}\mathrm{o}\mathrm{n}{\mathrm{v}}^n(\mathrm{G}\mathrm{A}\mathrm{P}(\mathrm{C}\mathrm{a}\mathrm{t}({\mathit{X}}_l,{\mathit{X}}_h))))\end{array}（2）

式中：Cat为通道拼接；GAP为全局平均池化；PWConv ⁿ 为n层逐点卷积；δ为Sigmoid函数；⊗为逐元素相乘。

最后将增强特征通过Concat通道维度拼接和逐点卷积（Pointwise convolution，PWConv）特征组合操作，实现特征融合输出{\mathit{X}}_L\in {\mathbb{R}}^{C\times H\times W}。

{\mathit{X}}_L=\mathrm{P}\mathrm{W}\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}(\mathrm{C}\mathrm{a}\mathrm{t}({\widehat{\mathit{X}}}_l,{\widehat{\mathit{X}}}_h))（3）

1.2.2　交叉自注意力融合模块

以往的语义分割车道线检测方法大多关注局部细微特征，忽略了局部之间空间关系的影响，面对车道线遮挡、破损和阴影等复杂场景，模型泛化能力差。因此，受自注意力机制^［21］思想的启发，提出了交叉自注意力融合模块（Cross self-attention fusion module，CSAFM），该模块依靠自注意力机制建立长距离空间依赖关系，交叉融合深层特征语义信息与浅层特征空间细节信息，从语义建模与空间建模两个不同角度构建了车道线局部细粒度信息与局部间空间关系，平衡了空间细节与上下文信息，实现融合特征既能包含丰富语义信息，又能保留足够空间细节信息，从而全面指导复杂环境中的车道线检测任务。CSAFM的特征感知融合过程如图4所示。

假定CSAFM模块的输入特征为{\mathit{X}}_L\in {\mathbb{R}}^{C\times H\times W}、{\mathit{X}}_H\in {\mathbb{R}}^{C\times H\times W}，首先将输入特征通过Concat通道维度拼接操作和PWConv通道压缩操作得到拼接特征{\mathit{X}}_{\mathrm{C}\mathrm{a}\mathrm{t}}\in {\mathbb{R}}^{C\times H\times W}，并分别乘以线性映射\mathit{W}得到查询 Q 、键 K 、值 V。

{\mathit{X}}_{\mathrm{C}\mathrm{a}\mathrm{t}}=\mathrm{P}\mathrm{W}\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}(\mathrm{C}\mathrm{a}\mathrm{t}({\mathit{X}}_L,{\mathit{X}}_H))（4）

式中：{\mathit{X}}_L为浅层特征，{\mathit{X}}_H为深层特征。

\left\{\begin{array}{l}\mathit{Q}={\mathit{W}}^q{\mathit{X}}_{\mathrm{C}\mathrm{a}\mathrm{t}}\\ {\mathit{K}}_L={\mathit{W}}^k{\mathit{X}}_L,{\mathit{K}}_H={\mathit{W}}^k{\mathit{X}}_H\\ {\mathit{V}}_L={\mathit{W}}^v{\mathit{X}}_L,{\mathit{V}}_H={\mathit{W}}^v{\mathit{X}}_H\end{array}\right.（5）

将共享查询\mathit{Q}分别与{\mathit{K}}_L\mathrm{、}{\mathit{K}}_H相乘，并通过Softmax归一化操作得到注意力分数矩阵\mathit{A}，\mathit{A}与矩阵\mathit{V}相乘得到全局上下文特征\mathit{O}\in {\mathbb{R}}^{C\times H\times W}。

\left\{\begin{array}{l}{\mathit{A}}_L=\mathrm{S}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}(\mathit{Q}{\mathit{K}}_L^{\mathrm{T}}/\sqrt[]{d_q})\\ {\mathit{A}}_H=\mathrm{S}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}(\mathit{Q}{\mathit{K}}_H^{\mathrm{T}}/\sqrt[]{d_q})\end{array}\right.（6）

式中：d_q 为 Q 的特征维度。

\left\{\begin{array}{l}{\mathit{O}}_L=\mathrm{R}\mathrm{e}\mathrm{s}\mathrm{h}\mathrm{a}\mathrm{p}\mathrm{e}({\mathit{A}}_L{\mathit{V}}_L)\\ {\mathit{O}}_H=\mathrm{R}\mathrm{e}\mathrm{s}\mathrm{h}\mathrm{a}\mathrm{p}\mathrm{e}({\mathit{A}}_H{\mathit{V}}_H)\end{array}\right.（7）

式中：Reshape为重塑操作，改变张量形状。

将自注意力输出特征\mathit{O}与原始输入特征交叉相加得到增强特征，增强信息传递。最后，将增强特征通过Concat通道维度拼接操作与PWConv通道压缩操作输出最终特征\mathit{Z}\in {\mathbb{R}}^{C\times H\times W}。

\mathit{Z}=\mathrm{P}\mathrm{W}\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}(\mathrm{C}\mathrm{a}\mathrm{t}({\mathit{O}}_L+{\mathit{X}}_H,{\mathit{O}}_H+{\mathit{X}}_L))（8）

在车道线检测任务中，深层特征专注于车道线的全局结构与形状，特征信息过于抽象，难以直接用于检测车道线；而浅层特征专注于局部特征与细节，特征信息冗余，难以捕获车道线全局结构。盲目融合深层特征与浅层特征会导致淹没或腐蚀特征信息。因此，注意力引导的特征感知融合模块CPFM和CSAFM是为了解决特征融合问题而设计的，通过特征层注意力权重引导深、浅层特征选择与融合过程，基于模型对图像的理解与预测结果来动态调整权重，满足任务需求与预测误差，增强特征融合可解释性与多尺度处理能力，并利用自注意力建立长距离依赖关系，从而更好地适应车道线检测中的复杂场景。

1.3　并行混合金字塔池化

在进行复杂场景车道线检测时，特征图的感受野与空间信息对车道线定位具有重要作用。为了更好地进行全局场景先验构造，PSPNet^［22］引入了金字塔池化模块（Pyramid pooling module，PPM），该模块在卷积层之前连接多尺度池化，形成局部和全局上下文表示，然而只应用方形池化核会导致提取上下文信息的能力有限。因此，改进的并行混合金字塔池化模块（Parallel hybrid pyramid pooling module，PHPPM）考虑到车道线鲜明的先验特征结构，将大小为1×N与N×1的池化核嵌入PPM中，构建了混合内核大小的金字塔池化模块，捕捉了短程和远程不同位置之间的依赖关系，并通过横向连接复用局部特征，增强多尺度通道特征图语义信息，细化模型对远距离末端车道线的定位任务。PHPPM模块如图5所示。

PHPPM从低分辨率特征图中进一步提取上下文信息，首先以1/32图像分辨率的特征图\mathit{X}\in {\mathbb{R}}^{C\times H\times W}为输入，利用混合平均池化核并行生成多分辨率特征图，考虑到每个尺度的通道维度过多，通过1×1卷积通道降维，使得每个尺度通道数量减少到96，降低模型计算复杂度，然后对特征图线性插值上采样，并使用3×3卷积将上采样结果与横向连接的原始特征融合，增强特征信息传递。

（9）

式中：C_n×n 为n×n卷积；Up表示上采样；AvgP为平均池化；GAP为全局平均池化；VSP为垂直方向条状池化；HSP为水平方向条状池化。

利用Concat和1×1卷积对所有池化特征图拼接并压缩，最后与残差跳跃连接相加得到池化金字塔的输出特征\mathit{L}\in {\mathbb{R}}^{C/\mathrm{4}\times H\times W}。

\mathit{L}=C_{\mathrm{1}\times \mathrm{1}}(\mathrm{C}\mathrm{a}\mathrm{t}({\mathit{Y}}_i))+C_{\mathrm{1}\times \mathrm{1}}(\mathit{X})（10）

式中：C_1×1为1×1卷积。

金字塔池化模块（PPM）是增强场景理解的有效方法，然而PPM严重依赖标准空间池化操作，提取车道线上下文信息的能力有限，且车道线呈现为细长结构，与平均池化相比，条形池化能考虑长而窄的特征范围，而不是整个特征图，避免了太多冗余连接。在模型中，PHPPM将混合池化核提取的上下文与不同深度信息流融合，实现了多尺度特征信息传递，并通过横向连接复用局部特征，兼顾全局信息和局部信息。

1.4　特征上采样解码器

解码器的主要功能是将编码器提取的低分辨率特征映射到原始输入分辨率尺寸，在多数解码器中，双线性插值上采样和转置卷积是恢复像素级预测的常用方法，双线性插值上采样方法较为简单，但图像空间细节信息有所损失，而转置卷积保留了空间信息，能获取精细上采样结果。

参考RESA^［14］网络解码器，设计了双粒度上采样解码器（Two-grain upsampling decoder， TGUSD），该解码器包括粗粒度分支和细粒度分支，其中粗粒度分支应用双线性插值方法，专注于全局信息，而细粒度分支中引入了转置卷积和非瓶颈卷积模块，微调特征细微信息损失，TGUSD具体结构如图6所示。考虑到模型训练速度，辅助分割头的上采样解码器仅为粗粒度分支结构，没有融合细粒度分支上采样结果。

粗粒度分支将从编码器最后一层快速输出一个粗略上采样特征，捕获全局结构与信息，该分支首先应用1×1卷积降低特征图的通道复杂度，然后通过双线性插值方法实现8倍特征上采样。细粒度分支专注于微调粗粒度分支的细微信息损失，恢复图像细节信息，该分支首先采用转置卷积实现2倍特征上采样，然后利用由3×1卷积、1×3卷积、BN和ReLU组成的非瓶颈块高效提取细节信息，重复该过程，实现细粒度分支特征8倍上采样；最后对粗、细粒度分支上采样进行特征融合。

在无车道线、拥挤、眩光等缺乏车道线视觉线索的场景中，传统的分割方法存在较多误检或漏检，而引入车道线存在检测头，有助于提高网络的车道线判别能力，协助分割头处理复杂场景车道线位置定位与形状构建。因此，借鉴SCNN^［5］方法，引入了车道线存在检测头，该检测头与车道线分割头并行，通过车道线概率预测车道线是否存在，具体结构如图7所示，包括3×3卷积、Softmax函数、最大池化、全连接层和Sigmiod函数，输出结果会根据车道线存在预测概率进行判定，网络设定车道线存在阈值为0.5，大于0.5表示存在车道线，标记为1，反之标记为0。

1.5　损失函数

损失函数主要由分割损失和存在性损失两部分组成。分割损失是计算预测车道线分割图S_{\mathrm{p}\mathrm{r}\mathrm{e}\mathrm{d}}和车道线真值图S_{\mathrm{g}\mathrm{t}}之间的差异，分割损失计算公式为：

L_{\mathrm{s}\mathrm{e}\mathrm{g}}=L_{\mathrm{C}\mathrm{E}}\left(S_{\mathrm{p}\mathrm{r}\mathrm{e}\mathrm{d}},S_{\mathrm{g}\mathrm{t}}\right)（11）

式中：L_{\mathrm{C}\mathrm{E}}为标准交叉熵损失。

辅助分割损失只在训练阶段使用，其他阶段辅助分支会被移除，辅助分割损失计算公式为：

L_{\mathrm{a}\mathrm{u}\mathrm{x}}=L_{\mathrm{C}\mathrm{E}}\left(S_{\mathrm{p}\mathrm{r}\mathrm{e}\mathrm{d}},S_{\mathrm{g}\mathrm{t}}\right)（12）

车道线存在性判断设定车道线存在阈值为0.5，大于0.5表示存在车道线，标记为1，否则为0，存在性损失计算公式为：

L_{\mathrm{e}\mathrm{x}\mathrm{i}\mathrm{s}\mathrm{t}}=L_{\mathrm{B}\mathrm{C}\mathrm{E}}\left(l_{\mathrm{p}\mathrm{r}\mathrm{e}\mathrm{d}},l_{\mathrm{g}\mathrm{t}}\right)（13）

式中：L_{\mathrm{B}\mathrm{C}\mathrm{E}}为二进制交叉熵损失；l_{\mathrm{p}\mathrm{r}\mathrm{e}\mathrm{d}}为车道线存在预测标签；l_{\mathrm{g}\mathrm{t}}为车道线存在真值标签。

总损失函数计算公式为：

\mathrm{L}\mathrm{o}\mathrm{s}\mathrm{s}={\lambda }_{\mathrm{1}}{L}_{\mathrm{s}\mathrm{e}\mathrm{g}}+{\lambda }_{\mathrm{2}}{L}_{\mathrm{e}\mathrm{x}\mathrm{i}\mathrm{s}\mathrm{t}}+{\lambda }_{\mathrm{3}}{L}_{\mathrm{a}\mathrm{u}\mathrm{x}}（14）

式中：{\lambda }_{\mathrm{1}}\mathrm{、}{\lambda }_{\mathrm{2}}\mathrm{、}{\lambda }_{\mathrm{3}}为平衡任务权重参数。参考SCNN^［5］与DDRNet^［17］方法，权重参数设置为{\lambda }_{\mathrm{1}}=\mathrm{1}；{\lambda }_{\mathrm{2}}=\mathrm{0.1}；{\lambda }_{\mathrm{3}}=\mathrm{0.4}。

2 实验结果与分析

2.1　实验设置

2.1.1　数据集

本文选用3个数据集进行实验分析，分别为TuSimple^［23］、CULane^［12］和Curvelanes^［16］数据集。其中，TuSimple数据集主要针对高速公路场景车道线检测；CULane数据集主要针对复杂场景车道线检测，包含了9种现实驾驶环境，从白天跨度到夜晚，从阴影到眩光，场景类别丰富；Curvelanes数据集包含S路、Y车道、夜间和多车道等复杂场景，相对于CULane数据集，Curvelanes数据集超90%的图像包括曲线车道。数据集概况如表1所示。

2.1.2　评价指标

对TuSimple数据集将采用4个指标进行评价：假阳率（False positive rate，FP）、假阴率（False negative rate，FN）、准确率（Accuracy， Acc）和综合性能F₁-measure。

对CULane数据集将采用F₁-measure作为评价指标，但路口场景情况特殊，将采用FP作为评价指标。

\left\{\begin{array}{l}\mathrm{A}\mathrm{c}\mathrm{c}=\frac{\sum _{\mathrm{c}\mathrm{l}\mathrm{i}\mathrm{p}}{C}_{\mathrm{c}\mathrm{l}\mathrm{i}\mathrm{p}}}{\sum _{\mathrm{c}\mathrm{l}\mathrm{i}\mathrm{p}}{S}_{\mathrm{c}\mathrm{l}\mathrm{i}\mathrm{p}}}\\ \mathrm{F}\mathrm{P}=\frac{F_{\mathrm{p}\mathrm{r}\mathrm{e}\mathrm{d}}}{N_{\mathrm{p}\mathrm{r}\mathrm{e}\mathrm{d}}};\mathrm{F}\mathrm{N}=\frac{M_{\mathrm{p}\mathrm{r}\mathrm{e}\mathrm{d}}}{N_{\mathrm{g}\mathrm{t}}}\end{array}\right.（15）

\left\{\begin{array}{l}{F}_{\mathrm{1}}=\frac{\mathrm{2}\times \mathrm{P}\mathrm{r}\mathrm{e}\mathrm{c}\mathrm{i}\mathrm{s}\mathrm{i}\mathrm{o}\mathrm{n}\times \mathrm{R}\mathrm{e}\mathrm{c}\mathrm{a}\mathrm{l}\mathrm{l}}{\mathrm{P}\mathrm{r}\mathrm{e}\mathrm{c}\mathrm{i}\mathrm{s}\mathrm{i}\mathrm{o}\mathrm{n}+\mathrm{R}\mathrm{e}\mathrm{c}\mathrm{a}\mathrm{l}\mathrm{l}}\\ \mathrm{P}\mathrm{r}\mathrm{e}\mathrm{c}\mathrm{i}\mathrm{s}\mathrm{i}\mathrm{o}\mathrm{n}=\frac{\mathrm{T}\mathrm{P}}{\mathrm{T}\mathrm{P}+\mathrm{F}\mathrm{P}},\mathrm{R}\mathrm{e}\mathrm{c}\mathrm{a}\mathrm{l}\mathrm{l}=\frac{\mathrm{T}\mathrm{P}}{\mathrm{T}\mathrm{P}+\mathrm{F}\mathrm{N}}\end{array}\right.（16）

式中：C_{\mathrm{c}\mathrm{l}\mathrm{i}\mathrm{p}}为正确判断点数量；S_{\mathrm{c}\mathrm{l}\mathrm{i}\mathrm{p}}为真实点数量；F_{\mathrm{p}\mathrm{r}\mathrm{e}\mathrm{d}}为错误判断线数量；N_{\mathrm{p}\mathrm{r}\mathrm{e}\mathrm{d}}为正确判断线数量；M_{\mathrm{p}\mathrm{r}\mathrm{e}\mathrm{d}}为遗漏线数量；N_{\mathrm{g}\mathrm{t}}为真实线数量；TP为预测车道与真实车道IoU大于阈值0.5的预测。

2.1.3　实验环境及参数设置

本文实验采用的硬件配置为Intel i5-12400 CPU@ 2.5 GHz、NIVIDIA GTX4070，系统环境为Ubuntu 20.04，深度学习框架为Pytorch。CULane和Curvelanes数据集的输入图像大小调整为288×800像素，TuSimple数据集的输入图像大小调整为368×640像素，训练采用随机梯度下降法，动量因子为0.9，学习率为2.5×10^-2，批量大小为4，TuSimple训练80轮，CULane训练15轮，Curvelanes训练10轮。

2.2　实验结果分析

为了验证本文方法的有效性，选用TuSimple和 CULane数据集进行对比实验分析，实验结果如表2、表3所示。实验对比方法选用了SCNN、ENet-SAD、RESA主流分割类方法以及UFLD等其他类别方法。

由表2可知，在同级别网络深度的前提下，DBDNet相比其他方法取得了更为优异的综合性能，官方评价指标准确率Acc达到了96.72%，比SCNN、EL-GAN、ERF-E2E、UFLD-ResNet34、PolyLaneNet、LaneATT分别高出0.19%、1.82%、0.70%、0.86%、3.36%、1.09%，综合F₁和假阳率FP相较于其他方法均达到了最优结果，分别为96.93%和3.12%，验证了本文方法能胜任高速公路场景车道线检测任务。

由表3可知，DBDNet方法在CULane数据集的9种交通道路场景进行了检测，总体F₁达到了76.19%，相对于其他方法取得了最优效果，比SCNN、ENet-SAD、ERFNet-E2E、PINet、UFLD、RESA-ResNet34、LaneATT分别高出4.88%、5.68%、2.48%、2.08%、4.18%、1.98%、1.35%，FPS达到了76.5 frames/s，表明计算效率较高，可用于实时检测。此外，本文方法相对于其他方法在正常、夜晚、阴影、箭头、眩光和弯道场景中取得了最高检测精度，验证了复杂场景下本文方法的有效性。

为进一步验证本文方法的泛化能力，选用Curvelanes数据集进行泛化实验，Curvelanes数据集包含多种驾驶场景，相对于CULane数据集，Curvelanes数据集的弯道占比更大，图像中最大车道数为10条，远超过CULane数据集的图像最大车道数，但数据集没按具体场景进行划分。

由表4可知，在同级别网络深度的前提下，DBDNet相比于其他方法取得了更为优异的综合性能，其中综合指标F₁和召回率Recall相较于其他方法获得了最优检测结果，分别为83.21%和80.03%，表明本文方法能够胜任复杂场景下的多车道线检测任务，验证了方法的泛化能力。

2.3　消融实验

为了证明DBDNet主干网络、通道感知融合模块CPFM、交叉注意力语义融合模块CSAFM、并行混合金字塔池化模块PHPPM、辅助分割头Aux_Head对网络模型性能提升的贡献，选用复杂场景数据集CULane进行消融实验，结果如表5所示。

DBDNet主干网络：表5中的ResNet34-Seg表示ResNet34主干网络、双粒度解码器和车道存在分支组成的车道线分割网络；（a）表示主干网络变成DBDNet主干网络，特征融合采用逐元素相加操作。由表5可知，模型性能提升了2.02%，验证了DBDNet的有效性，增强了特征提取能力。

自适应特征感知融合模块：（b）表示在（a）的基础上引入了CPFM模块；（c）表示在（a）的基础上引入了CSAFM模块；（d）表示在（a）的基础上引入了CPFM和CSAFM模块。由表5可知，模型性能（b）（c）（d）分别较（a）提升了0.47%、1.37%、1.83%，验证了CPFM、CSAFM模块的有效性，提高了模型语义与空间建模能力。

并行混合金字塔池化：（e）表示在（d）的基础上引入了PPM模块；（f）表示在（d）的基础上引入了PHPPM模块。由表5可知，模型性能（e）（f）较（d）分别提高了0.29%、0.52%，验证了PHPPM模块的有效性，捕捉了全局上下文信息。

辅助分割分支：（g）表示在（f）的基础上引入了辅助分割头Aux_Head。由表5可知，模型性能较（f）提高了0.74%，验证了辅助分割分支的有效性，增强了模型泛化能力与鲁棒性。

2.4　可视化分析

为了充分验证本文方法在不同交通场景下的适用性，从CULane数据集中挑选了一部分强光照、遮挡、阴影、弯道、夜晚等复杂场景的车道线图像进行可视化检测，检测结果如图8所示。选用同为分割类方法的ResNet_Seg、SCNN、RESA进行对比分析。ResNet_Seg方法在多个场景下出现了漏检和线性不光滑问题；SCNN方法在正常和阴影场景表现了良好的检测效果，但在其他场景多次出现部分漏检情况；RESA在大部分场景表现出了良好的检测效果，但在无车道场景出现了误检情况；而本文方法中空间细节分支保留了车道线的边缘与局部结构信息，减少了车道线漏检与末端检测不到位的情况，并依靠特征自适应融合等模块，过滤了冗余和干扰信息，注重关键语义信息，缓解了路沿、栏杆、阴影等相似条状物的误检情况，在大部分场景均展现出了良好的检测效果，但在无车道和眩光场景存在线形不光滑问题。

3 结束语

本文提出了双分支特征自适应融合的车道线检测方法。该方法依靠双分支特征提取网络，减少空间细节信息损失，并利用特征自适应融合机制增强深浅层特征信息融合，过滤冗余与干扰信息，注重关键语义信息，有效应对深浅层特征直接融合易导致的特征信息淹没与腐蚀问题，促进了上下文分支与空间细节分支间的信息传递。此外，引入了金字塔池化模块，捕获远距离上下文关系，并在特征解码阶段提出了双粒度上采样解码器，实现了低分辨率特征图的粗细粒度像素级预测。本文在TuSimple、CULane和Curvelanes 3个数据集进行了实验测试，验证了本文方法的有效性与泛化性，并选用CULane数据集进行可视化分析，本文方法的检测效果能满足大部分复杂场景车道线检测的需要，但在无车道和眩光场景仍有改进的空间。

参考文献

[1] Sun T Y, Tsai S J, Chan V, et al. HSI color model based lane-marking detection[C]∥IEEE Intelligent Transportation Systems Conference,Toronto, Canada, 2006: 1168-1172.

[2] 赵颖, 王书茂, 陈兵旗. 基于改进Hough变换的公路车道线快速检测算法[J]. 中国农业大学学报, 2006(3): 104-108.

[3] Zhao Ying, Wang Shu-mao, Chen Bing-qi. Fast lane detection algorithm based on improved Hough transform[J]. Journal of China Agricultural University, 2006(3):104-108.

[4] 蔡创新, 邹宇, 潘志庚, 等. 基于多特征融合和窗口搜索的新型车道线检测算法[J]. 江苏大学学报: 自然科学版, 2023, 44(4): 386-391.

[5] Cai Chuang-xin, Zou Yu, Pan Zhi-geng, et al. Novel lane detection algorithm based on multi-feature fusion and windows searching[J]. Journal of Jiangsu University (Natural Science Edition), 2023, 44(4): 386-391.

[6] 杨金鑫, 范英, 谢纯禄. 基于行距离及粒子滤波的车道线识别算法[J]. 江苏大学学报: 自然科学版, 2020, 41(2): 138-142, 198.

[7] Yang Jin-xin, Fan Ying, Xie Chun-lu. Lane detection algorithm based on row distance and particle filter[J]. Journal of Jiangsu University (Natural Science Edition), 2020, 41(2): 138-142, 198.

[8] Tabelini L, Berriel R, Paixao T M, et al. Polylanenet: lane estimation via deep polynomial regression[C]∥25th International Conference on Pattern Recognition (ICPR),Milan, Italy, 2021: 6150-6156.

[9] Liu R, Yuan Z, Liu T, et al. End-to-end lane shape prediction with transformers[C]∥Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision,Waikoloa, USA, 2021: 3693-3701.

[10] Feng Z, Guo S, Tan X, et al. Rethinking efficient lane detection via c ourve modeling[C]∥Proceedings of the IEEE/CVF Conferencen Computer Vision and Pattern Recognition,New Orleans,USA,2022: 17041-17049.

[11] Qin Z, Wang H, Li X. Ultra fast structure-aware deep lane detection[C]∥Computer Vision-ECCV : 16th European Conference, Glasgow, UK, 2020: 276-291.

[12] 张云佐, 郑宇鑫, 武存宇, 等. 基于双特征提取网络的复杂环境车道线精准检测[J].吉林大学学报: 工学版, 2024, 54(7): 1894-1902 .

[13] Zhang Yun-zuo, Zheng Yu-xin, Wu Cun-yu, et al. Accurate detection of lane lines in complex environment based on dual feature extraction network [J]. Journal of Jilin University (Engineering and Technology Edition), 2024,54 (7): 1894-1902 .

[14] 时小虎, 吴佳琦, 吴春国, 等. 基于残差网络的弯道增强车道线检测方法[J]. 吉林大学学报: 工学版, 2023, 53(2): 584-592.

[15] Shi Xiao-hu, Wu Jia-qi, Wu Chun-guo, et al. Detection method of enhanced lane lines in curves based on residual network [J]. Journal of Jilin University (Engineering and Technology Edition), 2023,53(2):584-592.

[16] Liu L, Chen X, Zhu S, et al. CondLaneNet: a top-to-down lane detection framework based on conditional convolution[C]∥Proceedings of the IEEE/CVF International Conference on Computer Vision,Montreal, Canada, 2021:3753-3762.

[17] Pan X, Shi J, Luo P, et al. Spatial as deep: spatial CNN for traffic scene understanding[C]∥Proceedings of the AAAI Conference on Artificial Intelligence,New Orleans, USA,2018:7276-7283.

[18] Su J, Chen C, Zhang K, et al. Structure guided lane detection[J/OL].[2024-04-05].

[19] Zheng T, Fang H, Zhang Y, et al. RESA: recurrent feature-shift aggregator for lane detection[J]. Proceedings of the AAAI Conference on Artificial Intelligence, 2021, 35(4): 3547-3554.

[20] Hou Y, Ma Z, Liu C, et al. Learning lightweight lane detection CNNs by self attention distillation[C]∥Proceedings of the IEEE/CVF International Conference on Computer Vision,Seoul, Korea (South),2019: 1013-1021.

[21] Xu H, Wang S, Cai X, et al. Curvelane-nas: unifying lane-sensitive architecture search and adaptive point blending[C]∥Computer Vision-ECCV : 16th European Conference, Glasgow, UK, 2020: 689-704.

[22] Pan H, Hong Y, Sun W, et al. Deep dual-resolution networks for realtime and accurate semantic segmentation of traffic scenes[J]. IEEE Transactions on Intelligent Transportation Systems, 2022, 24(3): 3448-3460.

[23] Bae W, Yoo J, Chul Ye J. Beyond deep residual learning for image restoration: persistent homology-guided manifold simplification[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, Honolulu, USA, 2017:1141-1149.

[24] Cheng M, Su J, Li L, et al. A-DFPN: adversarial learning and deformation feature pyramid networks for object detection[C]∥IEEE 5th International Conference on Image, Vision and Computing (ICIVC),Beijing, China, 2020: 11-18.

[25] Liu S, Qi L, Qin H, et al. Path aggregation network for instance segmentation[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,Salt Lake City, USA, 2018: 8759-8768.

[26] Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need[C]∥NIPS'17: Proceedings of the 31st International Conference on Neural Information Processing Systems,Long Beach, USA,2017: 6000-6010.

[27] Zhao H, Shi J, Qi X, et al. Pyramid scene parsing network[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,Honolulu, USA, 2017: 6230-6239.

[28] TuSimple. TuSimple lane detection benchmark[DB/OL]. [2024-04-06].

[29] Ghafoorian M, Nugteren C, Baka N, et al. EL-GAN: embedding loss driven generative adversarial networks for lane detection[C]∥Proceedings of the European Conference on Computer Vision (ECCV) Workshops,Munich, Germany, 2018: 256-272.

[30] Yoo S, Lee H S, Myeong H, et al. End-to-end lane marker detection via row-wise classification[C]∥Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, Seattle, USA, 2020:4335-4343.

[31] Tabelini L, Berriel R, Paixao T M, et al. Keep your eyes on the lane: real-time attention-guided lane detection[C]∥Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Nashville, USA, 2021: 294-302.

[32] Ko Y, Lee Y, Azam S, et al. Key points estimation and point instance segmentation approach for lane detection[J]. IEEE Transactions on Intelligent Transportation Systems, 2021, 23(7): 8949-8958.

[33] Chen Z, Liu Q, Lian C.PointLaneNet: efficient end-to-end CNNs for accurate real-time lane detection[C]∥IEEE Intelligent Vehicles Symposium (IV), Paris, France, 2019: 2563-2568.

[34] Qin Z Q, Zhang P Y, Li X, et al. Ultra fast deep lane detection with hybrid anchor driven ordinal classification[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022, 46(5): 2555-2568.

基金资助

重庆市技术创新与应用发展专项项目(CSTB2022TIAD-KPX0113)

重庆市技术创新与应用发展专项项目(CSTB2022TIAD-KPX0118)

国家重点研发计划项目(2022YFC3800502)