去伪影空洞残差与双向注意力金字塔增强的图像级联语义分割算法

Image Cascade Semantic Segmentation Algorithm Based on Deartifacting Dilated Residual and Bidirectional Attention Pyramid Enhancement

摘要

针对ICNet空洞卷积引入网格伪影， 金字塔池化模块难以充分融合不同尺度特征层间的上下文信息， 同一尺度特征和跨尺度特征均交互不足的问题， 提出去伪影空洞残差与双向注意力金字塔增强的图像级联语义分割算法。该算法提出去伪影空洞残差网络， 消除空洞卷积引入的网格伪影， 加强网络的表征能力； 构建双向金字塔池化模块， 沿自顶向下的路径将语义信息传递到低层， 并沿自底向上的路径将位置信息传递到高层； 构造注意力金字塔增强模块， 创建自注意力、 向上注意力、 向下注意力机制， 建立跨空间与跨尺度的特征交互。Cityscapes数据集上的实验结果表明， 所提算法的总体精确率、 平均像素精确度、 平均交并比分别比ICNet提高了0.67%、 5.58%、 4.40%， 而且该算法的以上3个评价指标均优于其它8种主流比对算法。

Abstract

A novel algorithm named as image cascade semantic segmentation algorithm based on deartifacting dilated residual and bidirectional attention pyramid enhancement is proposed to avoid the disadvantages of an introduction of gridding artifacts for dilated convolutions， the difficulty in fully integrating context information among different scale feature layers for the pyramid pooling module， and lacking sufficient interaction for the same scale features and the cross-scale features in ICNet algorithm. The characterization ability of the network is strengthened since the deartifacting dilated residual network is constructed to remove gridding artifacts introduced by dilated convolutions. After building the bidirectional pyramid pooling module， the semantic information is transmitted to the lower level along a top-down path while the location information is conveyed to the higher level along a bottom-up path. Moreover， the feature interactions for both cross-space and cross-scale are established by the attention pyramid enhancement module， which introduces self-attention， upward attention， and downward attention mechanism. On the Cityscapes dataset， the experimental results show that the overall accuracy， the mean pixel accuracy and the mean intersection over union of the proposed algorithm have been improved by 0.67%， 5.58% and 4.40% respectively compared to ICNet. Compared with the state-of-the-art methods， the presented method achieves outperformance on the above evaluation indexes.

Graphical abstract

关键词

深度学习 / 语义分割 / ICNet / 双向金字塔 / 注意力金字塔增强

Key words

deep learning / semantic segmentation / ICNet / bidirectional pyramid / attention pyramid enhancement

0 引　言

作为计算机视觉领域的一项关键技术， 语义分割的目的是预测图像中每个像素点对应的语义类别标签。目前， 语义分割在遥感测绘^［1‐3］、 无人驾驶^［4‐7］、 医疗影像分析^［8‐10］等领域得到了广泛应用。

基于机器学习的图像分割方法主要包括基于边缘、 阈值、 区域、 聚类和图论的分割方法。该类方法通过人工经验提取图像特征， 复杂场景下分割精度低， 难以满足实际场景中多语义类别的需求。近年来， 卷积神经网络在计算机视觉（Computer Vision， CV）领域表现出了强大的特征学习能力。2015年， Long等^［11］提出全卷积神经网络（Fully Convolutional Networks， FCN）， 该网络将深度学习引入图像语义分割领域， 通过端到端的方式构建语义分割模型。

当前主流语义分割算法大多采用类似FCN的框架， 大致可分为两类： 一类算法使用编解码结构， 通过编码器提取语义信息， 再经解码器恢复空间分辨率， 如SegNet^［12］和GCN（Global Convolutional Network）^［13］算法， 该类算法一定程度上弥补了空间位置信息的损失， 但缺乏足够的上下文信息， 导致分割精度较低； 另一类算法通过池化或卷积形式的金字塔获取多尺度上下文信息以提高分割准确率， 如PSPNet^［14］和OCNet^［15］算法， 该类算法往往模型复杂， 推理速度慢。

ICNet^［16］通过低分辨率分支获得语义信息， 并增加中、 高分辨率分支以获取细节信息， 这在保证分割性能的同时， 提高了推理速度。然而， ICNet空洞卷积引入网格伪影， 金字塔池化模块难以充分融合不同尺度特征层间的上下文信息， 同一尺度特征和跨尺度特征均交互不足。

针对以上问题， 提出去伪影空洞残差与双向注意力金字塔增强的图像级联语义分割算法（Image Cascade Semantic Segmentation Algorithm Based on Deartifacting Dilated Residual and Bidirectional Attention Pyramid Enhancement， IDB）。该算法构建去伪影空洞残差网络， 去除空洞卷积引入的网格伪影， 提高网络的表征能力； 构造双向金字塔池化模块， 引入自顶而下和自底向上的路径以加强不同尺度特征层之间上下文信息的融合； 提出注意力金字塔增强模块， 创建自注意力、 向上注意力、 向下注意力机制， 实现跨空间与跨尺度的特征交互。实验结果表明， IDB算法在Cityscapes数据集上的总体精确率、 平均像素精确度、 平均交并比均优于其它8种主流对比算法。

1 相关模型

作为一种典型的实时语义分割模型， ICNet在PSPNet的基础上采用低、 中、 高三分辨率分支策略来降低时间成本， 其结构如图 1 所示。ICNet的低分辨率分支利用PSPNet获得粗略特征， 中分辨率分支与高分辨率分支使用少量卷积层获取细节特征。金字塔池化模块（Pyramid Pooling Module， PPM）和级联特征融合模块（Cascade Feature Fusion， CFF）融合各支路特征， 再经预测网络得到语义分割图。

2 IDB方法

2.1 去伪影空洞残差网络

ICNet在ResNet50的后两个模块res-4和res-5中分别连续采用扩张率为2和4的空洞卷积。设F为特征图， K为卷积核， d为扩张率， 则空洞卷积可定义为

(F\mathrm{*}K)(p)=\sum _{a+db=p}F(a)K(b),（1）

式中： b、 a和p分别为卷积层、 输入特征图和输出特征图中的点。

空洞卷积在卷积核的相邻权值之间填充了零值， 这扩充了特征图上卷积核的计算范围， 从而提取了更大区域的特征信息。

虽然空洞卷积可以扩大感受野， 但有可能会引入网格伪影， 如图 2 所示。图 2（a） 绿色部分表示输入的单个像素， 图 2（b） 表示扩张率为2的空洞卷积， 图 2（c） 展示了网格伪影。ResNet50在7×7卷积层后采用最大池化层。最大池化层导致的高幅高频效应向后续特征层传播， 这使网格伪影问题更严重。

为消除网格效应， 提高分割精度， IDB采用去伪影空洞残差网络（Deartifacting Dilated Residual Network， DDRN）提取特征。若s、 d、 n、 c分别表示步长、 扩张率、 重复次数和输出通道数， 则DDRN的网络结构可由表 1 表示。DDRN将最大池化层替换为两个3×3的卷积层以消除高幅高频效应。此外， DDRN在网络末端添加扩张率为2和1的两个卷积层以滤除混叠伪影。

通过替换最大池化层和添加不同扩张率的卷积层， DDRN消除了网格伪影， 加强了网络的表征能力， 提升了IDB模型的分割性能。

2.2 双向金字塔池化

PPM拼接各池化特征图可获取不同区域的特征信息， 但缺乏足够的轮廓细节， 而且不同尺度特征图之间的上下文信息交互不足。针对此问题， IDB构建双向金字塔池化模块（Bidirectional Pyramid Pooling Module， BPPM）， 如图 3 所示。该模块的基本单元BPPM层， 沿自顶向下的路径将语义信息传递到低层， 并沿自底向上的路径将位置信息传递到高层。这使不同尺度特征间的语义信息和位置信息得到了充分融合， 提高了IDB算法的分割准确率。

基于不同尺度子区域， BPPM对输入特征图进行全局平均池化得到12×12， 6×6， 3×3， 2×2， 1×1的池化特征图L_{\mathrm{3}}、 L_{\mathrm{4}}、 L_{\mathrm{5}}、 L_{\mathrm{6}}、 L_{\mathrm{7}}。将L_{\mathrm{3}}、 L_{\mathrm{4}}、 L_{\mathrm{5}}、 L_{\mathrm{6}}、 L_{\mathrm{7}}作为输入， 第一个BPPM层沿自上而下的路径得到中间特征层L_i^{\mathrm{t}\mathrm{d}}， 再自下而上逐层下采样并融合同层特征以得到输出特征层L_j^{\mathrm{o}\mathrm{u}\mathrm{t}}， 如式（2）~（6）所示。

L_{\mathrm{6}}^{\mathrm{t}\mathrm{d}}=Con{v}_{\mathrm{3}\times \mathrm{3}}\left(\frac{{\omega }_{\mathrm{6},\mathrm{i}\mathrm{n}}\cdot L_{\mathrm{6}}+{\omega }_{\mathrm{7},\mathrm{i}\mathrm{n}}\cdot \mathrm{R}\mathrm{e}siz{e}_{\mathrm{u}\mathrm{p}}(L_{\mathrm{7}})}{{\omega }_{\mathrm{6},\mathrm{i}\mathrm{n}}+{\omega }_{\mathrm{7},\mathrm{i}\mathrm{n}}+\epsilon }\right),（2）

L_i^{\mathrm{t}\mathrm{d}}=Con{v}_{\mathrm{3}\times \mathrm{3}}\left(\frac{{\omega }_{i,\mathrm{i}\mathrm{n}}\cdot L_i+{\omega }_{i+\mathrm{1},\mathrm{t}\mathrm{d}}\cdot \mathrm{R}\mathrm{e}siz{e}_{\mathrm{u}\mathrm{p}}(L_{i+\mathrm{1}}^{\mathrm{t}\mathrm{d}})}{{\omega }_{i,\mathrm{i}\mathrm{n}}+{\omega }_{i+\mathrm{1},\mathrm{t}\mathrm{d}}+\epsilon }\right),（3）

式中： {\omega }_{i,\mathrm{i}\mathrm{n}}， {\omega }_{i,\mathrm{t}\mathrm{d}}分别为第i输入层和中间层权重； \mathrm{R}\mathrm{e}siz{e}_{\mathrm{u}\mathrm{p}}(·)和Con{v}_{\mathrm{3}\times \mathrm{3}}(·)分别表示上采样和3×3卷积； \epsilon为0.000 1； i\in \{\mathrm{3,4},\mathrm{5}\}。

L_{\mathrm{3}}^{\mathrm{o}\mathrm{u}\mathrm{t}}=L_{\mathrm{3}}^{\mathrm{t}\mathrm{d}},（4）

L_j^{\mathrm{o}\mathrm{u}\mathrm{t}}=Con{v}_{\mathrm{3}\times \mathrm{3}}\left(\frac{{\omega }_{j,\mathrm{i}\mathrm{n}}^{\text{'}}\cdot L_j+{\omega }_{j,\mathrm{t}\mathrm{d}}^{\text{'}}\cdot L_j^{\mathrm{t}\mathrm{d}}+{\omega }_{j-\mathrm{1},\mathrm{o}\mathrm{u}\mathrm{t}}^{\text{'}}\cdot \mathrm{R}\mathrm{e}siz{e}_{\mathrm{d}\mathrm{o}\mathrm{w}\mathrm{n}}(L_{j-\mathrm{1}}^{\mathrm{o}\mathrm{u}\mathrm{t}})}{{\omega }_{j,\mathrm{i}\mathrm{n}}^{\text{'}}+{\omega }_{j,\mathrm{t}\mathrm{d}}^{\text{'}}+{\omega }_{j-\mathrm{1},\mathrm{o}\mathrm{u}\mathrm{t}}^{\text{'}}+\epsilon }\right),（5）

L_{\mathrm{7}}^{\mathrm{o}\mathrm{u}\mathrm{t}}=Con{v}_{\mathrm{3}\times \mathrm{3}}\left(\frac{{\omega }_{\mathrm{7},\mathrm{i}\mathrm{n}}^{\text{'}}\cdot L_{\mathrm{7}}+{\omega }_{\mathrm{6},\mathrm{o}\mathrm{u}\mathrm{t}}^{\text{'}}\cdot \mathrm{R}\mathrm{e}siz{e}_{\mathrm{d}\mathrm{o}\mathrm{w}\mathrm{n}}(L_{\mathrm{6}}^{\mathrm{o}\mathrm{u}\mathrm{t}})}{{\omega }_{\mathrm{7},\mathrm{i}\mathrm{n}}^{\text{'}}+{\omega }_{\mathrm{6},\mathrm{o}\mathrm{u}\mathrm{t}}^{\text{'}}+\epsilon }\right),（6）

式中： {\omega }_{j,\mathrm{i}\mathrm{n}}^{\text{'}}， {\omega }_{j,\mathrm{t}\mathrm{d}}^{\text{'}}， {\omega }_{j,\mathrm{o}\mathrm{u}\mathrm{t}}^{\text{'}}分别为第j输入层、 中间层、 输出层权重； \mathrm{R}\mathrm{e}siz{e}_{\mathrm{d}\mathrm{o}\mathrm{w}\mathrm{n}}(·)表示下采样； j\in \{\mathrm{4,5},\mathrm{6}\}。

BPPM包含3个BPPM层。与首个BPPM层操作类似， BPPM依次经第2、 3层后得到输出特征图。

IDB构建双向金字塔池化模块， 该模块引入池化特征图， 并双向加权以融合多尺度特征。这获取了更多轮廓细节， 增强了不同尺度特征图之间上下文信息的交互。

2.3 注意力金字塔增强模块

PPM通过自适应全局平均池化得到不同尺度的特征图， 但同一尺度特征和跨尺度特征均交互不足。针对此问题， 构建注意力金字塔增强模块（Attention Pyramid Enhancement， APE）。该模块创建自注意力（Self-Attention， SA）、 向下注意力（Downward Attention， DA）和向上注意力（Upward Attention， UA）3种机制。SA捕捉同一尺度特征图上共现的目标特征； DA将高层特征图中的语义信息传递到低层； UA把低层特征图中的位置信息融入到高层。

2.3.1 自注意力机制

{\mathit{X}}^{\text{'}}、 \mathit{X}分别为输入特征图和调整尺寸后的输入特征图， 设{\mathit{X}}^{\text{'}}\in {\mathbf{R}}^{C\times H\times W}、 \mathit{X}\in {\mathbf{R}}^{C\times HW}。若C^{\text{'}}\times C的可学习矩阵{\mathit{W}}_q、 {\mathit{W}}_k、 {\mathit{W}}_v分别表示查询、 键、 值的权重矩阵， 则查询、 键、 值矩阵可分别表示为\mathit{Q}={\mathit{W}}_q\mathit{X}、 \mathit{K}={\mathit{W}}_k\mathit{X}、 \mathit{V}={\mathit{W}}_v\mathit{X}。

令

\begin{array}{c}\mathit{Q}=\left({\mathit{q}}_i\right)=\left(\begin{array}{c}{\mathit{q}}_{\mathrm{1}}\\ ⋮\\ {\mathit{q}}_{\frac{C^{\text{'}}}{N}}\\ ⋮\\ {\mathit{q}}_{\frac{C^{\text{'}}}{N}\times (n-\mathrm{1})+\mathrm{1}}\\ ⋮\\ {\mathit{q}}_{\frac{C^{\text{'}}}{N}\times n}\\ ⋮\\ {\mathit{q}}_{\frac{C^{\text{'}}}{N}\times (N-\mathrm{1})+\mathrm{1}}\\ ⋮\\ {\mathit{q}}_{C^{\text{'}}}\end{array}\right)=\left(\begin{array}{c}{\mathit{Q}}_{\mathrm{1}}\\ ⋮\\ {\mathit{Q}}_n\\ ⋮\\ {\mathit{Q}}_N\end{array}\right),\\ \mathit{K}=({\mathit{k}}_j)=\left(\begin{array}{c}{\mathit{k}}_{\mathrm{1}}\\ ⋮\\ {\mathit{k}}_{\frac{C^{\text{'}}}{N}}\\ ⋮\\ {\mathit{k}}_{\frac{C^{\text{'}}}{N}\times (n-\mathrm{1})+\mathrm{1}}\\ ⋮\\ {\mathit{k}}_{\frac{C^{\text{'}}}{N}\times n}\\ ⋮\\ {\mathit{k}}_{\frac{C^{\text{'}}}{N}\times (N-\mathrm{1})+\mathrm{1}}\\ ⋮\\ {\mathit{k}}_{C^{\text{'}}}\end{array}\right)=\left(\begin{array}{c}{\mathit{K}}_{\mathrm{1}}\\ ⋮\\ {\mathit{K}}_n\\ ⋮\\ {\mathit{K}}_N\end{array}\right)\mathrm{。}\end{array}（7）

则归一化的注意力图可由式（8）给出。从而可得SA的输出特征图， 如式（9）~（10）所示。

f_{\mathrm{S}\mathrm{A}}(\mathit{Q},\mathit{K},N)=\left({\pi }_{\mathrm{1}},\cdots ,{\pi }_n,\cdots ,{\pi }_N\right)·\left(softmax\left[\begin{array}{c}\begin{array}{c}{\mathit{Q}}_{\mathrm{1}}^{\mathrm{T}}{\mathit{K}}_{\mathrm{1}}\\ ⋮\\ {\mathit{Q}}_n^{\mathrm{T}}{\mathit{K}}_n\\ ⋮\\ {\mathit{Q}}_N^{\mathrm{T}}{\mathit{K}}_N\end{array}\end{array}\right]\right),（8）

{{\mathit{X}}_{s\mathrm{s}}}^{\mathrm{\text{'}}}=f_{\mathrm{S}\mathrm{A}}(\mathit{Q},\mathit{K},N)\cdot {\mathit{V}}^{\mathrm{T}},（9）

{\mathit{X}}_{ss}=reshape({\mathit{W}}_s\cdot ({\mathit{X}}_{ss}^{\text{'}}{)}^{\mathrm{T}}),（10）

式中： {\mathrm{\pi }}_n为第n个可学习的聚合权重； {\mathit{W}}_s为可学习的C\times C^{\text{'}}权重矩阵； {\mathit{X}}_{ss}\in {\mathbf{R}}^{C\times H\times W}。

2.3.2 向下注意力机制

{{\mathit{X}}_t}^{\mathrm{\text{'}}\mathrm{\text{'}}}表示输入的高层特征图， {{\mathit{X}}_t}^{\mathrm{\text{'}}\mathrm{\text{'}}}上采样后的特征图为{{\mathit{X}}_t}^{\mathrm{\text{'}}}， {{\mathit{X}}_t}^{\mathrm{\text{'}}}调整尺寸后的特征图为{\mathit{X}}_t。{{\mathit{X}}_d}^{\mathrm{\text{'}}}表示输入的低层特征图， {{\mathit{X}}_d}^{\mathrm{\text{'}}}调整尺寸后的特征图为{\mathit{X}}_d。设{{\mathit{X}}_t}^{\mathrm{\text{'}}\mathrm{\text{'}}}\in {\mathbf{R}}^{C\times H_t\times W_t}、 {{\mathit{X}}_t}^{\mathrm{\text{'}}}\in {\mathbf{R}}^{C\times H_d\times W_d}、 {\mathit{X}}_t\in {\mathbf{R}}^{C\times H_d{W}_d}、 {{\mathit{X}}_d}^{\mathrm{\text{'}}}\in {\mathbf{R}}^{C\times H_d\times W_d}、 {\mathit{X}}_d\in {\mathbf{R}}^{C\times H_d{W}_d}。若查询、 键、 值的权重矩阵分别由可学习的C^{\text{'}}\times C的矩阵{\mathit{W}}_q、 {\mathit{W}}_k、 {\mathit{W}}_v表示， 则查询、 键、 值矩阵可分别由\mathit{Q}={\mathit{W}}_q{\mathit{X}}_d、 \mathit{K}={\mathit{W}}_k{\mathit{X}}_t、 \mathit{V}={\mathit{W}}_v{\mathit{X}}_t表示。

一般而言， 不同尺度的特征图提取不同的上下文信息或语义信息。特征图语义信息不同时， 负欧式距离表达相似度比点积更有效^［17］。对\mathit{Q}、 \mathit{K}采用式（7）所示的分块， 使用负欧式距离进行相似度计算， 可得归一化的注意力图， 如式（11）所示。于是可得DA的输出特征图， 如式（12）~式（13）所示。

\begin{array}{c}{f}_{DA}(\mathit{Q},\mathit{K},N)=\\ \left({\pi }_{\mathrm{1}},\dots ，{\pi }_n，\dots ，{\pi }_N\right)·\\ \left(softmax\left[\begin{array}{c}-{‖{\mathit{Q}}_{\mathrm{1}}^T-{\mathit{K}}_{\mathrm{1}}^T‖}^{\mathrm{2}}\\ ⋮\\ -{‖{\mathit{Q}}_n^T-{\mathit{K}}_n^T‖}^{\mathrm{2}}\\ ⋮\\ -{‖{\mathit{Q}}_N^T-{\mathit{K}}_N^T‖}^{\mathrm{2}}\end{array}\right]\right),\end{array}（11）

{\mathit{X}}_{sd}^{\text{'}}=f_{\mathrm{D}\mathrm{A}}(\mathit{Q},\mathit{K},N)\cdot {\mathit{V}}^{\mathrm{T}}，（12）

{\mathit{X}}_{sd}=reshape({\mathit{W}}_d\cdot ({\mathit{X}}_{sd}^{\text{'}}{)}^{\mathrm{T}})，（13）

式中： {\pi }_n为第n个可学习的聚合权重； {\mathit{W}}_d为可学习的C\times C^{\text{'}}权重矩阵； {\mathit{X}}_{sd}\in {\mathbf{R}}^{C\times H_d\times W_d}。

2.3.3 向上注意力机制

\mathit{K}、 \mathit{V}均表示输入的低层特征图， \mathit{Q}表示输入的高层特征图， {\mathit{Q}}_i为\mathit{Q}的第i个通道。设\mathit{Q}\in {\mathbf{R}}^{C\times H_t\times W_t}， \mathit{K}\in {\mathbf{R}}^{C\times H_d\times W_d}， \mathit{V}\in {\mathbf{R}}^{C\times H_d\times W_d}。\mathit{K}经全局平均池化得到权重\mathit{W}， 如式（14）所示。\mathit{W}的第i个分量W_i与{\mathit{Q}}_i数乘、 拼接、 卷积后得到{\mathit{Q}}_w。\mathit{V}下采样后与{\mathit{Q}}_w求和， 再经3×3卷积得到UA的输出{\mathit{X}}_{st}， 见式（15）~式（16）。

\mathit{W}=GAP(\mathit{K}),（14）

{\mathit{Q}}_w=Con{v}_{\mathrm{3}\times \mathrm{3}}(concat(W_i\cdot {\mathit{Q}}_i)),（15）

{\mathit{X}}_{st}=Con{v}_{\mathrm{3}\times \mathrm{3}}({\mathit{Q}}_w+SCon{v}_{\mathrm{3}\times \mathrm{3}}(\mathit{V})),（16）

式中： \mathit{W}\in {\mathbf{R}}^{C\times \mathrm{1}}， {\mathit{Q}}_w\mathrm{、}{\mathit{X}}_{st}\in {\mathbf{R}}^{C\times H_t\times W_t}； Con{v}_{\mathrm{3}\times \mathrm{3}}和SCon{v}_{\mathrm{3}\times \mathrm{3}}分别表示3×3卷积和带步长的3×3卷积。

2.3.4 注意力金字塔增强

如图 4 所示， {\mathit{X}}_{\mathrm{1}}、 {\mathit{X}}_{\mathrm{2}}、 {\mathit{X}}_{\mathrm{3}}、 {\mathit{X}}_{\mathrm{4}}、 {\mathit{X}}_{\mathrm{5}}表示APE模块的输入特征图。{\mathit{X}}_{\mathrm{1}}经SA、 UA作用后得{\mathit{Y}}_{\mathrm{1}}， {\mathit{X}}_{\mathrm{5}}经SA、 DA作用后得{\mathit{Y}}_{\mathrm{5}}。{\mathit{X}}_{\mathrm{2}}、 {\mathit{X}}_{\mathrm{3}}、 {\mathit{X}}_{\mathrm{4}}分别经SA、 DA、 UA作用后得{\mathit{Y}}_{\mathrm{2}}、 {\mathit{Y}}_{\mathrm{3}}、 {\mathit{Y}}_{\mathrm{4}}。从下到上， 依次堆叠{\mathit{Y}}_{\mathrm{1}}、 {\mathit{Y}}_{\mathrm{2}}、 {\mathit{Y}}_{\mathrm{3}}、 {\mathit{Y}}_{\mathrm{4}}、 {\mathit{Y}}_{\mathrm{5}}中的第i层得到{\mathit{Z}}_i。自上而下依次拼接{\mathit{X}}_i与{\mathit{Z}}_i得到{\mathit{C}}_i， {\mathit{C}}_i经卷积得输出特征图{\mathit{O}}_i。

APE创建SA、 DA、 UA机制以建立跨空间与跨尺度的特征交互， 这丰富了特征图的上下文信息， 提高了模型的分割性能。

2.4 IDB网络模型

IDB网络包含低、 中、 高3个分辨率分支， 如图 5 所示。低、 中分辨率分支构建DDRN网络， 低分辨率分支创建BPPM和APE模块。DDRN消除空洞卷积引入的网格伪影， 提高网络的表征能力； BPPM引入自顶而下和自底向上的路径， 加强多尺度特征的融合； APE构造自注意力、 向上注意力、 向下注意力机制， 建立跨空间与跨尺度的特征交互。

3 实验结果与分析

3.1 数据集与评价指标

实验采用Cityscapes数据集评估模型性能。该数据集包含2 975幅训练图像、 500幅验证图像和1 525幅测试图像， 共有19个语义类别。实验采用的测试集为验证集。

评价指标为总体精确率^［18］（Overall Accuracy， OA）、 平均像素精确度（Mean Pixel Accuracy， MPA）、 平均交并比（Mean Intersection over Union， MIoU）、 频率权重交并比（Frequency Weighted Intersection over Union， FWIoU）和FPS。各评价指标的数学表达式如式（17）~式 （21） 所示。

OA=\frac{{\displaystyle \sum _{i=\mathrm{0}}^k}{p}_{ii}}{{\displaystyle \sum _{i=\mathrm{0}}^k}{\displaystyle \sum _{j=\mathrm{0}}^k}{p}_{ij}},（17）

MPA=\frac{\mathrm{1}}{k+\mathrm{1}}{\displaystyle \sum _{i=\mathrm{0}}^k}\frac{p_{ii}}{{\displaystyle \sum _{j=\mathrm{0}}^k}{p}_{ij}},（18）

MIoU=\frac{\mathrm{1}}{k+\mathrm{1}}{\displaystyle \sum _{i=\mathrm{0}}^k}\frac{p_{ii}}{{\displaystyle \sum _{j=\mathrm{0}}^k}{p}_{ij}+{\displaystyle \sum _{j=\mathrm{0}}^k}{p}_{ji}-p_{ii}},（19）

FWIoU=\frac{\mathrm{1}}{{\displaystyle \sum _{i=\mathrm{0}}^k}{\displaystyle \sum _{j=\mathrm{0}}^k}{p}_{ij}}{\displaystyle \sum _{i=\mathrm{0}}^k}\frac{{\displaystyle \sum _{j=\mathrm{0}}^k}{p}_{ij}{p}_{ii}}{{\displaystyle \sum _{j=\mathrm{0}}^k}{p}_{ij}+{\displaystyle \sum _{j=\mathrm{0}}^k}{p}_{ji}-p_{ii}},（20）

式中： k+\mathrm{1}为类别总数； p_{ij}表示实际类别为i的像素被标记为类别j的像素数量。

FPS=\frac{N}{{\displaystyle \sum _{j=\mathrm{1}}^N}{T}_j},（21）

式中： N为图像数量； T_j为处理第j幅图像所用的时间。

3.2 实验设置

硬件配置： Intel（R） Xeon（R） Platinum CPU， NVIDIA GeForce RTX 3090 GPU。深度学习框架为pytorch1.10， GPU加速库为CUDA11.3和Cudnn8.2.0。

训练阶段， 选取SGD（Stochastic Gradient Descent）优化器更新参数。动量和权重衰减分别设置为0.9和0.000 1。初始学习率为0.01， 利用poly策略动态调整学习率。批处理大小为8， epoch设置为200。

3.3 定量分析

为评估IDB算法性能， 在Cityscapes数据集上与ENet^［19］， CGNet^［20］， LEDNet^［21］， ICNet^［16］， DUNet^［22］， BiSeNet^［23］， EncNet^［24］， OCNet^［15］8种主流算法进行对比， 各类别IoU如表 2 所示。由表 2 可知， IDB算法6个目标类别的IoU值为最优， 4个目标类别的IoU值为次优。且IDB算法的MIoU值为72.1%， 分别比ENet、 CGNet、 LEDNet、 ICNet、 DUNet、 BiSeNet、 EncNet、 OCNet算法的MIoU值提高了13.75、 8.19、 7.06、 3.04、 2.84、 2.39、 1.26、 1.11百分点。

表 3 给出了9种算法各类别PA值的对比结果。由表 3 可知， IDB算法5个目标类别的PA值为最优， 3个目标类别的PA值为次优。且IDB算法的MPA值达到了80.05%， 相较于ENet、 CGNet、 LEDNet、 ICNet、 DUNet、 BiSeNet、 EncNet、 OCNet算法， 分别提高了13.06、 6.18、 4.96、 4.23、 0.94、 1.68、 1.73、 1.4百分点。

表 4 给出了9种算法在4项评价指标上的结果。由表 4 可知， 与ICNet基准算法相比， IDB算法的OA、 MPA、 MIoU分别提高了0.63、 4.23、 3.04百分点。由表 4 还可看出， IDB算法的OA、 MPA、 MIoU均优于其它对比算法。

3.4 定性分析

为定性分析IDB算法的分割性能， 选取5幅图像， 并与ENet、 CGNet、 LEDNet、 ICNet、 DUNet、 BiSeNet、 EncNet、 OCNet算法进行对比。实验结果如图 6 所示， 黄色框为效果提升明显部分。

由第1列对比图可知， ENet、 DUNet、 EncNet、 OCNet算法对卡车存在错误分割问题；ENet、 CGNet、 LEDNet、 ICNet、 BiSeNet算法将行人的一部分错误分割成卡车。相比之下， IDB算法对卡车和行人的分割效果更好。

由第2列对比图可知， IDB算法对汽车尾部的分割效果优于ENet、 CGNet、 LEDNet、 ICNet、 DUNet、 BiSeNet、 EncNet、 OCNet算法， 更接近标签图。

由第3列对比图可知， IDB以外的8种算法不同程度地将车道错误分割成人行道。ENet、 CGNet、 LEDNet、 DUNet、 BiSeNet、 EncNet、 OCNet算法将骑行者的一部分错误分割成行人。相比之下， IDB算法对车道和骑行者的分割结果更准确。

由第4列对比图可知， 除IDB算法外， 其余算法均将右边的骑行者错误分割成行人。ENet、 CGNet、 LEDNet、 DUNet、 BiSeNet、 EncNet、 OCNet算法对左边的骑行者存在错误分割现象。只有IDB算法没有错误分割问题， 分割效果优于其它算法。

由第5列对比图可知， ENet、 CGNet、 LEDNet、 DUNet、 BiSeNet、 EncNet、 OCNet算法对汽车存在错误分割现象。ICNet算法虽然能分割出汽车， 但在车轮轮廓处， IDB算法的分割结果与标签图更接近。

3.5 消融实验

为验证IDB算法中DDRN、 BPPM和APE模块的有效性， 进行了4组消融实验， 结果如表 5~表 8 所示。

表 5 给出了DDRN、 BPPM和APE模块的消融实验结果。由表中第1、 8行可看出， IDB算法的OA、 MIoU、 FWIoU分别比ICNet提高了0.63、 3.04、 1.15百分点。由表中第5、 8行可看出， 缺少DDRN时， OA、 MIoU、 FWIoU分别下降了0.43、 3.02、 0.72百分点， 这表明DDRN消除了空洞卷积引入的网格伪影， 提高了网络的表征能力。由表中第6、 8行可知， 缺少BPPM时， OA、 MIoU、 FWIoU分别下降了0.13、 0.38、 0.24百分点， 这说明BPPM通过自顶向下和自底向上的路径加强了多尺度特征的融合能力。由表中第7、 8行可知， 缺少APE模块时， OA、 MIoU分别下降了0.02、 0.48百分点， 这说明APE模块通过创建的自注意力、 向上注意力、 向下注意力机制提高了跨空间与跨尺度的特征交互能力。

表 6 给出了DDRN的消融实验结果， 表中第3行为基准网络。由表 6 可知， 与采用ResNext-50、 ResNest-50、 Dilated-ResNet-50、 Xception的网络相比， 采用DDRN网络的OA分别提高了1.05、 0.76、 0.41、 0.37百分点， MIoU分别提升了2.71、 2.43、 1.58、 0.55百分点， FWIoU分别提升了1.79、 1.23、 0.72、 0.58百分点。可以看出， 5种骨干网络中， Backbone为DDRN的网络分割性能最好， 验证了DDRN模块的有效性。

表 7 给出了BPPM的消融实验结果。由表 7 可知， 相较于PPM、 PPM+PANet、 PPM+BiFPN， 采用BPPM分割方法的OA分别提升了0.20、 0.29、 0.06百分点， MIoU分别提高了0.98、 0.66、 0.04百分点， FWIoU分别提高了0.43、 0.53、 0.15百分点。可以看出， 4种方法中， BPPM的特征融合效果最佳， 验证了BPPM的有效性。

表 8 给出了APE模块的消融实验结果。表中第1~4行、 第5~8行的骨干网络分别采用Dilated-ResNet-50和DDRN。由表中第1~4行可知， 与ICNet、 BPA^［25］和FPN相比， 采用APE分割方法的MPA分别提高了1.38、 0.2、 0.14百分点， MIoU分别提高了0.68、 0.52、 0.31百分点。由表中第5~8行可看出， 与第5、 6、 7行相比， 采用APE分割方法的OA分别提高了0.02、 0.26、 0.17百分点， MIoU分别提升了0.48、 0.86、 0.54百分点。综上可知， 各模块中， APE的特征融合效果最好， 证明了APE模块的有效性。

4 结　论

本文提出一种去伪影空洞残差与双向注意力金字塔增强的图像级联语义分割算法。该算法构建去伪影空洞残差网络， 消除空洞卷积引入的网格伪影， 增强网络的特征提取能力； 构造双向金字塔池化模块， 引入自顶向下和自底向上的路径， 充分融合多尺度特征； 设计注意力金字塔增强模块， 通过自注意力、 向上注意力、 向下注意力机制建立跨空间与跨尺度的特征交互。实验结果表明， Cityscapes数据集上所提算法的总体精确率、 平均像素精确度、 平均交并比均高于其它8种主流算法； 与基准算法相比， 以上3种评价指标分别提高了0.67%、 5.58%、 4.40%。

参考文献

[1] JIANG B， AN X， XU S， et al. Intelligent image semantic segmentation： a review through deep learning techniques for remote sensing image analysis［J］. Journal of the Indian Society of Remote Sensing， 2023， 51（9）： 1865-1878.

[2] SUN Y， ZHENG W. HRNet-and PSPNet-based multiband semantic segmentation of remote sensing images［J］. Neural Computing and Applications， 2023， 35（12）： 8667-8675.

[3] SU Z， LI W， MA Z， et al. An improved U-Net method for the semantic segmentation of remote sensing images［J］. Applied Intelligence，2022，52（3）： 3276-3288.

[4] HUANG T， SONG S， LIU Q， et al. A novel multi-exposure fusion approach for enhancing visual semantic segmentation of autonomous driving［J］. Proceedings of the Institution of Mechanical Engineers， Part D： Journal of Automobile Engineering，2023，237（7）： 1652-1667.

[5] FAN J， GAO B， GE Q， et al. SegTransConv： transformer and CNN hybrid method for real-time semantic segmentation of autonomous vehicles［J］. IEEE Transactions on Intelligent Transportation Systems， 2024，25（2）： 1586-1601.

[6] YASMIN S， DURRANI M Y， GILLANI S， et al. Small obstacles detection on roads scenes using semantic segmentation for the safe navigation of autonomous vehicles［J］. Journal of Electronic Imaging， 2022， 31（6）： 061806.

[7] JULIUS FUSIC S， HARIHARAN K， SITHARTHAN R， et al. Scene terrain classification for autonomous vehicle navigation based on semantic segmentation method［J］. Transactions of the Institute of Measurement and Control， 2022， 44（13）： 2574-2587.

[8] RAHMAN M M， MARCULESCU R. Multi-scale hierarchical vision transformer with cascaded attention decoding for medical image segmentation［C］//Medical Imaging with Deep Learning， PMLR， 2024： 1526-1544.

[9] HATAMIZADEH A， TANG Y， NATH V， et al. UNETR： transformers for 3D medical image segmentation［C］//Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision， 2022： 1748-1758.

[10] TYAGI P， MASSON P， JAIN A， et al. Automated knowledge transfer for medical image segmentation using deep learning［C］//2024 International Conference on Communication， Computer Sciences and Engineering （IC3SE）， 2024： 954-960.

[11] SHELHAMER E， LONG J， DARRELL T. Fully convolutional networks for semantic segmentation［C］//IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017： 640-651.

[12] BADRINARAYANAN V， KENDALL A， CIPOLLA R. SegNet： a deep convolutional encoder-decoder architecture for image segmentation［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence，2017， 39（12）： 2481-2495.

[13] PENG C， ZHANG X， YU G， et al. Large kernel matters--improve semantic segmentation by global convolutional network［C］//IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， 2017： 1743-1751.

[14] ZHAO H， SHI J， QI X， et al. Pyramid scene parsing network［C］//IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， 2017： 6230-6239.

[15] YUAN Y， HUANG L， GUO J， et al. OCNet： object context for semantic segmentation［J］. International Journal of Computer Vision， 2021， 129（8）： 2375-2398.

[16] ZHAO H， QI X， SHEN X， et al. ICNet for real-time semantic segmentation on high-resolution images ［C］//Lecture Notes in Computer Science. Cham： Springer International Publishing， 2018： 418-434.

[17] ZHANG Y， HARE J， PRÜGEL-BENNETT A. Learning to count objects in natural images for visual question answering［J/OL］.［2024-03-02］. arXiv：1802.05766v1.

[18] 彭秀平， 仝其胜， 林洪彬， 等.一种面向散乱点云语义分割的深度残差-特征金字塔网络框架［J］.自动化学报， 2021， 47（12）： 2831-2840.

[19] PENG Xiuping， TONG Qisheng， LIN Hongbin， et al. A deep residual-feature pyramid network framework for scattered point cloud semantic segmentation［J］. Acta Automatica Sinica， 2021， 47（12）： 2831-2840. （in Chinese）

[20] PASZKE A， CHAURASIA A， KIM S， et al. ENet： a deep neural network architecture for real-time semantic segmentation［J/OL］.［2024-03-02］.arXiv：1606. 02147v1.

[21] WU T， TANG S， ZHANG R， et al. Cgnet： a light-weight context guided network for semantic segmentation［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society， 2021， 30： 1169-1179.

[22] WANG Y， ZHOU Q， LIU J， et al. Lednet： A lightweight encoder-decoder network for real-time semantic segmentation［C］// IEEE International Conference on Image Processing （ICIP）， 2019： 1860-1864.

[23] TIAN Z， HE T， SHEN C， et al. Decoders matter for semantic segmentation： data-dependent decoding enables flexible feature aggregation［C］//IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2019： 3121-3130.

[24] YU C， WANG J， PENG C， et al. BiSeNet： bilateral segmentation network for real-time semantic segmentation［C］//Lecture Notes in Computer Science. Cham： Springer International Publishing， 2018： 334-349.

[25] ZHANG H， DANA K， SHI J， et al. Context encoding for semantic segmentation［C］//IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， 2018： 7151-7160.

[26] LIU S， QI L， QIN H， et al. Path aggregation network for instance segmentation［C］//IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， 2018： 8759-8768.

基金资助

国家自然科学基金资助项目(11804209)

山西省自然科学基金资助项目(201901D111031)

山西省自然科学基金资助项目(201901D211173)

山西省高校科技创新计划(2019L0064)

山西省高校科技创新计划(2020L0051)