基于深度学习的推移质颗粒识别优化算法研究

Research on Optimized Algorithm for Deep Learning Based Recognition of Sediment Particles in Turbulent Flow

摘要

推移质运动规律对河床演变具有重要影响，是河流动力学研究的重点和难点。本文开展中低水流条件下的推移质平衡输沙试验，将灰度相减方法和深度学习方法相结合，旨在提出一种优化的推移质运动颗粒识别算法，并在此基础上应用粒子跟踪测速技术（PTV）和卡尔曼滤波算法计算推移质颗粒运动轨迹，从而建立紊流相干结构与颗粒运动强度关系。为清晰捕捉运动距离较小颗粒，对YOLOv5（you only look once）目标检测模型网络结构进行卷积块改进、增加注意力机制和优化损失函数处理，以增强其在推移质颗粒识别任务中对极小目标的检测能力。结果表明：1）灰度相减方法可识别运动距离较大的颗粒，改进YOLOv5模型则能够更好识别运动距离较小的颗粒，通过合并优化两种方法，在本文设置的试验工况下可更准确识别推移质运动颗粒和运动轨迹；2）中低水流强度条件下，推移质泥沙颗粒运动强度受紊流相干结构影响沿水槽横向方向呈现间隔条带结构，并且随着水流强度增加，条带结构逐渐由密集变得稀疏，其宽度也由窄转宽，当水流强度继续增大时紊动掺混剧烈，条带结构遭到破坏逐渐消失；3）总体看来：泥沙颗粒运动多集中在水槽中间区域，边壁处运动较少，沙条带结构呈现中间宽两边窄的空间分布特征 ，表明条带结构是受紊流大尺度相干结构的影响而形成，而非二次流结构。

Abstract

Objective The movement of sediment particles significantly affects riverbed evolution, establishing it as a central concern and ongoing challenge in fluvial dynamics research. Although image processing methods provide efficient means for acquiring and analyzing data on sediment transport characteristics, their accuracy is often compromised by water waves, bubbles, and threshold errors. Therefore, continuous improvements and refinements remain essential to ensure the acquisition of accurate and reliable particle state data. This study integrates deep learning networks with existing image processing techniques to enable more precise and comprehensive identification of suspended sediment particles. It further investigates the relationship between turbulent coherent structures and the intensity of particle movement, clarifying the mechanism through which turbulent coherent structures influence sediment transport. Methods The optimization algorithm developed in this study aims to maximize the detection of moving particles, providing more accurate data to support understanding sediment transport patterns at the particle scale and their association with turbulent coherent structures. This research provides new insights for advanced measurement techniques and the exploration of sediment transport mechanisms. Bedload equilibrium sediment transport experiments are conducted under medium to low flow conditions (Θ = 0.052 to 0.071). High-speed cameras are utilized to capture images of bedload particles during water flow scouring processes. An optimized method for identifying bedload particle motion is proposed by combining the grayscale subtraction method with deep learning techniques. The grayscale subtraction method identifies regions of particle motion by calculating differences in grayscale values between consecutive frames and separately analyzing the centroids of moving particles in each frame. However, because this method depends solely on grayscale variations, it presents limitations in identifying regions with minor grayscale changes. The YOLOv5 (you only look once) method is designed to rapidly and accurately detect specific target objects and their locations in images after training on a sampled dataset. The YOLOv5 algorithm adopted in this study excels at detecting small targets and provides multi-scale detection, strong versatility, fast training, inference speeds, and adaptable fine-tuning capabilities. The YOLOv5 deep learning network structure is enhanced by improving convolutional blocks, incorporating attention mechanisms, and optimizing loss function processing, boosting the detector's overall performance in accurately capturing the motion of particles over short distances. The particle tracking velocimetry method and Kalman filtering algorithm are employed to calculate the trajectories of bedload particles. Results and Discussion The improved YOLOv5 model demonstrates significant enhancements in loss function handling, detection accuracy, and precision. The detection accuracy of the improved model for suspended sediment particles reaches 94.9%, with a 2.3% increase in average precision and respective gains of 1.1% and 1.0% in precision and recall rates. The weighted harmonic mean of the comprehensive verification index, F1 score, increases by two percentage points. This enhanced performance in practical detection surpasses that of the original YOLOv5 model. The number of observed particle chains increases following optimization by integrating the improved YOLOv5 model with the grayscale subtraction technique for detecting particle motion. Analyses of cumulative centroid counts and particle chain node counts reveal an ascending trend as the number of frames increases. The cumulative centroid count and particle chain node count obtained through the optimization method remain stable at approximately 59% and 80%, respectively, contrasting with the growth percentages of the individual methods. It is proposed that the formation of sediment particle motion bands is associated with Q2/Q4 bursting events of coherent turbulent structures based on the results of particle motion. During Q4 events, the average flow velocity exceeds that observed during Q2 events. Under identical water depth conditions, the shear force in the Q4 region surpasses that in the Q2 region, resulting in a higher concentration of sediment particles in the corresponding Q4 region. The bed surface structure exhibits convex grooves in the Q4 region and concave grooves in the Q2 region, extending across the entire bed surface in the spanwise direction of the channel. Characteristics of coherent turbulent structures provide a more comprehensive explanation for the mechanism underlying the formation of sediment transport belts. Conclusion This study concludes the following: 1) The grayscale subtraction technique effectively identifies particles with significant motion distances, while deep learning methods excel at recognizing particles with smaller motion distances. Through comparative analysis, data evaluation, and experimental observations, it becomes evident that the integrated algorithm, which combines both approaches, enhances the accuracy of bedload particle and trajectory identification under moderate to low flow conditions. 2)Under conditions of moderate to low flow intensity, the motion intensity of bedload sediment particles is influenced by coherent turbulent structures, resulting in a laterally banded structure. As flow intensity increases, the banded structure becomes sparser and wider. However, further intensification of the flow leads to vigorous turbulent mixing, which weakens the coherent turbulent structures and ultimately causes the banded structure to disappear. 3)Overall, sediment particle motion primarily concentrates in the central region of the channel, with reduced motion observed near the sidewalls due to lower flow velocities within the boundary layer. This observation aligns with practical scenarios and hydraulic theory. In addition, the morphology of the sediment-streaky structure typically exhibits a wider middle section and narrower sides, indicating that the formation of the banded structure is primarily influenced by large-scale coherent turbulent structures rather than secondary flow structures. This study introduces deep learning into conventional bedload particle motion recognition, improving the accuracy of bedload particle identification from a higher-resolution perspective. It addresses the challenge of detecting multiple moving sediment particles and provides a useful reference for research in fluvial dynamics.

Graphical abstract

关键词

推移质 / 灰度相减 / YOLOv5 / 颗粒运动轨迹 / 条带结构

Key words

bedload / grayscale subtraction / YOLOv5 / particle motion trajectory / streaky structure

本刊网刊

04 网络出版日期:2024 ‒ 04 ‒ 03

河床表面泥沙颗粒在水流驱动下发生输移，形成推移质运动。水流结构与泥沙颗粒运动相互作用同时对床面结构也产生影响^[1]，其过程往往会引发河道冲刷、淤积以及对河岸、护岸等水工结构物的侵蚀破坏^[2]。具体来说，床面淤积会降低航道运输能力和水库库容减少，过度侵蚀则会导致河流两岸建筑物失稳等工程问题。研究推移质运动规律，深入分析水沙作用机理并进行合理有效的调水调沙措施，对河床整治、防洪减灾等具有重要的理论和工程意义。

试验测量是研究推移质运动规律的基本手段，研究传统的推移质运动时多建立宏观的水流强度希尔兹数Θ与输沙之间关系。如Gilbert等^[3]在20世纪初通过水槽试验研究推移质运动规律，建立了输沙模型统计推移质运动规律。Einstein^[4]开展水槽试验，应用概率论方法和流体力学知识体系，建立了基于随机理论的推移质输沙模型。此后Bagnold^[5]、Engelund^[6]、Yalin^[1]等提出诸多经典的经验和半经验推移质输沙率公式。随着测量技术不断进步，学者们基于图像处理和分析方法，从更精细的颗粒尺度对推移质运动进行研究。Crocker等^[7]提出的基于运动相关性的颗粒跟踪算法（CPT），被广泛应用于颗粒跟踪测量领域。随后，利用粒子图像测速技术（PIV）^[8‒9]和粒子跟踪测速技术（PTV）^[10‒12]分别获取流速信息和泥沙运动速度，成为分析水沙耦合关系的有效手段。如Demiral等^[13]采用基于互相关的PTV算法，对不同粒径单颗粒速度和轨迹参数进行分析。Campagnol等^[14]使用图像处理方法先确定运动颗粒坐标，再对相邻两帧图像中的颗粒进行匹配，实现了对单颗粒进行跟踪。该方法在单一背景、颗粒稀疏场景下适用性较好^[15‒16]，但在复杂背景下误差较大^[17]。Miao等^[18]研究了时间间隔对基于图像的床沙输移测量结果的影响，并基于卡尔曼滤波方法提取低水流强度下多泥沙颗粒运动轨迹。

此外，中低强度水流条件下推移质运动与紊流相干结构具有紧密的关系。Kline等^[19]采用氢气泡示踪技术，观察到紊流中存在间隔分布的高低速条带结构及Q2/Q4事件所引发的猝发现象。Ninto等^[20]在不同紊流试验条件下，观察和记录了颗粒在流场中的运动轨迹以及沉积规律，发现泥沙颗粒受水流相干结构的猝发事件影响，能够形成稳定的沙条带结构。Karcz^[21]通过试验对推移质颗粒输移规律进行分析，认为是边壁诱发的二次流与输沙相互作用，促使了沙条带结构的形成。随后，许多研究也表明边壁效应二次流是形成大尺度涡结构的主要诱导因素^[22‒24]。而Zhong^[25]和Duan^[26]等则认为推移质运动在床面上形成的沙垄与沙脊与紊流的Q2/Q4事件和大尺度流向涡结构有关，认为大尺度发夹涡群是紊流猝发的本质，是维持湍动能的基础。由于紊流和泥沙颗粒运动均具有随机性，运动规律复杂，颗粒运动跟踪方法仍需完善。同时，水沙作用机理尚存争议，仍需更多试验数据和理论分析进行论证。

本文在前人研究基础上，开展恒定均匀流推移质平衡输沙试验，借助高速摄像技术采集推移质运动图像。使用灰度相减方法获取运动距离较大颗粒，同时建立YOLOv5（you only look once）^[27]深度学习模型，精确捕捉运动距离较小的运动颗粒。将两种结果进行合并后，使用PTV和卡尔曼滤波方法跟踪泥沙颗粒运动轨迹。在此基础上，研究推移质运动规律和分布特征，探讨紊流结构和泥沙颗粒运动强度带状结构耦合规律，为研究河床输沙提供参考依据。

1 试验设计

试验采用长、宽、深分别为15.00 m、0.25 m、0.40 m的高精度可变坡水槽，示意图如图1所示。水槽主体部分均为透明钢化玻璃，支撑平台为钢架结构，变坡范围0～2%。通过主机控制水槽启闭，蜂窝整流器平整水流以消除入口水流大尺度结构。使用电磁流量计获取水流流量，超声水位计测量水深。通过调节水槽末端尾门开闭度形成均匀流。本文定义x轴为流向方向，y轴为水槽横向方向，z轴为垂直向上方向。

水槽底部铺设3 cm等厚天然沙，颗粒粒径D为2.75 m，密度ρ为2 650 kg/m³。天然沙铺设均使用水平尺保证沙床厚度一致。试验选择距水槽入口7 m、距尾门6 m的平稳水流段作为拍摄区域，以避免水流扰动带来的干扰。为实现推移质泥沙颗粒运动测量，使用LED灯对拍摄区域均匀补光，相机分辨率为2 560像素×1 920像素，图像分辨率λ为10.2像素/mm，拍摄频率为250 Hz^[28]。试验进行30 min后，待冲刷试验稳定后进行拍摄。考虑镜头距离水面和河床床面较近，不考虑折射对颗粒拍摄的影响。本文开展4组中低水流条件下恒定均匀流平衡输沙推移质试验，基于Parker等^[29]的研究成果，泥沙起动临界希尔兹数Θ_c取0.03。本试验水流条件Θ范围为[0.052,0.071]，均大于Θ_c。各试验组次的水流条件见表1，组次按计算所得水流摩阻雷诺数R^*命名。

2 颗粒运动分析方法

2.1 灰度相减方法

试验过程以Δt为时间间隔拍摄泥沙颗从第i帧运动到第i+1帧的图像，由于颗粒表面不规则，其反射亮度会发生变化，故可使用灰度相减的方法识别运动颗粒^[30]，过程如图２所示。图２中，通过图像预处理之后将连续两帧图像进行灰度相减，运动区域图像为连续两帧像素变化的区域，即发生运动区域的并集。为获取颗粒运动速度，需要识别运动前颗粒质心和运动后颗粒质心。故首先对运动区域进行公共质心提取（以蓝色点表示），以公共质心坐标为基点，分别返回到第i帧和第i+1帧图像寻找基点附近最近的运动颗粒的质心坐标（以红色点表示）。由于拍摄时间间隔较短，故以两帧质心间的欧氏距离L作为颗粒运动距离，之后利用PTV运算求出颗粒运动速度，最终使用卡尔曼滤波获得颗粒运动轨迹。具体流程如图2所示，详细方法可参考文献[31]中的颗粒运动分析方法。

图３为灰度相减得到的运动颗粒图像。灰度相减方法中，通过原始图像（图3（a））进行灰度相减，可得到不同面积大小的运动区域（图3（b）），在进行PTV运算前须先设置面积阈值以剔除较小面积杂点，以提高PTV方法运算精度。但由于阈值尚无定论，处理后运动距离较小的泥沙颗粒将会被剔除，从而导致运动颗粒识别率降低（图3（c））。

2.2 深度学习方法

2.2.1 改进YOLOv5模型构建

泥沙颗粒检测需要高精度的识别定位，泥沙运动颗粒体积大小各异、形状不同且运动距离长短不一，因此需具有较强抗干扰性和高准确率的检测算法，特别是对于移动距离偏小的运动颗粒识别。YOLOv5基于锚点框（anchor boxes）的检测方式和增强特征提取网络结构能够更好地适应不同形状和尺寸的颗粒，在较少的迭代次数内完成训练和处理过程^[32]。但YOLOv5在多尺度处理特别是较小尺寸目标检测方面精度尚不够高，需要优化网络结构来处理多尺度目标，以保持良好的检测性能。基于泥沙颗粒特点，本文对原始YOLOv5进行改进，主要包括以下3步。

1）卷积块改进。卷积神经网络（CNN）中常用的跨步卷积通过降低图像分辨率减小需要处理的数据量，通常会导致部分细节信息丢失，对有高精度识别需求的任务来说跨步卷积产生的误差不可忽略。空间深度转换卷积（SPD‒Conv）^[33]是在对称正定矩阵流形上进行卷积操作，通过在特征空间中对滑动窗口进行区域池化并计算与前一层的卷积来实现，用空间深度层（SPD）和非跨步卷积层分别代替传统跨步卷积层和池化层两个运算，可同时在对称正定矩阵流形上执行。新的卷积块结构可保留细粒度信息并减少计算量。

输入特征图 X ∈{\mathbb{R}}^{C\times H\times W}，其中，H、W、C分别为高、宽和通道数，SPD‒Conv的算法公式如下：

{\mathit{S}}_i=\sum _{j\in {\Omega }_i}{w}_{ij}({\mathit{x}}_i-{\mathit{x}}_j)({\mathit{x}}_i-{\mathit{x}}_j{)}^{\mathrm{T}}（1）

Y_{h,w,d}={\displaystyle \sum _{i=\mathrm{1}}^H}{\displaystyle \sum _{j=\mathrm{1}}^W}{\displaystyle \sum _{c=\mathrm{1}}^{C^{\text{'}}}}{K}_{d,c}{\mathit{S}}_{ij}^c（2）

式（1）～（2）中： S_i 为位置i上构造的对称正定矩阵；{\mathit{S}}_{ij}^c为输入特征图第c个通道的局部区域Ω_ij 展开后的1维向量；w_ij 为i、j空间位置的关系权重； x_i 、 x_j 分别为输入特征图位置i、j的特征向量；Ω_i 为以位置i为中心的滑动窗口邻域；C′为输入通道数；K_d,c 为卷积核权重参数 K 的元素， K\in {\mathbb{R}}^{C^{\text{'}}\times C^{\text{'}}}，d为输出通道索引；Y_h,w,d 为卷积输出在位置(h,w)、第d个通道的值。

2）添加SE（Squeeze-and-Excitation）注意力机制^[34]。注意力机制模块涵盖了两个步骤：

①压缩（squeeze）：通过局平均池化操作对每个特征图进行降维，将 X 的每个通道X_{:,i,j}进行压缩，得到一个1×1×C的1维张量\mathit{z}，即：

\mathit{z}=\frac{\mathrm{1}}{H\times W}{\displaystyle \sum _{i=\mathrm{1}}^H}{\displaystyle \sum _{j=\mathrm{1}}^W}{X}_{:,i,j}（3）

得到每个通道的压缩信息，生成对应的通道描述符。

②激发（excitation）：将上一步得到的1维张量 z 首先输入一个全连接层，将其映射到一个激活函数前的低维空间{\mathbb{R}}^{C^{\text{'}}}：

\mathit{s}=\sigma \left({\left[W_{\mathrm{1}}\mathrm{V}\mathrm{e}\mathrm{c}\left(\mathit{z}\right)\right]}_{+}\right)（4）

式中： s 为中间变量， s ∈{\mathbb{R}}^{C^{\text{'}}}；Vec(·)表示将一个张量变为列向量；{[·]}_{+}为修剪操作；\sigma (·)为激活函数；W₁为全连接层权重，W₁∈{\mathbb{R}}^{C/C^{\text{'}}\times C}。通过以上步骤，SE注意力模块可自适应地学习每个通道的重要性，对不同通道给出不同权重，提高模型对推移质颗粒特征的捕获。同时在主干网络（Backbone）的最后一层C3层前增加了SE模块，允许其以加权方式融合图像特征，提升网络性能。

3）改进优化损失函数。交并比损失（IoU）在实际应用中容易受到物体大小、位置等因素的影响，导致推移质运动颗粒检测结果不够准确。Tong等^[35]改进传统IoU指标提出Wise-IoU，主要解决物体尺寸和位置偏移对检测结果的影响，记为U_{\mathrm{w}\mathrm{i}\mathrm{s}\mathrm{e}}，其计算式如下：

U_{\mathrm{w}\mathrm{i}\mathrm{s}\mathrm{e}}=\frac{{\displaystyle \sum _{i=\mathrm{1}}^I}{w}_i\times \mathrm{I}\mathrm{o}\mathrm{U}(A_i,B_i)}{{\displaystyle \sum _{i=\mathrm{1}}^N}{w}_i}（5）

式中，w_i 为第i个集合的权重，I为集合总数，A_i 和B_i 为两个集合中的元素，IoU(A_i, B_i )为两个集合A_i 和B_i 之间的交集与并集之比，即：

\mathrm{I}\mathrm{o}\mathrm{U}(A_i,B_i)=\frac{\left|A_i\bigcap B_i\right|}{\left|A_i\bigcup B_i\right|}（6）

相比传统的IoU指标，Wise-IoU指标根据物体检测框和真实框的宽高比、位置偏移等因素，计算出相应的权重系数。该系数考虑到了目标的宽高比、位置偏移及重叠面积等多个因素，从而更加准确地反映目标匹配度。整体改进的 YOLOv5网络模型框架如图4所示，其中，Backbone为主干网络，Neck为颈部网络，Focus为切片操作，Conv为卷积操作，Upsample为上采样，Concat为拼接操作。

选取试验拍摄获得的连续1 100帧泥沙颗粒运动图像作为本文验证改进YOLOv5模型性能的数据集。使用图片标注工具LabelImg对推移质颗粒运动图像进行标注，得到训练标签图像，将图片集按10∶1的比例划分为训练集和测试集。在Anaconda3配置Pytorch和YOLOv5资源环境，具体配置如表2所示。将训练集输入改进YOLOv5网络进行训练，训练次数（epoch）设为200，一次性处理图像的数量（batch size）设为4，训练完成后得到最优权重。

2.2.2 模型评价

本文对改进步骤逐一进行训练，并进行最终整合，以检验改进方式的可行性。将图像集分别输入原始YOLOv5（Original）、添加SE模块的YOLOv5（Ori-ginalSE）、优化卷积方式的YOLOv5（OriginalSPDConv）、修改损失函数的YOLOv5（SEWIoU）、联合注意力机制和卷积改进的YOLOv5（SPDConvWIoU）及整合3个步骤改进的YOLOv5（SESPDConvWIoU）6个模型，经过200批次的训练，得到训练集和验证集的损失函数值曲线，如图5所示。

检测框损失函数（Boxlossing）表明算法能否精确定位到物体的中心点，检测目标是否被预测框覆盖，损失函数值越小，预测框架越准确。置信度损失函数（Objectlossing）本质上是检测目标存在关注区域概率的度量，损失函数值越小，精度越高。

由图5可以看出，在训练批次达到20之前，损失函数值迅速下降，准确率、召回率和平均准确率迅速提高。网络继续迭代，当训练批次约为20时，损失函数值的下降逐渐减缓，平均精度等参数的增长也放缓了。当训练批次约为180时，训练集和验证集的损失曲线几乎没有下降趋势，其他指标值也趋于稳定。网络模型基本达到收敛状态，训练结束时得到最优网络权值。由图5（a）～（d）可以看出，逐步改进效果均优于原始YOLOv5，其中，以SPDConv代替传统跨步卷积层和池化，优化效果最为明显。图5（e）表明改进YOLOv5较原始YOLOv5检测平均精度值有明显提升。

在使用模型进行目标检测时，需要对模型进行评估，并选择适合自己需求的模型。以平均精度Mean average precision （mAP，记为{\overline{P}}_{\mathrm{m}}）、召回率Recall（记为R）、精确率Precision（记为P）和P、R的加权调和平均数F1值（记为F1）为评价指标。mAP为AP的平均值，AP为所有召回率下的精度平均值（记为\overline{P}），即每个类别的精度-召回率曲线（P-R曲线）下方的面积，通常用于比较不同模型的性能。分别定义如下：

\overline{P}=\frac{\mathrm{1}}{m}{\displaystyle \sum _{l=\mathrm{1}}^m}{\int }_{\mathrm{0}}^{\mathrm{1}}{P}_l(R)\mathrm{d}R（7）

{\overline{P}}_m=\frac{\mathrm{1}}{m}{\displaystyle \sum _{l=\mathrm{1}}^m}{\overline{P}}_l（8）

式（7）～（8）中，m为类别数，P_l (R)为第l个类别的P-R曲线，{\overline{P}}_l为第l个类别的AP值。

R=\frac{S_{\mathrm{T}\mathrm{P}}}{S_{\mathrm{T}\mathrm{P}}+S_{\mathrm{F}\mathrm{N}}}（9）

P=\frac{S_{\mathrm{T}\mathrm{P}}}{S_{\mathrm{T}\mathrm{P}}+S_{\mathrm{F}\mathrm{P}}}（10）

F\mathrm{1}=\frac{\mathrm{2}PR}{P+R}（11）

式（9）～（10）中，S_TP为被正确检测到的阳性样本数量，S_FP为被错误检测到的阴性样本数量，S_FN为未被检测到的阳性样本数量。因此，所选用的评价指标值愈靠近1，模型的检测性能越好。

表3比较了6个模型的评价指标。由表3可知，SESPDConvWIoU模型对推移质颗粒的检测性能均优于原YOLOv5网络（Original），SESPDConvWIoU模型对推移质运动颗粒的检测精度达到94.9%，平均精度提高2.3%，准确率与召回率分别上升1.1%和1.0%。综合验证指标加权调和平均数F1值上升了2个百分点。综上所述，考虑到推移质运动颗粒检测任务的密集性与复杂度较高，SESPDConvWIoU模型性能较原YOLOv5更为优越，能更准确地识别和定位运动颗粒。

将原始YOLOv5和SESPDConvWIoU模型分别进行推移质运动颗粒检测，对比结果如图6所示。

图6中，SESPDConvWIoU模型识别到的推移质运动颗粒结果由蓝色方框表示，原YOLOv5模型识别结果由红色框表示，由图6可以看出，SESPDConvWIoU模型识别结果补充了被原始模型忽略的部分粒子，但同时发现对于重叠的颗粒识别存在误差。

2.3 优化方法及轨迹计算

灰度相减方法和YOLOv5方法存在各自优缺点，如灰度相减方法虽能够识别到较密集的颗粒质心，但在匹配运动颗粒时易丢失瞬时速度较小颗粒；而YOLOv5方法对于多颗交叠颗粒识别存在误差，但是在一定程度上能够克服由于阈值设定剔除较小位移的运动颗粒的不足。为实现运动颗粒精确识别，对两种方法的识别结果进行合并，剔除重复识别颗粒。图7为颗粒运动分析过程。

首先，对原始图像进行增强处理，使用改进YOLOv5（SESPDConvWIoU）训练权重保留最佳检测结果，然后根据检测框中心点坐标提取框内目标质心坐标（图7（a）～（d））。使用灰度相减方法得到推移质运动颗粒，与SESPDConvWIoU结果合并，图7（e）为SESPDConvWIoU模型（蓝色框）与灰度相减方法（红色点）质心识别结果叠加。

之后，采用PTV方法匹配运动颗粒，分析颗粒运动速度，速度矢量图如7（f）所示。然后，结合卡尔曼滤波算法实现运动颗粒连续跟踪，在该步骤中，需要初始化目标的状态向量和协方差矩阵，状态向量可以包括颗粒的位置、速度等信息，而协方差矩阵表示对这些状态的不确定性。预测得到的状态向量和协方差矩阵称为预测值，计算公式如下：

{\widehat{\mathit{x}}}_k^{-}={\mathit{F}}_k{\widehat{\mathit{x}}}_{k-\mathrm{1}}（12）

{\mathit{P}}_k^{-}={\mathit{F}}_k{\mathit{P}}_{k-\mathrm{1}}{\mathit{F}}_k^{\mathrm{T}}+{\mathit{Q}}_k（13）

式（12）～（13）中，{\widehat{\mathit{x}}}_k^{-}和{\mathit{P}}_k^{-}为第k帧状态向量和状态协方差矩阵的预测值，{\widehat{\mathit{x}}}_{k-\mathrm{1}}和{\mathit{P}}_{k-\mathrm{1}}为第k-1帧的状态向量和协方差矩阵， F_k 为状态转移矩阵； Q_k 为过程噪声协方差矩阵。

求解预测值，同时根据运动颗粒的观测数据计算观测残差以及观测残差的协方差矩阵，利用卡尔曼增益将预测值与观测数据进行线性组合，更新颗粒状态估计。卡尔曼增益{\mathit{K}}_k计算公式为：

{\mathit{K}}_k={\mathit{P}}_k^{-}{\mathit{H}}_k^{\mathrm{T}}({\mathit{H}}_k{\mathit{P}}_k^{-}{\mathit{H}}_k^{\mathrm{T}}+{\mathit{R}}_k{)}^{-\mathrm{1}}（15）

式中： R_k 为观测噪声协方差矩阵； H_k 为观测矩阵，将状态向量映射到观测空间。

{\widehat{\mathit{x}}}_k和{\mathit{P}}_k更新方程为：

{\widehat{\mathit{x}}}_k={\widehat{\mathit{x}}}_k^{-}+{\mathit{K}}_k(z_k-{\mathit{H}}_k{\widehat{\mathit{x}}}_k^{-})（16）

{\mathit{P}}_k=(\mathit{I}-{\mathit{K}}_k{\mathit{H}}_k){\mathit{P}}_k^{-}（17）

式（16）～（17）中， I 为单位矩阵，z_k 为观测值。通过循环执行预测和更新步骤，实现对所有推移质运动泥沙颗粒轨迹的持续跟踪，具体可参考文献[31]。

3 结果分析

3.1 颗粒运动轨迹

为显示合并算法优化效果，图8识别了算法优化前后，帧数为50、100、250、500帧的运动颗粒轨迹累积。

图8中，图片上方为以往的灰度相减方法得到的颗粒链轨迹，图片下方为本文提出的合并了灰度相减方法和深度学习算法SESPDConvWIoU（优化方法）的优化颗粒链轨迹。由图8可知，灰度相减方法与优化方法均符合随着帧数增加，轨迹由稀疏到密集并逐渐形成输沙条带结构规律，说明两种方法所捕捉的运动颗粒均可靠。

为定量统计识别到的颗粒运动数量，分别计算累积质心数量和颗粒链节点数，统计柱状如图9所示，图9中，▲表示优化方法相较于灰度相减方法在结果上的提升。由图9可知，随帧数增加，累积质心数量和颗粒链节点数均呈现上升趋势。由图9（c）和（d）可知，优化方法所得到的累计质心数量和颗粒链节点数相较于单一方法的增长百分比分别稳定在59%和80%左右。

通过以上运动颗粒轨迹链对比、统计分析以及试验观测均可发现，优化方法相对于灰度相减方法能够捕捉到更多运动颗粒及其行进轨迹，为分析推移质颗粒运动规律提供基础。

3.2 推移质运动特性

推移质颗粒运动较多区域为输沙强度大区域，较少区域为输沙强度小。为更精细研究推移质运动强度，将2 000帧图像的颗粒运动位置进行网格化和差值，获取运动颗粒分布等值线图。图10为推移质颗粒运动强度分布（图10（a）～（d）上图）和数量归一化分布（图10（a）～（d）下图），Y为水槽宽度，X为水槽长度；将推移质数量沿流向方向累加，使用最大值归一化，蓝色曲线为目标区域运动颗粒数量分布曲线，N为水槽断面推移质运动颗粒数量归一化无量纲化值。

由图10可知：泥沙颗粒运动多集中在水槽中间区域，边壁处运动较少，这是由于边壁边界层处水流强度较低导致，结果符合实际情况和水力学理论^[36]。当水流强度Θ较小时，紊流相干结构丰富，在其作用下形成了较密集尺度较小的运动强度条带结构。随着水流强度的增加，紊流相干结构尺度增大也促使泥沙颗粒运动强度带状结构由密集到稀疏演变，其尺度也随之增加，如图10（b）～（c）所示。从无量纲曲线来看，水流强度较小时曲线波峰波谷特征明显，对应颗粒运动带状结构也较为清晰明显。随水流强度增大，曲线波动减弱且趋于平缓。这是由于水流强度增大时，紊动掺混剧烈，紊流相干结构现象逐渐弱化，泥沙颗粒运动强度带状结构趋于不明显。

3.3 紊流相干结构

分析结果可以看出，推移质运动强度带状结构在水槽中间区域更为明显，在水槽边壁处较稀少。而二次流理论则认为边壁处的流向涡结构尺度最大，这与试验结果相不符。

通过定量分析，根据图10剪切力分布和流向涡模型特征可认为泥沙颗粒运动条带结构的形成与紊流相干结构的Q2或Q4猝发事件有关^[21]。其中，Q2为低速水流向上喷射事件（脉动流速u<0，v>0），Q4为高速水流向下清扫事件（脉动流速u>0，v<0）。图11为紊流相干结构对泥沙运动影响示意图，由图11（a）可知，Q4事件处水流平均速度u₁高于Q2事件处平均水流速度u₂。在相同水深条件下，Q4区域剪切力大于Q2区域，导致相应的Q4区域推移质运动颗粒更多。反映到床面结构则为，在Q4区域形成凸槽，在Q2区域形成凹槽，布满整个床面，示意图和实际床面结构图见图11（b）和（c）。故相干结构可以更好解释推移质输沙带状结构特征。

然而，紊流相干结构包括大尺度流向涡结构，具有随机紊动性，但本试验中在一定水流条件下却形成了稳定的时均河床沙条带结构和颗粒运动强度条带结构，可以认为紊流相干结构作用于推移质颗粒运动，使得颗粒运动存在规律。而平坦沙床受颗粒运动这一规律影响会形成凹凸相间的沙垄和沙脊^[37]。沙脊沙槽的形成，可以看作一种壁面，制约流向涡的瞬时紊动性质。可见，紊流相干结构与其影响下所形成的床面结构，两者相互铆合固定形成了本文的现象。本文主要着眼于推移质运动规律，对于流场分析尚欠缺，这也是下一步工作的重点。

4 结 论

本文在高精度明渠水槽中开展4组中低水流强度推移质平衡输沙实验，借助改进YOLOv5与灰度相减方法相结合的方式成功获取运动颗粒质心，引入卡尔曼滤波方法对泥沙颗粒运动轨迹进行跟踪。在此基础上，建立颗粒运动强度与水流强度相关性，从颗粒尺度探讨分析泥沙颗粒运动与紊流相干结构的相互作用机理。具体结论如下：

1）本文创新性提出优化识别算法对颗粒尺度下对运动颗粒较精准识别。并通过 PTV 算法求解颗粒运动速度，卡尔曼滤波计算颗粒运动轨迹，实现对颗粒运动的准确跟踪，为定量研究推移质运动规律提供参考。

2）在中低水流条件下，对不同时刻推移质运动颗粒轨迹进行累计，发现颗粒轨迹即推移质输沙强度沿水槽横向方向呈现条带状结构。

3）推移质运动强度条带结构随水流强度的增加，条带个数逐渐减少，条带尺度不断增大，直至条带结构被破坏。

4）从推移质颗粒运动区域分布和数量归一化分布上看，推移质运动强度在水槽中部最大，向两侧逐渐减弱，与Karcz^[21]提出的边壁二次流假说不符，而流向涡模型很好地解释了这一现象。

参考文献

[1] Yalin M S.Mechanics of sediment transport[M].Oxford: Pergamon Press,1972. doi:10.1007/978-1-349-00245-0_6

[2] Cameron S, Nikora V, Witz M.Entrainment of sediment particles by very large-scale motions[J].Journal of Fluid Mechanics,2020,888:A7. doi:10.1017/jfm.2020.24

[3] Gilbert G K, Murphy E C.The transportation of debris by running water[M].Fort Collins:US Geological Survey, 1914. doi:10.3133/pp86

[4] Einstein H A.The bed-load function for sediment transportation in open channel flows[R].Washington:USDA Technical Bulletin No.1026,1950.

[5] Bagnold R A.An approach to the sediment transport problem from general physics[R].Washington:US Government Publishing Office,1966. doi:10.3133/pp422i

[6] Engelund F.Closure to "hydraulic resistance of alluvial streams"[J].Journal of the Hydraulics Division,1967,93(4):287‒296. doi:10.1061/jyceaj.0001658

[7] Crocker J C, Grier D G.Methods of digital video microscopy for colloidal studies[J].Journal of Colloid and Interface Science,1996,179(1):298‒310. doi:10.1006/jcis.1996.0217

[8] Keane R D, Adrian R J.Theory of cross-correlation analysis of PIV images[J].Applied Scientific Research,1992,49(3):191‒215. doi:10.1007/bf00384623

[9] Antonenkov D A, Shchodro A E.Using the PIV method to study the structure of the water flow and bottom sediment transport processes[J].Oceanology,2021,61(6):1064‒1071. doi:10.1134/s0001437021060187

[10] Hajisharifi A, Marchioli C, Soldati A.Particle capture by dr-ops in turbulent flow[J].Physical Review Fluids,2021,6(2):02430. doi:10.1103/physrevfluids.6.024303

[11] Elhimer M, Praud O, Marchal M,et al.Simultaneous PIV/PTV velocimetry technique in a turbulent particle-laden flow[J].Journal of Visualization,2017,20(2):289‒304. doi:10.1007/s12650-016-0397-z

[12] Wang Longwei, Pan Chong, Liu Jianhua,et al.Ratio-cut ba-ckground removal method and its application in near-wall PTV measurement of a turbulent boundary layer[J].Measurement Science and Technology,2021,32(2):025302. doi:10.1088/1361-6501/abb483

[13] Demiral D, Albayrak I, Turowski J M,et al.Particle saltation trajectories in supercritical open channel flows:Roughness effect[J].Earth Surface Processes and Landforms,2022,47(15):3588‒3610. doi:10.1002/esp.5475

[14] Campagnol J, Radice A, Nokes R,et al.Lagrangian analysis of bed-load sediment motion:Database contribution[J].Jo-urnal of Hydraulic Research,2012,51(5):589‒596. doi:10.1080/00221686.2013.812152

[15] Lajeunesse E, Malverti L, Charru F.Bed load transport in turbulent flow at the grain scale:Experiments and modeling[J].Journal of Geophysical Research:Earth Surface,2010, 115(F4):F04001. doi:10.1029/2009jf001628

[16] Heyman J.A study of the spatio-temporal behaviour of bed load transport rate fluctuations[D].Lausanne:École Po-lytechnique Fédérale de Lausanne,2014.

[17] Miao Wei.Experimental research on bedload balance sediment transport based on image processing technology [D].Beijing:Tsinghua University,2018.

[18] 苗蔚.基于图像处理技术的推移质平衡输沙试验研究[D].北京:清华大学,2018.

[19] Miao Wei, Li Danxun, Zhong Q.An image-based uninterrupted Lagrangian tracking method for measurement of sediment motion at grain scale[J].Applied Sciences,2020,10(13):460. doi:10.3390/app10134603

[20] Kline S J, Reynolds W C, Schraub F A,et al.The structure of turbulent boundary layers[J].Journal of Fluid Mechanics,1967,30(4):741‒77. doi:10.1017/s0022112067001740

[21] Ninto Y, Garcia M H.Experiments on particle—Turbulence interactions in the near‒wall region of an open channel flow:Implications for sediment transport[J].Journal of Flu-id Mechanics,1996,326:285‒319. doi:10.1017/s0022112096008324

[22] Karcz I.Secondary currents and the configuration of a natural stream bed[J].Journal of Geophysical Research,1966,71(12):3109‒311. doi:10.1029/jz071i012p03109

[23] Nezu I, Nakagawa H, Jirka G H.Turbulence in open-channel flows[J].Journal of Hydraulic Engineering,1994,120(10):1235‒1237. doi:10.1061/(asce)0733-9429(1994)120:10(1235)

[24] Wang Zhiqian, Cheng Niansheng.Secondary flows over artificial bed strips[J].Advances in Water Resources,2005,28(5):441‒450. doi:10.1016/j.advwatres.2004.12.008

[25] Yang Shuqing, Tan S K, Wang Xikun.Mechanism of secondary currents in open channel flows[J].Journal of Geophysical Research:Earth Surface,2012,117(F4):2012JF00-2510. doi:10.1029/2012jf002510

[26] Zhong Qiang, Chen Qigang, Wang Hao,et al.Statistical ana-lysis of turbulent super-streamwise vortices based on observations of streaky structures near the free surface in the smooth open channel flow[J].Water Resources Research,2016,52(5):3563‒3578. doi:10.1002/2015wr017728

[27] Duan Yanchong, Chen Qigang, Li Danxun,et al.Contributions of very large-scale motions to turbulence statistics in open channel flows[J].Journal of Fluid Mechanics,2020,892:A3. doi:10.1017/jfm.2020.174

[28] Redmon J, Divvala S, Girshick R,et al.You only look once:Unified,real-time object detection[C]//Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).Las Vegas:IEEE,2016:779‒788. doi:10.1109/cvpr.2016.91

[29] Radice A, Malavasi S, Ballio F.Solid transport measurements through image processing[J].Experiments in Fluids,2006,41(5):721‒734. doi:10.1007/s00348-006-0195-9

[30] Parker G, Klingeman P C, McLean D G.Bedload and size distribution in paved gravel-bed streams[J].Journal of the Hydraulics Division,1982,108(4):544‒571. doi:10.1061/jyceaj.0005854

[31] Wang Hao.Study on coherent structure of turbulence and its influence on bed load motion characteristics[D].Beijing:Tsinghua University,2016.

[32] 王浩.紊流相干结构及对推移质运动特性影响的研究[D].北京:清华大学,2016.

[33] Wang Hao, Fan Jieling, Zhong Qiang,et al.Experimental study on sand strip structure of bedload bed based on high-speed camera technology [J].Journal of Hydraulic Engineering,2020,51(8):987‒996.

[34] 王浩,范洁铃,钟强,等.基于高速摄像技术的推移质床面沙条带结构试验研究[J].水利学报,2020,51(8):987‒996.

[35] Lei Fei, Tang Feifei, Li Shuhan.Underwater target detection algorithm based on improved YOLOv5[J].Journal of Marine Science and Engineering,2022,10(3):310. doi:10.3390/jmse10030310

[36] Sunkara R, Luo Tie.No more strided convolutions or pooling:A new CNN building block for low-resolution images and small objects[M]//Machine Learning and Knowledge Discovery in Databases.Cham:Springer Nature Switzerland,2023:443‒459. doi:10.1007/978-3-031-26409-2_27

[37] Hu Jie, Shen Li, Sun Gang,et al.Squeeze-and-excitation networks[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2020,42(8):2011‒2023. doi:10.1109/tpami.2019.2913372

[38] Tong Zanjia, Chen Yuhang, Xu Zewei,et al.Wise‒IoU:Bounding box regression loss with dynamic focusing mechanism[EB/OL].(2023‒01‒24)[2023‒09‒01].

[39] Willmarth W W, Lu S S.Structure of the Reynolds stress near the wall[J].Journal of Fluid Mechanics,1972,55(1):65‒92. doi:10.1017/s002211207200165x

[40] Guala M, Tomkins C D, Christensen K T,et al.Vortex organization in a turbulent boundary layer overlying sparse roughness elements[J].Journal of Hydraulic Research,2012,50(5):465‒481. doi:10.1080/00221686.2012.729229

基金资助

长江科学院开放研究基金项目(CKWV2018461/KY)

中国水利水电科学研究院水利部泥沙科学与北方河流治理重点实验室开放研究基金项目（IWHR‒SEDI‒2022‒09）

国家自然科学基金面上项目(52379083)

中国长江三峡集团有限公司项目(201903144)