基于深度学习模型Vit-Bi-LSTM的监控相机在夜间强降雨监测的应用初探

摘要

城市监控相机具有数量多、密度大、传输快的观测优势，为降雨的高时空分辨率观测提供了新的契机。然而，现有监控测雨研究聚焦于对白天降雨的监测，缺少对夜间强降雨的有效测量方法。本文从监控视角出发，分析了夜间降雨视频的时空特征，提出了一种融合Vision Transformer（ViT）和双向长短时记忆网络（Bi-LSTM）的深度学习模型Vit-BiLSTM，用于夜间降雨强度等级的自动识别。基于2022—2025年期间收集的41场夜间降雨视频，构建了一个最大雨强达80 mm·h^-1的夜间降雨视频数据集，涵盖4 500个视频片段，总时长达37.5 h，利用Vit-Bi-LSTM模型对视频数据集开展降雨强度等级识别训练并检验效果。结果表明，基于降雨视频时空特征的联合建模可有效改善降雨识别精度，且采用两层Bi-LSTM结构的Vit-Bi-LSTM模型在自建数据集上取得了最高85.6%的精度表现。Vit-Bi-LSTM对夜间强降雨的实地观测中取得了76.7%的降雨等级识别精度，证明了其在真实环境中的有效性。虽然Vit-Bi-LSTM对小于20mm·h^-1降雨取得了80.7%～90.6%的识别精度，但随着降雨强.度的提升，特别是降雨强度大于40 mm·h^-1时，精度下降至68.8%～75.0%。

关键词

强降雨监测 / 监控相机 / 深度学习 / 时空特征

基金资助

国家自然科学基金项目(42422501,42405140,42305006); 中国博士后基金项目(2024M761383); 南京工程学院校级科研基金项目(YKJ.202315)