融合扩散模型和流形梯度约束的无人机图像拼接方法

摘要

无人机图像拼接是无人机遥感应用的必要前置步骤，但拼接结果中通常会存在大块不规则边界和多个拼接缝，影响后续分析和应用。现有方法通常不能同时解决这2个问题，需要对图像拼接结果进行多次处理，造成多次误差传递。针对这一问题，提出一种基于去噪离散扩散模型（DDPM）的无人机图像拼接补全方法，该方法对不规则边界和拼接缝统一设计掩码，利用带有流形梯度先验约束的扩散模型补全掩码区域的图像，可同时消除不规则边界与拼接缝，改进拼接结果的质量。利用不同场景数据开展对比实验，结果表明该方法有效消除了拼接结果中的不规则边界与拼接缝，修复后从局部到全局图像质量评价（PaQ-2-PiQ）与多尺度图像质量转换评价模型（MUSIQ）得分分别提升4.36%和15.37%，不规则边界处的结构相似性（SSIM）和峰值信噪比（PSNR）分别提升20.22%与33.69%。与SOTA方法和其他经典的图像拼接算法的对比实验结果表明，该方法在主观和客观2种质量评价方式下都优于其他方法，具有良好的鲁棒性和泛化性，可广泛应用于无人机图像拼接场景。

关键词

无人机图像 / 扩散模型 / 图像拼接 / 不规则边界 / 拼接缝 / 流形梯度约束

基金资助

中国科学院青年促进会（E0331804）资助