气象业务高维相关性缺失数据分块填补算法

摘要

由于气象业务数据包含时间、空间和多变量维度，而维度升高会使数据稀疏性增加，并且不同时间/空间尺度下呈现不同的相关性模式，难以映射气象要素与数据间的相关性关系，导致填补结果的结构相似性较差。为此，提出气象业务高维相关性缺失数据分块填补算法。结合互信息算法，基于核密度估计(KDE:Kernel Density Estimation)近似连续型气象变量的概率分布，通过互信息公式量化变量间的非线性统计依赖性，生成对称互信息矩阵，捕捉气象要素的局部相关性。将归一化互信息矩阵转化为相似度矩阵，通过指数函数映射强化强相关性、弱化弱相关性。构建拉普拉斯矩阵，计算其特征向量，并利用k-means算法对特征向量进行聚类，实现属性分块。通过分块处理的方式将气象数据划分为强相关子块，并为每个子块设计独立的条件生成对抗网络(CGAN:Conditional Generative Adversarial Network)。通过对损失函数进行设计，并对条件生成对抗网络进行训练，进而使模型生成与真实气象数据分布一致的填补值。实验结果表明，采用该方法进行缺失数据分块填补时，填补结果的结构相似性稳定在0.92，表明该方法具有理想的填补效果。

关键词

气象业务 / 高维 / 相关性 / 缺失数据 / 填补方法 / 条件生成对抗网络