基于Wang-Landau抽样的主题爬虫方法

摘要

针对传统爬虫方法存在搜索易陷入局部最优，且很少考虑结合历史爬行经验对爬行路径进行修正的缺陷，提出一种基于WL抽样的主题爬行方法。该方法分别使用向量空间模型(VSM)和PageRank算法对链接的相关性和重要性进行评价，采用区域竞争策略从具有主题相关或潜在价值的链接集合中选出目标链接。基于概率密度函数，WL抽样算法对侯选集中选出的目标链接进行抽样判断，根据历史统计经验指导爬虫的后续爬行，从而优化搜索路径。实验结果表明，提出的基于WL抽样的主题爬虫方法比其他主题爬虫方法能搜索到更多主题相关的网页，其爬准率和所有下载网页主题相关度的标准差具有明显优势。

关键词

网络爬虫 / 信息检索 / 暴雨灾害 / 台风灾害 / Wang-Landau抽样