基于Wang-Landau抽样的主题爬虫方法

刘景发, 陈靖岚, 赵鹏

电子科技大学学报 ›› 2023, Vol. 52 ›› Issue (04) : 578 -587.

PDF
电子科技大学学报 ›› 2023, Vol. 52 ›› Issue (04) : 578 -587.

基于Wang-Landau抽样的主题爬虫方法

    刘景发, 陈靖岚, 赵鹏
作者信息 +

Author information +
文章历史 +
PDF

摘要

针对传统爬虫方法存在搜索易陷入局部最优,且很少考虑结合历史爬行经验对爬行路径进行修正的缺陷,提出一种基于WL抽样的主题爬行方法。该方法分别使用向量空间模型(VSM)和PageRank算法对链接的相关性和重要性进行评价,采用区域竞争策略从具有主题相关或潜在价值的链接集合中选出目标链接。基于概率密度函数,WL抽样算法对侯选集中选出的目标链接进行抽样判断,根据历史统计经验指导爬虫的后续爬行,从而优化搜索路径。实验结果表明,提出的基于WL抽样的主题爬虫方法比其他主题爬虫方法能搜索到更多主题相关的网页,其爬准率和所有下载网页主题相关度的标准差具有明显优势。

关键词

网络爬虫 / 信息检索 / 暴雨灾害 / 台风灾害 / Wang-Landau抽样

Key words

引用本文

引用格式 ▾
基于Wang-Landau抽样的主题爬虫方法[J]. 电子科技大学学报, 2023, 52(04): 578-587 DOI:

登录浏览全文

4963

注册一个新账户 忘记密码

参考文献

AI Summary AI Mindmap
PDF

63

访问

0

被引

详细

导航
相关文章

AI思维导图

/