一种基于Hadoop架构的网络舆情热点话题挖掘方法

摘要

为解决在海量数据中实时、精准挖掘网络舆情热点话题的问题,提出一种基于Hadoop的网络舆情数据分析模型。对于话题发现核心模块,给出一种WCGFMR网络舆情热点话题挖掘算法,采用Map(映射)和Reduce(规约)规则进行舆情文本特征分组加权策略。实验结果表明,采用基于Hadoop架构的WCGFMR算法进行热点话题挖掘,热点话题的平均召回率达到85.32%,平均话题类纯度达到95.36%。随舆情数据集增大到2GB后,在Map数一定的条件下,多任务数Reduce执行时间相比少任务数Reduce大大缩短,数据中热点话题挖掘速度显著提高。

关键词

网络舆情 / Hadoop / 热点话题 / 模糊聚类 / 映射规约

基金资助

湖南省科技计划项目(2013GK3088); 公安部科技创新项目(2013YYCXHNST035); 湖南省教改项目(2014); 湖南省哲学社会科学基金项目(11YBA123); 湖南警察学院科研课题(2011YB01); 湖南省教育厅科研项目(13C281)