你好,游客 登录 注册 发布搜索
背景:
阅读新闻

[PDF]面向大规模数据的在线新事件检测

[日期:2014-06-10] 来源:华东理工大学   作者:蔡偃武 [字体: ]

面向大规模数据的在线新事件检测

华东理工大学  蔡偃武

本文以传统新事件检测算法为基础,通过分析算法时间复杂度上的瓶颈,研究了改进的快速新事件检测算法,分析了算法的并行化策略,进而在Hadoop分布式平台下实现了适用于大规模数据的在线新事件检测方法。本文所做的工作首先是介绍新事件检测技术的研究背景、现实意义及研究现状。然后详细介绍了传统的新事件检测所涉及到的各种关键技术以及MapReduce分布式计算框架的相关知识。在此基础上,提出了改进的在线新事件检测算法,算法采用的倒排索引策略显著降低了时间复杂度,算法中的一些步骤采用了并行化设计,进一步加快新事件检测的速度。本文设计并实现了基于MapReduce的分布式新事件检测系统。最后通过实验证明了该方法的可行性和有效性。


面向大规模数据的在线新事件检测

收藏 推荐 打印 | 录入:574107552 | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款