你好,游客 登录 注册 发布搜索
背景:
阅读新闻

[PDF]基于MapReduce的大数据流程处理方法

[日期:2014-03-27] 来源:CNKI  作者:王东雷 孙忠林 [字体: ]

基于MapReduce的大数据流程处理方法

王东雷  孙忠林

处理效率是数据流程处理的重要指标,简单的单服务器结构已经难以适应海量数据的处理任务.为了能够完成海量数据的流程处理任务,简要介绍了Google的MapReduce的结构,Fegaras等剔除的MapReduce查询语言(MRQL),并基于MapReduce编程模型和MRQL提出了一种分布式数据汇聚方法.该方法借助MapReduce完成数据处理流程的执行,借助MRQL控制MapReduce.在XBus数据汇聚平台基础上,结合MapReduce和MRQL实现了MRXBus分布式数据汇聚平台,验证了该方法的可行性.实验表明,该方法可以减少大数据量的处理时间,提高处理效率.


基于MapReduce的大数据流程处理方法

收藏 推荐 打印 | 录入:574107552 | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款