你好,游客 登录 注册 发布搜索
背景:
阅读新闻

[期刊]接收与处理分离的实时大数据处理模型

[日期:2015-07-27] 来源:中国知网  作者:彭建华 李臣明 邱军林 李晓芳 徐立中 [字体: ]

接收与处理分离的实时大数据处理模型

彭建华 李臣明 邱军林 李晓芳 徐立中

在大数据处理系统中,系统对数据处理效率、安全、稳定性有非常高的要求。为了满足对大数据实时、高效、稳定处理的需求,文章提出了一种接收与处理分离的数据处理模型,据接收单元、内存数据库、原始数据分发单元、数据处理单元、处理数据分发单元、数据归并单元组成,接收单元负责接收、整合结构化数据与非结构化数据,把每条完整的数据放入内存数据库中,分发单元从内存数据库中检测获取数据,按照海量数据负载均衡算法把数据分发到数据处理单元,数据处理单元处理数据,处理结果放入内存数据库,处理数据分发单元继续从内存数据库中获取处理后的数据并按照海量数据负载均衡算法把数据分发给数据归并单元,实验证明,使用本模型方法,系统保持了非常高效的处理效率。


接收与处理分离的实时大数据处理模型

收藏 推荐 打印 | 录入:574107552 | 阅读:
相关新闻      
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款