你好,游客 登录 注册 发布搜索
背景:
阅读新闻

大数据技术中计算与数据的协作机制

[日期:2014-05-14] 来源:CNKI  作者:王鹏 黄焱 刘峰 安俊秀 [字体: ]

大数据技术中计算与数据的协作机制

王鹏 黄焱 刘峰 安俊秀

大数据系统也被称为面向数据的高性能计算系统, 与传统高性能计算系统相似, 其计算和数据存储通常也是基于机群实现的分布式系统。以计算与数据的协作机制为主线分析对比了面向计算的高性能计算和面向数据的高性能计算, 指出正是计算与数据的协作机制决定着大数据系统的基本结构和性能。分布式文件系统与计算通过协助机制的融合是大数据系统实现自动并行化的基础。与面向计算的高性能计算系统不同, 大数据系统以切分数据并将计算向数据迁移作为协作机制的主要原则, 实现对海量数据的自动并行批处理。元数据映射方法、哈希映射方法及流式拓朴方法是实现计算和数据协作的基本方法, 特别是利用流式拓朴方法可以实现实时大数据处理。


大数据技术中计算与数据的协作机制

 

收藏 推荐 打印 | 录入:574107552 | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款