你好,游客 登录 注册 发布搜索
背景:
阅读新闻

[期刊]一种具有容错机制的MapReduce模型研究与实现

[日期:2014-02-21] 来源:CNKI  作者:史椸 耿晨 齐勇 [字体: ]

一种具有容错机制的MapReduce模型研究与实现 

史椸 耿晨 齐勇

针对传统MapReduce模型的容错机制对错误的处理效率低下等问题,提出了一种基于多核虚拟机的具有容错机制的MapReduce模型。该模型使用检查点机制进行错误恢复,并只对中间结果和必要的状态信息进行保存;利用虚拟机在隔离内存中保存中间结果;根据用户的需要及系统的负载情况动态调整系统中工作节点的个数。通过在SUN 的32核、主频为2.38 GHZ、内存为128 G 服务器上的测试,实验结果表明:与传统MapReduce模型相比降低了通信上的开销,提高了MapReduce运行过程的可靠性和错误恢复的性能,虚拟机监控器可以完全控制和管理多核平台的内存,使操作系统无法直接访问隔离的内存,数据恢复不会受到操作系统内部各种错误的影响,保证了恢复数据的安全性。


一种具有容错机制的MapReduce模型研究与实现

收藏 推荐 打印 | 录入:574107552 | 阅读:
相关新闻      
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款