你好,游客 登录 注册 发布搜索
背景:
阅读新闻

[PDF]集群计算效率约束下的HADOOP鲁棒性优化研究

[日期:2015-04-10] 来源:CNKI   作者: 陈智 [字体: ]

集群计算效率约束下的HADOOP鲁棒性优化研究

辽宁大学  陈智

为了提高Hadoop集群的鲁棒性,本文在不同性能的节点执行任务效率的差异下对其鲁棒性进行了优化,研究的主要内容如下: (1)针对Hadoop在任务节点的选取与数据副本放置时未考虑节点未来可能会失效的问题,提出了Hadoop节点故障预测模型,对集群中的节点进行了故障率预测。 (2)通过节点故障预测模型,对于Hadoop任务调度进行了优化以及提出了关于数据副本放置的节点选择策略算法。解决了默认算法未考虑节点异构性而造成的计算能力差异的问题,提高了集群的鲁棒性。 (3)对于集群中执行任务次数较少以及通过节点故障预测模型判断出高故障率的节点,建立了休眠机制,解决了该类节点的处置问题。 (4)通过搭建Hadoop集群验证了故障预测模型在集群计算效率约束下的有效性,本文所提出的方法提高了Hadoop集群的鲁棒性。


集群计算效率约束下的HADOOP鲁棒性优化研究

收藏 推荐 打印 | 录入:574107552 | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款