你好,游客 登录 注册 发布搜索
背景:
阅读新闻

[硕士论文]集群MapReduce环境中任务和作业调度若干关键问题的研究

[日期:2015-06-28] 来源:中国知网  作者:顾涛 [字体: ]

集群MapReduce环境中任务和作业调度若干关键问题的研究

南开大学  顾涛

针对网络负载高的情况,分析了存储节点在任务执行过程中应该输出的数据量,提出了慈善调度算法;在网络负载相对低的情况下,研究了MapReduce中的数据传输和任务计算过程,提出了更充分地掩盖数据传输过程的数据预取机制。实验表明,慈善调度算法较好地提升了数据本地化率,而数据预取机制有效地掩盖了数据传输时间。最后,研究了reduce任务调度中的负载均衡问题。针对reduce阶段中存在的负载均衡问题,分析了节点间通信的特点,建立了对应的节点通信能力模型,并结合计算能力得到节点能力。然后根据匹配节点能力和任务量的思想,提出了针对reduce任务调度的算法。模拟实验结果表明,所提调度算法取得了良好的负载均衡,减少了执行时间,并能较好地适应节点能力的动态变化。本文针对集群MapReduce环境中的相关调度问题,使用理论分析的方法对任务和作业调度进行了研究,以此为基础分析了MapReduce的特性,设计了多作业调度算法,并提出了优化数据传输开销和负载均衡的调度算法,为后续MapReduce的研究和性能优化提供了平台和参考。


集群MapReduce环境中任务和作业调度若干关键问题的研究

收藏 推荐 打印 | 录入:574107552 | 阅读:
相关新闻      
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款