你好,游客 登录 注册 发布搜索
背景:
阅读新闻

[硕士论文]MapReduce作业调度算法优化与改进研究

[日期:2014-08-28] 来源:海南大学   作者:万兵 [字体: ]

MapReduce作业调度算法优化与改进研究

海南大学  万兵

论文主要工作如下:首先,对开源云计算平台Hadoop的基础架构和MapReduce相关技术进行研究与分析。重点介绍和分析了MapReduce基本原理、MapReduce作业处理机制和MapReduce作业调度机制等相关内容。其次,详细阐述并分析了目前关于MapReduce原生作业调度算法及其相关改进算法的研究现状,总结出各自的优缺点。针对当前与数据本地性相关的作业调度算法进行了详细的研究分析,总结出当前作业调度算法在数据本地性方面所表现出来的缺陷,为后续研究提供基础。然后,针对原生作业调度算法在数据本地性方面考虑不周全的问题,结合数据预取技术的可行性与优势,通过引入资源预取技术,设计并实现一种基于资源预取的Hadoop MapReduce作业调度算法。在非本地map任务被真正调度之前预先读取其输入数据到待分配的计算节点之上,以一定的网络开销和磁盘空间开销换取数据本地性的提升,从而使作业执行效率更高。最后,通过搭建小型Hadoop实验集群,设计实验场景,分别在集群上配置使用改进调度器与Hadoop原有的三种作业调度器进行对比实验。实验结果表明,改进后的算法不仅在作业的数据本地性方面有较大提升,而且在一定程度上减少了作业的响应时间,对系统的整体性能有较大提升。  

 

MapReduce作业调度算法优化与改进研究

收藏 推荐 打印 | 录入:574107552 | 阅读:
相关新闻       云计算 Hadoop MapReduce 作业调度 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款