你好,游客 登录 注册 发布搜索
背景:
阅读新闻

[RAR]HADOOP调度算法及其改进策略研究

[日期:2013-12-08] 来源:CNKI  作者:李盼 [字体: ]

HADOOP调度算法及其改进策略研究

北京邮电大学   李盼  

本文针对Hadoop这一年轻的开源分布式计算平台进行了研究。首先通过海量数据的背景引出“云计算”技术,研究了其概念及技术架构;然后,讨论了当前应用最为广泛的Hadoop分布式计算平台,重点针对其HDFS(Hadoop Distributed File System)和MapReduce关键技术展开研究,分析了其架构模型、工作机制和可靠性;最后,本文研究了Hadoop的作业调度机制,分析了系统自有的作业调度算法即FIFO算法、计算能力调度算法和公平份额调度算法的调度原理,针对以上算法中存在的不足之处提出了基于匹配原则的、基于作业组合的和基于优先级策略的改进思路,并根据以上改进思路提出了改进的作业调度算法,即基于动态优先级的组合调度(Dynamic Priority Based Compose Scheduler, DPBCScheduler)算法。新的算法通过采用作业匹配的原则实现调度性能的提升,在进行作业匹配度分析时,利用动态优先级的策略实现匹配程度的的实时更新,同时,加入了作业组合的策略,使得优先级应用在局部而不是整个作业队列,降低调度的负担。经过最终编码实现和测试,改进的算法成功地达到了预期的目标,提高了系统的性能。


HADOOP调度算法及其改进策略研究

收藏 推荐 打印 | 录入:574107552 | 阅读:
相关新闻       Hadoop 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款