你好,游客 登录 注册 发布搜索
背景:
阅读新闻

Hadoop平台下的作业调度算法的研究

[日期:2014-01-07] 来源:CNKI  作者:赵晓冰 [字体: ]

Hadoop平台下的作业调度算法的研究

郑州大学  赵晓冰 

本文研究的主要内容是Hadoop上作业调度算法的改进。针对LATE算法对任务进度值估算不准以及SAMR算法不考虑备份执行节点的问题,提出了任务备份调度的改进算法(BTIS)BTIS算法通过历史记录较为准确地计算出任务的进度,找到真正的需要启动备份的慢任务;为慢任务选择启动备份的快节点时,会考虑工作节点执行任务的成功率和工作节点当前的负载情况,成功负载比高的节点将会得到执行备份的资格。 在自主搭建的Hadoop集群中验证了BTIS算法能够完成用户作业的调度执行,且缩短了作业整体的完成时间。实验中的一些数据都是经过多次执行求平均值的方法得到的。通过BTIS算法与LATE算法、SAMR算法的对比实验可以看出,BTIS算法能够更好的确定任务各阶段的比例、找到最适合启动备份的慢任务;并且备份的执行效率高,能够缩短整个作业的完成时间,提高系统资源的利用率,优化平台的性能。


Hadoop平台下的作业调度算法的研究

收藏 推荐 打印 | 录入:574107552 | 阅读:
相关新闻       Hadoop 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款