你好,游客 登录 注册 发布搜索
背景:
阅读新闻

基于Hadoop的调度算法研究与实现

[日期:2015-01-31] 来源:CNKI  作者:李曌 [字体: ]

基于Hadoop的调度算法研究与实现

西南交通大学 李曌

本文提出一种改进的预估执行时间的方法。Map阶段,根据历史执行信息采用均值法作为预估方法;Reduce阶段采用基于采样和反馈相结合的预估方法。本算法能更准确地预估任务的执行时间并为动态分配资源提供有效时间预估方法。鉴于Hadoop内置的调度算法不能满足有效区分CPU密集型和I/O密集型两种类型的作业并且作业需要在特定的时间之前完成的需求。本文提出一种区分作业类型的基于截止时间的调度算法(Type Specific and Deadline Based Algorithm in Hadoop, TSD)。本算法包含两部分:将用户提交的作业分为CPU密集型作业和I/O密集型作业的预测机制;根据用户设置的最后完成期限而设置优先级的基于截止时间的调度算法。实验结果表明,TSD算法较以往单纯保证截止期的算法在确保作业成功率、缩短作业响应时间和提高集群的硬件利用率方面都有很大的提升。


基于Hadoop的调度算法研究与实现

 

 

收藏 推荐 打印 | 录入:574107552 | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款