你好,游客 登录 注册 发布搜索
背景:
阅读新闻

[期刊]基于数据局部性的推测式Hadoop任务调度算法研究

[日期:2014-02-03] 来源:CNKI  作者:刘奎 刘向东 马宝来 王翠荣 [字体: ]

基于数据局部性的推测式Hadoop任务调度算法研究

刘奎  刘向东 马宝来  王翠荣

针对Hadoop平台现有任务调度算法优化程度不高的问题, 提出了一种基于数据局部性的推测式任务调度算法。该算法通过计算节点上Map和Reduce任务时长比例, 结合不同节点上数据的局部特性, 采用了比现有算法更精确的任务进度探测方式找出快慢节点, 在快节点上启动剩余时间最长的落后任务的备份任务, 用移动计算代替移动数据。在Hadoop环境中进行了实验, 结果表明该算法比现有算法缩短了任务平均运行时间, 加快了任务的执行效率。


基于数据局部性的推测式Hadoop任务调度算法研究

收藏 推荐 打印 | 录入:574107552 | 阅读:
相关新闻       Hadoop  任务调度 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款