你好,游客 登录 注册 发布搜索
背景:
阅读新闻

[RAR]基于负载均衡的Hadoop平台下作业调度算法研究

[日期:2013-10-20] 来源:CNKI  作者:胡丹 [字体: ]

基于负载均衡的Hadoop平台下作业调度算法研究

新疆大学  胡丹

本文首先介绍了Hadoop平台的优势及体系结构,接着对Hadoop的核心技术即Hadoop的分布式文件系统HDFS和Hadoop分布式数据处理MapReduce做了较为详细的介绍。然后对Hadoop原有的调度算法及LATE调度算法的原理及优缺点做了分析。另外,针对LATE调度算法在为落后任务选择备份执行节点策略的不足,本文提出了改进的LATE调度算法。该算法通过对Hadoop集群中的工作负荷进行分类,并提出对节点工作负载进行衡量的方法,进而在LATE调度算法的基础上提出了新的为落后任务选择备份执行节点的策略。最后介绍了拥有6个节点的Hadoop集群环境的搭建过程,并在该Hadoop集群上对LATE调度算法和改进的LATE调度算法进行了对比实验。实验结果表明,改进的LATE调度算法具有一定的优势。

基于负载均衡的Hadoop平台下作业调度算法研究

收藏 推荐 打印 | 录入:574107552 | 阅读:
相关新闻       Hadoop 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款