你好,游客 登录 注册 发布搜索
背景:
阅读新闻

[PDF]云计算中基于MapReduce集群模型的调度优化与研究

[日期:2014-01-29] 来源:CNKI  作者: 张建平 [字体: ]

云计算中基于MapReduce集群模型的调度优化与研究

南京邮电大学  张建平  

本文将MapReduce在异构环境下的调度机制作为主要的研究方向。 本文针对异构环境的特点,重点总结和分析了MapReduce框架存在的调度性能问题和目前主流调度算法存在的不足,特别是在本地执行、数据不均衡等方面。针对上述问题本文提出了一种在异构环境下基于蚁群算法的多任务集群调度算法MSBACO,该算法能够评估集群中节点的处理能力;同时提出一种新的目标转移函数,将任务快速的按照本地执行原则分配到各个节点上执行,从而缩短了运行时间,提高了集群性能。本文在MSBACO算法基础之上提出了预失败任务判定算法DAPT,该算法在任务执行过程中通过对预失败任务进行感知预判,从而将即将失败的任务快速转移给其他节点执行,减轻了主节点的负载和网络开销。基于上述两种算法,本文提出了异构环境下集群调度模型改进方案HNE-IMCSS。最后,通过程序编写和集群平台搭建,将作业执行时间、负载度作为评估指标与主流算法进行对比,验证了改进算法和调度模型在异构环境中的有效性和稳定性。


云计算中基于MapReduce集群模型的调度优化与研究

收藏 推荐 打印 | 录入:574107552 | 阅读:
相关新闻      
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款