你好,游客 登录 注册 发布搜索
背景:
阅读新闻

面向过程感知的云作业资源调度

[日期:2014-07-18] 来源:南京理工大学   作者:魏士祥 [字体: ]

面向过程感知的云作业资源调度

南京理工大学 魏士祥

本文提出了一种面向过程感知的任务调度算法IOAware o该算法对计算节点的硬件性能进行评估,并在任务的执行过程中推测任务的属性。在后续任务分配的时候,结合计算节点的性能表现分配不同的任务,从而达到共享计算节点磁盘IO的效果。这样能够缩短并行的任务的执行时间,提高集群的吞吐率。IOAware算法的特点体现在两个方面:一是,从任务对磁盘IO的需求来判断任务的属性,将任务分为CPU-Bound和IO-Bound类型,将不同类型的任务组合在一起,减少多个任务同时对磁盘10的操作,降低磁盘阻塞的可能性;二是,在考虑任务属性的同时,把提高任务的输入数据本地化比例作为一个重要的指标,减少数据网络传输时间,达到减少任务的执行时间的效果。为了验证IOAware调度算法的理论可行性,论文在Hadoop平台下设计并且实现了IOAware调度模块。在Hadoop集群中使用该调度模块进行多次实验,从作业的响应时间,任务的数据本地化比例,系统吞吐率和系统资源这四个方面来对IOAware与FIFO,Capacity调度算法和公平调度算法进行性能上的比较。通过实验发现,对于单独的任务执行时间来说,该调度模块与现有的调度模块获得的时间一致;对于具有不同属性的任务来说,该调度模块能够将不同属性的任务组合在一起,减少了同一时刻磁盘操作的次数,缩短了CPU等待磁盘的时间,提高了CPU利用率,其次调度模块有效的提高了任务的数据本地化率,提升了系统的吞吐率。


面向过程感知的云作业资源调度

收藏 推荐 打印 | 录入:574107552 | 阅读:
相关新闻       过程感知 云作业 资源调度 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款