|
|
Hadoop 数据分配 数据局部性 异构集群 的搜索结果
针对Hadoop异构集群节点性能的数据分配策略
林常航 郭文忠 陈煌宁
当前Hadoop的实现主要针对同构集群,假设任务处理的数据基本是本地的.然而,实际应用中集群多为异构.这暴露出现有的数据分配策略对数据局部性考虑的不足,其产生的不必要数据传输耗费了大量的带宽资源和传输时间.通过结合Hadoop中数据放置与任务执行的关系,按不同节点对不同任务的执行能力进行数
林常航 郭文忠 陈煌宁
当前Hadoop的实现主要针对同构集群,假设任务处理的数据基本是本地的.然而,实际应用中集群多为异构.这暴露出现有的数据分配策略对数据局部性考虑的不足,其产生的不必要数据传输耗费了大量的带宽资源和传输时间.通过结合Hadoop中数据放置与任务执行的关系,按不同节点对不同任务的执行能力进行数
http://www.chinacloud.cn/show.aspx?id=19991&cid=13日期：2015/5/1 10:31:39
- 1/1
- 1