你好,游客 登录 注册 发布搜索
背景:
阅读新闻

基于嵌入式多处理器的轻量级MapReduce模型研究

[日期:2015-02-08] 来源:中国知网  作者: [字体: ]

基于嵌入式多处理器的轻量级MapReduce模型研究 

随着近年来云计算的快速发展以及多核处理器核心数的快速增长,并行开发技术的应用也越来越普遍。各种并行开发技术如MPI、OpenMP等已经非常成熟的应用于各个领域,并且在Google的MapReduce编程模型的带动下出现了很多基于MapReduce模型的开发框架,如Phoenix、Metis、Hadoop等,但是Phoenix和Metis是基于共享内存架构实现的,不能用于分布式集群,而Hadoop集群部署在嵌入式环境下的执行效率不高。因此目前还没有成熟的基于嵌入式平台的分布式计算框架,虽然MPI+OpenMP方法是一个比较常用的方法,但是节点内使用OpenMP来对并行进行控制增加了编程难度,并造成开发和维护上的开销。

为了研究Hadoop在嵌入式处理器平台上的应用缺陷,本文首先构建了基于嵌入式多处理器的云计算平台,在其上实现了并行图像处理方法,进行了效率分析,进而发现了目前Hadoop应用于嵌入式环境中的不足。然后对多核平台下的MapReduce开发框架Phoenix和Metis进行了研究,并基于Tilera36众核平台对其进行性能评测,以此来发现这两个框架的优点和不足。

最后在上面所述的研究的基础上,重新设计了一个轻量级的面向嵌入式环境的分布式计算框架MPI+Phoenix,该框架在设计中主要考虑了嵌入式处理器节点之间的异构性,以及如何充分利用节点内部的处理器核心来最大化系统运行效率。最后针对该框架进行了图像并行处理的应用和测试,并对其进行Phoenix标准集测试,从而对该框架的各方面性能进行评估,通过测试表明本论文所提出的框架能够提高数据处理的并行性,同时提升程序的执行效率。


基于嵌入式多处理器的轻量级MapReduce模型研究

 

收藏 推荐 打印 | 录入:574107552 | 阅读:
相关新闻      
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款