你好,游客 登录 注册 搜索
背景:
阅读新闻

[期刊]单一输出HDFS文件的MapReduce编程模型

[日期:2014-10-08] 来源:华南理工大学学报(自然科学版)   作者:陈吉荣 乐嘉锦 [字体: ]

SingleMapReduce:单一输出HDFS文件的MapReduce编程模型

陈吉荣 乐嘉锦

经典MapReduce编程模型的输出结果不是单一的Hadoop分布式文件系统(HDFS)文件,为此,文中提出了单一输出文件的MapReduce编程模型:SingleMapReduce.该模型通过拦截Job Successful状态,将输出目录下的所有文件"整合"为单一文件.文中给出了HDFS的4个重要特征,提出了HDFS的"块典型分布"和"块非典型分布"的概念,设计了一种通过整合元数据来达到整合文件的算法.理论分析和实验结果表明:该模型的MapReduce计算的输出结果为单一文件;该模型可以再次以文件的形式对MapReduce计算的输出结果进行分片,并可用并行方式导入大表或大文件到HDFS中;该模型间接支持了名称节点的扩展性.


SingleMapReduce:单一输出HDFS文件的MapReduce编程模型

 

 

 

收藏 推荐 打印 | 录入:涤生2017 | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款