你好,游客 登录
背景:
阅读新闻

Hadoop Map/Reduce教程

[日期:2009-04-07] 来源:Hadoop网站  作者: [字体: ]

目的

这篇教程从用户的角度出发,全面地介绍了Hadoop Map/Reduce框架的各个方面。

先决条件

请先确认Hadoop被正确安装、配置和正常运行中。更多信息见:

概述

Hadoop Map/Reduce是一个使用简易的软件框架,基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上,并以一种可靠容错的方式并行处理上T级别的数据集。

一个Map/Reduce 作业(job) 通常会把输入的数据集切分为若干独立的数据块,由 map任务(task)以完全并行的方式处理它们。框架会对map的输出先进行排序, 然后把结