你好,游客 登录 注册 发布搜索
背景:
阅读新闻

Hadoop都2了 大数据应用会迈上一个新台阶吗

[日期:2013-10-29] 来源:比特网  作者: [字体: ]

Apache软件基金会终于推出了最新的Hadoop2数据分析平台,从而引发了舆论对大数据演进大飞跃的美好憧憬,此前我曾经写过“Hadoop 就是大数据应用又何妨”一文,对国内大数据市场现状进行了分析。如今Hadoop 2发布,会如舆论所预计一样刺激大数据应用和发展吗?

我认为首先要看一下,Hadoop 2进行了哪些改进?从相关报道来看,Hadoop 2最大的改进是发布了YARN数据处理和服务引擎,用于对Map/Reduce进行了改进,同时为Hadoop File System (HDFS)添加高可用特性。

可以看一些技术细节,对Hadoop数据进行访问,需要开发Java应用实现Map/Reduce,学习起来会有一些困难,除此之外,也可以采用 Hbase,用近似数据库范式来处理数据。其Hive数据仓库让你可用类SQL的HiveSQL查询语言来创建查询,并转化为MapReduce任务。不 过Hadoop仍受限于单线程性。MapReduce任务、Hive查询、Hbase操作等等都要轮流进行,这就是局限。

说明: Hadoop2.0:大数据的新突破在即

Hadoop开发社区也意识到这个问题,在Hadoop2进行了改进,将Map/Reduce升级为Apache YARN(Yet Another Resource Negotiator)。

YARN项目主管ArunMurthy指出:Hadoop1.0和2.0的区别在于,前者所有的事情都是面向批处理的,而后者则允许多个应用同时在内部访问数据。

换句话说,相对于当前Map/Reduce系统能处理的事情,把这些功能分开使得Hadoop集群资源的管理更加强大。其主要管理方式类似于操作系统对任务的处理,不再有一次一项操作的限制了。

说明: Hadoop2.0:大数据的新突破在即

有了YARN,开发者就能够直接在Hadoop内部来开发应用,而不是像许多第三方工具所做的那样,在外面把数据筛选出来。

从Hadoop 1.0到2.0对于用户来说并没有本质不同,只是从技术的角度,简化技术开发的难度,是一种量的积累,而不是质的改变。对于最终用户来说,Map/Reduce也好,YARN也好,不过是一种对资源的调度和使用方式。

因此,无论Hadoop 1.0、2.0其最大的贡献还在于让我们有机会使用X86等廉价手段来处理海量结构化数据,这也是大数据应用被广泛推广和谈及的主要原因。从目前来看,国 内大数据应用所需要的还是大数据服务的提供商,至于这些服务商使用Map/Reduce,还是YARN都不重要,重要的不是工具,而是服务和结果。无论是 Map/Reduce,还是YARN都不是普通非专业人员可以使用的,它还不想使用PC这么简单,现在所需要的是会使用Map/Reduce,或者 YARN的人,需要他们提供专业化的服务。

Hadoop 2会促进大数据应用和发展,但在国内关键化问题仍然没有解决,因此难以乐观。

收藏 推荐 打印 | 录入:574107552 | 阅读:
相关新闻       Hadoop 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款