你好,游客 登录
背景:
阅读新闻

Hadoop辉煌还能延续多久

[日期:2017-08-29] 来源:  作者: [字体: ]

Hadoop 2的新YARN资源管理器结束与MapReduce的分布式处理框架结合。这扩大了Hadoop系统可以做的事情。

即使是Hadoop最热心的支持者也许会承认,它与MapReduce的婚姻已经限制了开源技术可以做的事情。 但是随着Hadoop 2及其关键组件的出现,Hadoop YARN资源管理器,分布式处理框架已经成为一种新型应用程序的启动板,并结合了各种相关工具。

例如,Hadoop 2正在为Synapse Wireless Inc.(一家位于阿拉斯加州Huntsville)的无线网状网络连接的智能控制和监控系统的制造商进行流数据的实时处理和分析。在现在的说法中,公司创建了一个"网络事物",它利用互联网从客户现场的传感器和设备收集操作数据。它支持的一些用途是监控医疗保健业务和大型商业和住宅照明系统和太阳能电池板领域。

现在,Synapse无线公司正在寻求将Hadoop 2和Storm(一种开源流数据引擎)相结合,为客户提供实时商业智能和分析功能。

该公司的云架构师和主要平台开发人员Bryan Stone说:"我们的系统可以捕获所有这些远程设备的高速数据流。随着Hadoop 2和Storm的配对,他补充说:"我们不只是捕获数据,我们也可以采取行动,我们可以以有意义的方式呈现,从而影响到客户的业务决策。"

使用软件供应商Pentaho Corp.的数据集成工具,Stone和Synapse Wireless的同事们创建了一个试点医疗监控应用程序,将Storm置于Hadoop 2集群的YARN之上。 该应用旨在确保医院中良好的洗手卫生,例如大数据满足云计算和物联网时可能发生的情况。

作为申请的一部分,护士穿的徽章上的标签可以追踪他们在医院周围的动作。其他标签收集使用手动清洁剂分配器的数据。当护士进入病人的房间时,定时器开始使用分配器。如果应用程序没有注册分配器已被使用,Stone说:"我们可以向护士穿的徽章发出警报,提醒她需要洗手。"

Hadoop YARN给了一些公司批处理工作的能力

虽然原始的MapReduce依赖版本的Hadoop允许Synapse Wireless收集和分析洗手数据,但公司不能立即采取行动。 Stone仍然在MapReduce批量处理和分析中看到价值。但是YARN"使Hadoop更多的是[一个平台],您可以构建应用程序,"他说。 "您仍然可以批量使用MapReduce,但现在您也可以推出其他应用程序。"

雅虎公司(Hadoop)首次投入使用的公司,自2012年9月以来一直在测试Hadoop 2和YARN(这是另一个资源谈判者的缩写)。雅虎构建了一个风暴式YARN应用程序,可以更快地处理网站用户活动MapReduce批处理程序之后的数据无法快速处理信息,以满足公司的分析和报告需求,从而为网站访问者提供有针对性的广告。它去年将应用程序作为开源技术发布。

在Hadoop峰会上,Bruno Fernandez-Ruiz在Hadoop的平台上担任高级研究员和副总裁,他将YARN描述为Hadoop框架中的一个灵活的框架,使Hadoop集群中的实时处理更加可行当他们只能运行MapReduce应用程序时。

"MapReduce计算的问题是批处理窗口,"Fernandez-Ruiz说,并补充说,像Yahoo这样的用户在等待三小时的批处理完成运行时不能排队处理数据。

YARN的能力甚至领导了管理Hadoop开发的Apache软件基金会,以及雅虎分销Hortonworks公司等供应商,将其标榜为"操作系统"。行业分析师表示,这可能是夸大其辞。但他们同意YARN提供了扩大Hadoop应用程序的使用和优势的机会。

Gartner Inc.分析师Nick Heudecker表示,将YARN称为操作系统非常慷慨。他将其与应用服务器进行了比较,指出了在20世纪90年代后期开始获得成果的Java中间件引擎。根据Heudecker的说法,这对用户来说是一件好事。 "开发人员可以在不同的框架中滑动,其中一些框架可以紧密地集成到整个Hadoop堆栈中,"他说。

为Hadoop集群做更多的工作

Heudecker表示,YARN还应该允许用户将多个Hadoop集群整合到一个大型系统中,以便同时处理作业。 他表示,与其拥有数据市场的Hadoop等同的数据,IT经理可以结合系统,更好地合理化技术,处理和管理成本。

Pentaho的创始人兼首席技术官詹姆斯·迪克森(James Dixon)表示,YARN"将减少人们写的MapReduce代码的数量",他认为这是向用户迈进的一步。Dixon在描述MapReduce的局限性时,只提到几个字,声称它只满足一组狭窄的处理需求。

"MapReduce是正确的解决方案的问题很少,"他说。 YARN提供的MapReduce并没有提供"为个别问题选择正确的编程框架"的能力。

推荐 打印 | 录入:Cstor | 阅读:
相关新闻      
本文评论   
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款