你好,游客 登录
背景:
阅读新闻

跌下神坛的Hadoop

[日期:2017-09-04] 来源:  作者: [字体: ]

  同美国市场一样,以Hadoop为代表的开源大数据技术,在中国大数据产业经历了一段狂热期,目前这股浪潮正渐渐退去。

跌下神坛的Hadoop,拥抱云计算和AI会是一个新故事吗?

  长期以来,Hadoop这个词铺天盖地,几乎成了大数据的代名词。

  在这个数据爆炸的时代,企业需要一个东西来存储、快速处理大量数据,并从大量数据中进行分析,Hadoop便是为此而生。

  如果从2006年开始算起,Hadoop已经有十年的发展历史。Hadoop之父Doug Cutting主导的Apache Nutch项目是Hadoop软件的源头。

  在大数据产业发展过程中,以Hadoop为代表的开源大数据生态,带动了大数据行业的技术进步与商业发展,那么如今的Hadhoop走到了哪个阶段?

  叫好不叫座的Hadoop?

  虽说在大数据市场,Hadoop成为必备的产品,各个厂商都推出了自己的Hadoop发行版本,但是似乎相当一部分企业还没有找到更好的Hadoop使用方式。

  根据Gartner初步估计,2016年Hadoop发行版支出达到8亿美元,较2015年增长40%。遗憾的是,仍然只有14%的企业实际报告了Hadoop部署情况,仅稍高于上一年的10%。

  除了2016年Hadoop部署量增长缓慢外,部署通道本身也呈现出下滑趋势。即使从更为狭义的Hadoop概念角度进行分析,大数据的实践比例也仍然相当有限。

  正如Gartner所指出,企业似乎一直在对Hadoop进行相关实验,但却多数未能将其纳入生产阶段。

  事实是否真如Gartner调研所说,我们不妨看看Hadoop 商业化最典型三大公司——Hortonworks、Cloudera和MapR的营收情况,这可以说是Hadoop 商业化世界的一个风向标。

  Hortonworks于2017年5月公布的消息显示,公司2017年第一季度收入5600万美元,同比增长35%,利润率更高,经营亏损收窄。但是目前依然是亏损。跌下神坛的Hadoop,拥抱云计算和AI会是一个新故事吗?

  Cloudera的收入正在增长,截止到1月份的上一财年营收达到2.61亿美元,亏损为1.86亿美元;2015财年营收为1.66亿美元,亏损2.03亿美元。Cloudera的多数营收都来自订阅收入,订阅期通常为1至3年,但他们还通过服务获取营收,包括专业服务、培训和教育等。

跌下神坛的Hadoop,拥抱云计算和AI会是一个新故事吗?

  MapR公司的CEO米尔斯认为,MapR的销售额在不断增长,平均交易规模大于10万美元,但他不愿评论成本或亏损。

跌下神坛的Hadoop,拥抱云计算和AI会是一个新故事吗?

  事实上,从 2015 年中期以来,Hortonworks和Cloudera的股价已经分别下跌了68%和40%。,对一些公司来说,采用Hadoop框架已经产生了实际的财务问题。

  总体而言,大数据技术确实引发了广泛关注,但至少在商业层面还没能获得全面成功。

  云转型将成为趋势?

  当然,我们也不能忽视Hortonworks和Cloudera取得的营收增长,很大程度上要得益于对云计算的积极接纳。正如Hortonworks在财报会议上所言,近25%的客户立足公有云运行其软件,而两年前这一比例还仅为0%。

  将Hadoop部署方案迁移至云端的主要驱动因素之一,在于Hadoop自身的工作复杂性。考虑到用于补充及加速Hadoop创新的相关项目不断涌现,主流企业根本不可能跟上这样的节奏。

  坦率地讲,云计算正是大数据项目的理想归宿,云不仅能够为大数据技术提供可管理性,更能够帮助其真正实现生产能力。

  如果在云环境当中来运行Hadoop,企业的数据会在云存储的系统当中,云计算厂商也帮助企业管理了数据的拷贝。

  企业客户还可以针对不同的应用创建应用不同的集群,而集群的开关或者是规模的伸缩都可以按需进行,这样对于客户来说,可以实现更好控制和灵活性。

  目前使用Hadoop技术实现的云计算平台包括AWS、Azure、IBM的蓝云、英特尔的“云计划”、百度的云计算基础架构、阿里巴巴云计算平台,以及中国移动的BigCloud大云平台等。

  虽然这种云转型趋势可能会给云计算厂商带来更多收益,也可能并不会给传统Hadoop供应商带来收益增值,但作为一股强大的发展趋势,将给大数据行业带来推动作用。

  考虑到越来越多的企业数据开始驻留在亚马逊、微软与谷歌提供的云平台上,也许未来企业将更倾向于直接使用这些平台提供的原生Hadoop服务。

跌下神坛的Hadoop,拥抱云计算和AI会是一个新故事吗?

  Hadoop和AI是什么关系?

  人类也从未停止对科技的追求,大数据流行了之后,人工智能成为最新的关键字,要发展人工智能不可缺少的一项关键就是数据。

  Hadoop之父Doug Cutting指出,Hadoop和AI之间是非常适合、非常匹配的一项技术,因为AI本身就是一种大数据的应用。

  Hadoop与机器学习、AI有高度关联性,要训练、测试、评价人工智能都需要数据。许多开发者在 Hadoop平台上写了很多应用程序,可以利用这个平台搜集各种巨量数据,支援 AI和机器学习的数据也是爆炸性成长,很难有一家公司可以做到提供这么大量的工具。

  在Cloudera 联合创始人兼首席技术官Awadallah看来,Cloudera从初期基础性的数据收集、存储和处理,已经进入到了机器学习和人工智能阶段。

  他举例谈到,Cloudera帮助全世界最大的银行集团之一摩根大通集团部署了一个应用,将过去几十年当中和合作伙伴签的各种各样的法律合同进行分析,以往数以十万小时计的人工律师工作,现在用人工智能的系统、用计算机来处理的话10分钟就可以完成。

  也就是说,人工智能系统已经能够以非常高的精确度来复制律师的工作,而人工律师的精力可以主要集中在处理例外情况和真正棘手的难题。

  诸如Cloudera等大数据公司,正在利用机器学习、人工智能去构建各种各样的应用,服务如医疗健康、农业、制造业、金融服务等行业需求。

  不过,Doug Cutting也坦言,AI和机器学习领域无疑是Hadoop未来面临的挑战之一,“目前许多机器学习跟 AI技术许多都是开放源代码技术,革命不是由单一组织推动。”

  从发展历程来看,现阶段 AI 和机器学习方面的社群很分散,各自发展,各立山头,所以整个社群都应该团结起来才行,让一些优质的方法走向标准化,全力进一步开发,加速其进步速度,这才会是比较好的方式。

  Hadoop作为一项基础技术仍然在发挥着关键作用,与此同时新的技术会不断涌现出来。云计算和AI技术的融入,也许能够帮助Hadoop更好地商业化,使其更好的应用于企业的业务场景中。

推荐 打印 | 录入:Cstor | 阅读:
相关新闻      
本文评论   
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款