你好,游客 登录 注册 发布搜索
背景:
阅读新闻

HBase、Stinger的发展与实践

[日期:2013-11-23] 来源:CSDN  作者: [字体: ]

HBase有着优秀的血统——Google BigTable的开源实现,在推广上与Hadoop的天然集成更是让其占尽优势。然而拥有如此大优势的HBase,在列存储领域的人气仍不如Cassandra。而在Hadoop 2.0版本发布之前,唱衰这头大象的声音也随处可见。在BDTC 2013上,我们有幸邀请到了Hortonworks技术总监Gunther Hagleitner及在该公司供职的HBase核心贡献者Ted Yu,为我们分享最新的Hadoop趋势及在Hortonworks的最佳实践。

Hortonworks技术总监Gunther Hagleitner分享如何使用Hive和Stinger在Hadoop中实现PB级的SQL

着眼Gunther的LinedIn履历我们会发现,自2002年起,Gunther分别供职于IBM、Yahoo!、Amazon Lab 126等多家知名公司或机构,现致力于Stinger、Pigs及Hadoop等项目。

图:Stinger Initiative的roadmap 

在Hortonworks之前的介绍中,某些测试下,Stinger能提升10倍左右的性能,同时会让Hive支持更多的SQL,其主要优点包括:

1、让用户在Hadoop获得更多的查询匹配。其中包括类似OVER的字句分析功能,支持WHERE查询,让Hive的样式系统更符合SQL模型。

2、优化了Hive请求执行计划,优化后请求时间减少90%。改动了Hive执行引擎,增加单Hive任务的被秒处理记录数。

3、在Hive社区中引入了新的列式文件格式(如ORC文件),提供一种更现代、高效和高性能的方式来储存Hive数据。

4、引入了新的运行时框架——Tez,旨在消除Hive的延时和吞吐量限制。Tez通过消除不必要的task、障碍同步和对HDFS的读写作业来优化Hive job。这将优化Hadoop内部的执行链,彻底加速Hive负载处理。

与Stinger拥有类似功能的有Cloudera的Impala,还有社交巨头Facebook近日推出的新一代查询引擎Presto。Gunther将告诉我们,面对如此多竞争对手,Stinger杀手级应用场景究竟在何处,Stinger又是如何斩获Hadoop中的PB及SQL。

 

收藏 推荐 打印 | 录入:574107552 | 阅读:
相关新闻      
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款