你好,游客 登录 注册 发布搜索
背景:
阅读新闻

eBay开源新数据库技术Kylin,支持TB到PB级数据量

[日期:2014-10-24] 来源:CSDN  作者: [字体: ]

  在线拍卖网站eBay开源了一种名为 Kylin 的数据库技术,该公司宣称这项技术能够在Hadoop上支持PB级数据存储的快速查询。eBay并不是像Google和Facebook那样的大数据公司,但它运用Hadoop等技术已经达到了一个相当大的规模,Kylin就是一个很好的例子,这说明它在该领域的创新已经走在前头。

  eBay在周三的一篇博客上分享了Kylin的细节,包括REST API、ANSI-SQL兼容性、连接分析工具Tableau和Excel,以及在一些查询上低于秒级的延迟。然而, Kylin最独特的特性是它如何处理scale。eBay表示,它可以查询数十亿行数据——在高达14TB的数据集上,速度比使用传统的Apache Hive工具快得多。

  

 

  Kylin工作在一个很高级别上,它从Hive取数据;使用MapReduce预处理大型查询;然后将这些结果作为键值cuboids存储在HBase上。当用户用一组特定的变量值运行一个Kylin查询,结果已经准备就绪,不需要再重新处理,这和已经使用多年的分析型数据库完全不同。

  下面是eBay分享的Kylin如何在公司内部的使用情况:

  开放Kylin的时候,我们已经有一些eBay业务单元在生产中使用它。我们最大的用例是120+亿源记录生成的14 +TB cube。它的90%查询延迟小于5秒。现在,我们的用例瞄准分析师和业务用户,他们可以轻松的通过Tableau分析并且得到结果——不再需要Hive查询,shell命令等等。

  

  想要知道Kylin在与下一版本的Hive、Spark SQL以及Hadoop SQL分析的其他选项较量中谁会胜出,将是一件非常有趣的事情,Kylin作为YARN资源管理器一部分可以在Apache Hadoop的最新版本上获得。我猜它会慢一点,但比内存选项或那些不需要MapReduce处理的更具扩展性,不过这对于那些仍然在运行更早软件版本的用户可能是一个可靠的选择。

收藏 推荐 打印 | 录入:574107552 | 阅读:
相关新闻       大数据 数据库 Kylin Hadoop 开源 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款