你好,游客 登录 注册 发布搜索
背景:
阅读新闻

HBase大对象存储方案的设计与实现

[日期:2014-02-23] 来源:  作者: [字体: ]

HBase大对象存储方案的设计与实现

南京大学   康毅  

海量数据的时代正在到来,随着互联网的急速发展,网络访问量、网络访问日志、通讯记录、视频资料、移动网络和各种智能终端所产生的巨大数据集的规模也在急剧扩大。而其数据集的一个重要特点体现在:超过80%的数据是非结构化的。传统技术无法胜任大数据集的分析、管理和挖掘,目前业界对于大数据处理的一种流行解决方案为HBase。 HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。而非结构化数据作为一个大对象(Large Object), HBase对其的处理与其他结构化数据一样,因此,在HBase的数据导入过程中,由于大量非结构化数据的导入,HBase的Region大小增长迅速,其Region的Split过程和Compact过程会频繁促发,在一定程度上卡住客户端的写入,影响HBase的插入性能。 因此,如果能在插入时减少其HBase Region的Split和Compact次数肯定能在很大程度上提高其HBase的插入性能。与此同时我们也需要兼顾其读取的性能和存储的管理复杂度,并且在不引入外部因素的同时最小程度的修改HBase源代码。基于这些因素,提出自己的HBase的大对象存储(Large Object Storage, LOB)解决方案。


HBase大对象存储方案的设计与实现

收藏 推荐 打印 | 录入:574107552 | 阅读:
相关新闻       存储 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款