你好,游客 登录 注册 发布搜索
背景:
阅读新闻

ElasticSearch与大数据的不解情缘

[日期:2017-01-08] 来源:大讲台  作者: [字体: ]

  一、ElasticSearch 产生背景

  

 

  1. 海量数据组合条件查询

  2. 毫秒级或者秒级返回数据

  Lucene 定义

  lucene是一个开放源代码的全文检索引擎工具包,但它不是一个完整的全文检索引擎,而是一个全文检索引擎的架构,提供了完整的查询引擎和索引引擎,部分文本分析引擎。

  

 

  ElasticSearch 定义

  ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。

  二、ElasticSearch vs Lucene

  

 

  

 

  1. 成品与半成品的关系

  2. Lucene专注于搜索底层的建设,而ElasticSearch专注于企业应用。

  三、ElasticSearch vs Solr

  Solr 定义:Solr是Apache 下的一个开源项目,使用Java基于Lucene开发的全文检索服务是一个独立的企业级搜索应用服务器,它对外提供类似于Web-service的API接口。用户可以通过http请求,向搜索引擎服务器提交一定格式的XML文件,生成索引;也可以通过Http Get操作提出查找请求,并得到XML格式的返回结果。

  ElasticSearch vs Solr 优缺点

  

 

  ElasticSearch vs Solr 检索速度

  当单纯的对已有数据进行搜索时,Solr更快。

  

 

  当实时建立索引时, Solr会产生io阻塞,查询性能较差, Elasticsearch具有明显的优势。

  

 

  随着数据量的增加,Solr的搜索效率会变得更低,而Elasticsearch却没有明显的变化。

  

 

  大型互联网公司,实际生产环境测试,将搜索引擎从Solr转到Elasticsearch以后的平均查询速度有了50倍的提升。

  

 

  ElasticSearch vs Solr 热度

  

 

  ElasticSearch vs Solr 总结

  1. 二者安装都很简单。

  2. Solr 利用 Zookeeper 进行分布式管理,而 Elasticsearch 自身带有分布式协调管理功能。

  3. Solr 支持更多格式的数据,比如JSON、XML、CSV,而 Elasticsearch 仅支持json文件格式。

  4. Solr 官方提供的功能更多,而 Elasticsearch 本身更注重于核心功能,高级功能多有第三方插件提供

  5. Solr 在传统的搜索应用中表现好于 Elasticsearch,但在处理实时搜索应用时效率明显低于 Elasticsearch。

  6. Solr 是传统搜索应用的有力解决方案,但 Elasticsearch 更适用于新兴的实时搜索应用。

  四、ElasticSearch vs 关系型数据库

  

 

  五、ElasticSearch 架构

  

 

  六、ElasticSearch 在Hadoop生态圈的位置

  

 

  

 

  七、ElasticSearch 应用场景

  1. 站内搜索:主要和 Solr 竞争,属于后起之秀

  2. NoSQL Json文档数据库:主要抢占 Mongo 的市场,它在读写性能上优于 Mongo ,同时也支持地理位置查询,还方便地理位置和文本混合查询。

  3. 监控:统计、日志类时间序的数据存储和分析、可视化,这方面是引领者

  4. 国外:Wikipedia(维基百科)使用 ES 提供全文搜索并高亮关键字、Stack Overflow(IT问答网站)结合全文搜索与地理位置查询、Github使用Elasticsearch检索1300亿行的代码

  5. 国内:百度(在云分析、网盟、预测、文库、钱包、风控等业务上都应用了ES,单集群每天导入30TB+数据,总共每天60TB+)、新浪 、阿里巴巴、腾讯等公司均有对ES的使用

  6. 使用比较广泛的平台ELK(ElasticSearch, Logstash, Kibana)

收藏 推荐 打印 | 录入:574107552 | 阅读:
相关新闻      
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款