你好,游客 登录
背景:
阅读新闻

Apache Doris 首届峰会收官,开启数据分析架构全新征程

[日期:2023-01-12] 来源:  作者: [字体: ]

  近期,由SelectDB主办,百度智能云、腾讯云联合举办的Apache Doris(https://github.com/apache/doris)社区首届峰会Doris Summit 2022圆满落下帷幕。本次峰会以Select Future From Doris为主题,汇聚了来自SelectDB、百度、腾讯、美团、小米、京东、字节跳动、阿里云、亚马逊云科技、网易、知乎、斗鱼、马上消费金融、易观、韵达、360等行业企业的40余位数据专家。在为期两天的在线峰会上,众多专家共同探讨了业界前沿数据分析技术的演进趋势以及数字化时代数据分析平台建设的实践,为参会的数万名大数据领域开发者奉上了一份精彩的技术盛宴。

 

  大数据和数据库领域活跃的开源社区之一

 

  本次峰会在Apache基金会2022年董事姜宁的开场致辞中正式拉开序幕,Apache Doris PMC主席陈明雨以《New Journey of Apache Doris》为题,详细回顾了过去一年Apache Doris社区所取得的成绩——累计贡献者规模超过420位、同比增长超过100%,每月活跃贡献者增长至100位、同样呈翻倍增长的趋势,GitHub Star数量从3.6k增长至7.6k,多次登上GitHub Trending榜单、受到全球开发者的关注……从多个社区活跃度指标看,Apache Doris已经成为全球大数据和数据库领域活跃的开源社区之一!

 

  “另外在2022年6月,Apache Doris迎来了开源以来重要的里程碑之一,正式从Apache孵化器毕业、成为了Apache项目”,陈明雨说到,“所有取得的成就,都离不开社区所有开发者与用户的支持,也正是因为有了他们的贡献,才使得Apache Doris有如此快的发展,未来Apache Doris也会回馈所有用户以数据分析体验。”

 

  2022,更快、更实时、更统一

 

  在主论坛的主题分享环节,来自SelectDB、百度、美团、字节跳动等多家企业的社区核心贡献者带来了Apache Doris在性能和功能上的优化创新及取得的成效。

 

  性能方面,SelectDB CTO衣国垒介绍到:“通过向量化执行、内存管理优化、自适应字典计算、Global Runtime Filter等一系列查询优化手段,Apache Doris在单表场景斩获Clickbench数据库性能榜单前三的优异成绩,多表关联场景在SSB和TPC-H等标准测试数据集有数倍乃至数十倍的性能提升,跻身数据库性能前列!”

 

  功能方面,来自SelectDB、美团、字节跳动、百度的多位技术专家介绍了全新Unqiue Key主键模型、全新查询优化器、数据湖联邦分析、半结构化数据分析以及多表物化视图等核心特性的研发进展,同时分享了社区在版本发布和代码质量保障方面的思考。这一系列工作使得Apache Doris在实时性、稳定性和易用性等多方面得到进化,同时也具备了更多数据分析场景的适应性,开始迈入实时统一的数据分析时代。

 

  来自各行业用户真实的声音

 

  社区用户方面,在过去一年,Apache Doris也收获到了更多开发者的认可,有越来越多的企业基于Apache Doris构建全新的数据分析平台架构。

 

  “经过统计,在全球范围内Apache Doris的企业用户规模已经超过了1000家、被广泛应用于数十个行业中,成为受人们认可的OLAP数据库之一!”陈明雨补充道,“同时Apache Doris社区已经聚集了数万人的用户社群,社区成立了一只专职的工程师团队在社群中为所有用户答疑解惑,同时也有许多开发者在社群中交流使用心得和分享实践经验,让更多技术爱好者有了一个自由交流数据库知识和提升技术水平的平台。”

 

  如图片无法显示,请刷新页面

 

  在此次峰会的行业实践论坛中,美团、京东、小米、腾讯音乐、360、马上消费金融、杭银消金、斗鱼、知乎、韵达、易观、同程数科等行业企业的多名参会专家,纷纷介绍了Apache Doris在企业内部大规模落地应用的实践经验,并深度解读了Apache Doris如何帮助企业实现降本增效。

 

  在纵腾集团的案例分享中,Apache Doris已经助力纵腾集团快速构建起一个全新的流批一体数仓架构,单日实时入库数据量可达上亿规模,同时支持上百个调度任务平稳运行,解决了随数据增长而日益复杂的业务需求。在腾讯音乐的案例分享中,Apache Doris助力腾讯音乐内容数据平台在百万分群圈选场景中实现了近20倍的性能提升,同时在存储和开发维护上降低了40%以上的投入成本。在慧策的案例分享中,通过Apache Doris替代了原有的Clickhouse,不仅很大提升了ETL效率,还很大降低了存储成本、存储空间仅原先40%不到。在美团的案例分享中,Apache Doris已成为美团内部统一的OLAP引擎,支持外卖、买菜、优选等十余业务线,集群规模超百个、总机器规模数千台。在马上消费金融的案例分享中,基于Apache Doris全新的实时数仓架构很大提升了数据时效性,从数据生产至数据应用,整个数据处理链路时延不超过1分钟。在杭银消金的案例分享中,利用Apache Doris 1.2新版本的数据湖分析功能,实现对ES/Hive等多种异构数据源的统一分析,并很大提升了查询性能,降低资源消耗的同时使系统稳定性进一步提升。在斗鱼的案例分享中,Apache Doris解决了过去烟囱式开发和繁重架构带来的难运维问题,并实现标签圈选时间分钟级至秒级的进化,实时标签任务稳定性的同时产出时间也提升了40%。

 

  除以上所摘选内容外,还有更多技术专家把自身真实业务场景的需求与实践沉淀成宝贵的经验,在峰会上分享给所有参会的开发者。

 

  丰富的数据上下游与商业生态

 

  数据生态同样是Apache Doris社区重点建设的方向。在商业与数据生态论坛上,来自Apache DolphinScheduler PMC、Apache Kyuubi、Apache Inlong、Dinky社区、ClouGence等开源社区及企业的多名技术专家为大家带来了数据分析与处理链路的深入思考,并解读了如何结合Apache Doris构建对用户体验更加的数据分析解决方案。

 

  开源项目的成功离不开商业化力量的支持,如何通过企业级特性的增强为客户提供具备差异性价值的服务,以及如何将开源技术和云原生更好地结合、构建具有竞争力和影响力的产品和解决方案,同样是本次峰会的亮点。在商业与数据生态论坛上,来自SelectDB的技术副总裁杨勇强在峰会上介绍了基于Apache Doris内核打造的云原生实时数据仓库SelectDB Cloud,采用完全存算分离的架构设计,是国内实现多云中立、全托管且SaaS化的云数据仓库。

 

  此外百度智能云、腾讯云以及火山引擎等国内一线云厂商分别介绍了基于Apache Doris打造的云数据仓库服务,可以快速助力企业建易用的云上数据分析平台。

 

  全新定位,易用、实时、统一的多模分析型数据库

 

  在本次峰会上,Apache Doris PMC陈明雨还代表社区发布了全新定位,并公布了社区2023年的研发计划。

 

  “如果说过去Apache Doris更多是服务于在线报表场景和Ad-hoc分析的OLAP引擎的话,那么在所有社区和开发者的努力下,当前Apache Doris已经具备了更为广阔的定位,即易用、实时、统一的多模分析型数据库。”陈明雨说道,“这其中的统一,既包含了架构的统一、也包含了业务和数据的统一。用户可以通过Apache Doris构建多种不同场景的数据分析服务、同时支撑在线与离线的业务负载、高吞吐的交互式分析与高并发的点查询;通过一套架构实现湖和仓的统一、在数据湖和多种异构存储之上提供无缝的分析服务;也可通过对日志/文本等半结构化乃至非结构化的多模数据进行统一管理和分析、来满足更多样化数据分析的需求。这是我们希望Apache Doris能够带给用户的价值,不再让用户在多套系统之间权衡,仅通过一个系统解决大部分问题,降低复杂技术栈带来的开发、运维和使用成本,大化提升生产力。”

 

  如图片无法显示,请刷新页面

 

  在2023年,Apache Doris社区将开启更多有意义的工作,全年的研发计划主要会围绕高性能、高性价比、混合负载分析、多模态数据分析、湖仓一体、实时性以及易用性与稳定性等方向展开,将回馈所有用户以更佳的数据分析体验,致力于成为OLAP数据库的新标杆。

 

  至此,Doris Summit 2022社区首届峰会圆满收官!峰会的顺利举行,要特别感谢参与本次峰会分享的40余位技术专家以及10余位议题评审委员会专家,为所有社区用户、开发者、数据库技术从业者以及全体热爱开源的人士带来了一场如此精彩的技术盛宴,同样也要感谢所有参与本次峰会的合作伙伴以及工作人员。

 

  2023年是Apache Doris全新征程的开始,在未来的日子里,Apache Doris必将本着为人们解决数据分析问题的初心,继续砥砺前行。相信在所有社区用户和开发者的帮助下,Apache Doris会在更多的行业中和场景中得到更深度的应用。也期待Apache Doris走向全球,为更多不同地域的人解决数据分析难题,代表中国开源力量在舞台闪耀!

 

  #关于Doris Summit

 

  Doris Summit是Apache Doris社区年度技术盛会,大会汇聚世界各地Apache Doris社区成员及实时分析数据库领域的专家。社区通过大会公布新动态以及年度Roadmap,集结国内外各大厂商分享基于Doris的实践经验及行业未来发展趋势,更有领域内大咖与大家在线互动交流。这是社区用户及相关领域从业者不可多得的技术盛会,不容错过,诚邀您来参加!

 

  #关于SelectDB

 

  SelectDB是Doris Summit Asia 2022的组织者,也是Apache Doris背后的商业化公司。致力于为Apache Doris社区提供一个由全职工程师、产品经理和支持工程师组成的团队,繁荣开源社区生态,打造实时分析型数据库领域的国际工业界标准。基于Apache Doris研发的新一代云原生实时数仓SelectDB,运行于多家云上,为用户和客户提供开箱即用的能力。

推荐 打印 | 录入:admin | 阅读:
本文评论   
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款