你好,游客 登录 注册 发布搜索
背景:
阅读新闻

廖晓格:让大数据更实时和可视化

[日期:2014-12-06] 来源:CSDN  作者: [字体: ]

  2014年12月12-14日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中科院计算所与CSDN共同协办的 2014中国大数据技术大会(Big Data Technology Conference 2014,BDTC 2014) 将在北京新云南皇冠假日酒店拉开帷幕。大会为期三天,以推进行业应用中的大数据技术发展为主旨,拟设立“大数据基础设施”、“大数据生态系统”、“大数据技术”、“大数据应用”、“大数据互联网金融技术”、“智能信息处理”等多场主题论坛与行业峰会。由中国计算机学会主办,CCF大数据专家委员会承办,南京大学与复旦大学协办的“2014年第二届CCF大数据学术会议”也将同时召开,并与技术大会共享主题报告。

  本次大会将邀请近100位国外大数据技术领域顶尖专家与一线实践者,深入讨论Hadoop、YARN、Spark、Tez、 HBase、Kafka、OceanBase等开源软件的最新进展,NoSQL/NewSQL、内存计算、流计算和图计算技术的发展趋势,OpenStack生态系统对于大数据计算需求的思考,以及大数据下的可视化、机器学习/深度学习、商业智能、数据分析等的最新业界应用,分享实际生产系统中的技术特色和实践经验。

  携程资深软件工程师廖晓格将在“大数据技术”分论坛带来“让大数据更实时和可视化”的演讲。大数据不仅是数据规模大,而且最好能实时查看和分析。 实时和可视化拉近了大数据与普通用户的距离,更加贴近业务需要。携程在大数据实时和可视化方面做了不少努力,实现了以下目标,廖晓格将在演讲中分享携程在其中的经验和技术:

  通过hbase、storm、spark、yarn等hadoop生态圈整合公司应用(dashboard、clog、ubt、BI),让数据更加实时,更加可视化;

  实时查看整个公司各种指标的变化;

  实时收集、查看全网站所有日志;

  实时统计用户行为数据(PV,性能,转化率等);

  实时反爬虫;

  快速执行adhoc查询。

  廖晓格,携程资深软件工程师

  有6年Hadoop相关应用开发经验,先后在PPTV,eBay,携程参与开发过相应大数据平台相关应用,目前在携程Data Infrastructure team负责大数据平台的运维和开发工作。

  CSDN:你所在的公司,都曾使用过哪些大数据技术?你对这些技术满意的地方和不满意的地方分别有什么?

  廖晓格:我们公司比较重视大数据技术,我们主要使用的技术是Hadoop生态环境的各种开源框架,storm,spark等。满意的地方是他们都是开源的,所以遇到问题的时候总会找到解决方案,而且社区也很活跃, 能够获得很多帮助。同时也会遇到很多bug,需要对使用的框架很了解,才能很好的使用它,幸亏我们有很强大的运维和开发团队支持,不断优化,不断解决问题。

  CSDN:根据你的了解,目前类似的企业中,在数据方面,遇到的最大困难是什么?

  廖晓格:据我了解,每个公司都有很多数据,每天T级或P级的数据,但是大部分都是搞技术的不懂业务,搞业务的不懂技术,这样就不会很快很有效率的利用数据来帮助业务,所以让大数据可视化很重要,业务人员可以很方便的获取他们想要的数据,可以省去很多沟通的成本。

  CSDN:在大数据领域,目前还有哪些技术是你正在观察和研究的,为什么你看好这些技术?

  廖晓格:Storm,Streaming流式计算和Spark是我现在正在观察和研究的,互联网的竞争压力很大,所以很多东西要快,谁比较快就占领了优势,大数据也一样,数据早点出来,业务就可以早点做决策。我们也是不断改进,不断往这个目标前进。

  CSDN:请谈谈你在这次大会上即将分享的话题。

  廖晓格:我分享的是Make big data visualizable and real-time,让大数据更加实时和可视化,携程每天上T的数据都是实时从网站,手机等各种应用端流到服务端,如果没有可视化,根本不知道用户发生什么行为,哪个产品用户更加喜欢。如果计算很慢,我们将会不能给用户很好的反馈,不能及时发现和解决各种应用端遇到的各种问题,这样就不能给用户很好的体验,将会流失大量的用户。我们目标在第一时间为用户提供最优的服务。

  CSDN:哪些听众最应该了解这些话题?你所分享的主题可以帮助听众解决哪些问题?

  廖晓格:对大数据实时和可视化感兴趣的都可以参加一起讨论。

收藏 推荐 打印 | 录入:574107552 | 阅读:
相关新闻       BDTC 携程 大数据 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款