你好,游客 登录 注册 发布搜索
背景:
阅读新闻

Spark现状与未来

[日期:2013-12-27] 来源:CSDN  作者: [字体: ]

Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台,立足于内存计算,从多迭代批量处理出发,兼收并蓄数据仓库、流处理和图计算等多种计算范式,是罕见的全能选手。Spark当下已成为Apache基金会的顶级开源项目,拥有着庞大的社区支持,技术也逐渐走向成熟,然而到真正投入企业生产,还需要经过许多优化。以Shark、Spark Streaming及相关项目为主题,Spark Summit邀请到了Yahoo、Adobe、Intel、Amazon、RedHat、Databricks等众多知名企业高管,分享Spark在企业内部的第一手实践。

1. 加州大学伯克利分校AMP实验室博士Matei Zaharia:Spark的现状和未来

Matei Zaharia是加州大学伯克利分校AMP实验室博士研究生,Databricks公司的联合创始人兼现任CTO。Zaharia致力于于大规模数据密集型计算的系统和算法。研究项目包括:Spark、Shark、Multi-Resource Fairness、MapReduce Scheduling、SNAP Sequence Aligner,这次spark 峰会上他主要就 Spark的现状和未来做了详细的阐述。

2. Databricks公司CEO Ion Stoica:将数据转化为价值

Ion Stoica是UC Berkeley计算机教授,AMPLab共同创始人,弹性P2P协议Chord、集群内存计算框架Spark、集群资源管理平台Mesos都出自他。在Spark峰会上就如何将数据转化为价值做了阐述,主要针对数据量越来越大的问题。Databricks公司的目标就是建立下一代的大数据分析工具,Stoica 从诸多方面分析了Spark的优势。

3. 加州大学伯克利AMP实验室主任Mike Franklin: 

AMP实验室的大数据研究

 

 

 

Mike Franklin,加州大学伯克利AMP实验室主任,在此次Spark峰会上就加州大学AMP实验室大数据研究团队、资源、成果和未来面临的挑战做了详细介绍。

4.Yahoo高级工程师Tim Tully :

集成Spark/Shark到雅虎数据分析平台

 

 

Tim Tully,Yahoo高级工程师,在这次Spark峰会上从Hadoop架构问题出发,反思其中的不足,通过对比雅虎以前的架构,解释雅虎未来的架构模式为什么会集成Spark/Shark,以及未来Shark的硬件条件和物理部署等情况。

5. 前雅虎Hadoop工程副总裁Eric Baldeschwieler:Spark在Hadoop生态系统中

 

Eric Baldeschwieler是前雅虎Hadoop工程的副总裁,Hortonworks的前CTO,一直是 Spark+Hadoop模式的积极呐喊者,此次峰会上他依然不改以往的本色,从雅虎使用Hadoop的历史,以及Spark的今天、优点等方面说明Spark+Hadoop模式是未来的趋势。

6. Sharethrough数据专家Ryan Weald:产品化Spark流媒体

 

Ryan Weald是 Sharethrough的数据专家,专注于 Hadoop、Scala、Scalding、Ruby、Rails、 Machine Learning、SQL等。Ryan Weald的兴趣在于数据和机器学习如何提高人们生活水平以及在医疗保健、驱动业务、广告数据领域的应用。

7.Adatao公司的联合创始人兼CEO Christopher Nguyen:一个由Spark支持,功能齐全的企业大数据解决方案

Christopher Nguyen是Adatao公司的联合创始人兼CEO,此次的演讲主题是数据智能将无处不在,分享了由Spark支持的企业大数据解决方案Adatao Pinsight。Christopher Nguyen在会上重点演示了Adatao Pinsight的性能,以及从网络服务商、售后服务、移动平台等方面阐述了其优点,最后也展示了其强大的扩展性能。

8.Quantifind公司的 Austin Gibbons:分享就是关爱,让数据科学团队使用Laburnum

Austin Gibbons此次Spark峰会重点介绍了 Laburnum的多用户开发环境、架构、简单易用、强大的灵活性、可视化工具,并分享了其最大的优点——资源共享及动态发布Spark查询;还重点阐述Sumac的命令行语法解析器的强大功能。一句话,Laburnum非常简单易用,而且开源。

9.Yahoo高级架构师Andy Feng :在雅虎公司Hadoop和Spark实现统一协作

Andy Feng,Yahoo高级架构师,通过此次Spark峰会重点介绍了雅虎的现状,通过图文并茂的方式介绍了雅虎的主页和个性化订制,以及试点的电子商务和广告业务,重点阐述Hadoop和Spark的统一协作才是Yahoo现在面临诸多挑战的的唯一解决办法。

10.Mesosphere 高级软件工程师 Paco Nathan:SparkElastic Mesos上的企业用例

Mesosphere高级软件工程师 Paco Nathan在此次峰会上详细介绍了怎么使用Mesos、为什么使用Mesos,以及其架构、部署和Mesos的资源等问题

收藏 推荐 打印 | 录入:574107552 | 阅读:
相关新闻      
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款