Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台,立足于内存计算,从多迭代批量处理出发,兼收并蓄数据仓库、流处理和图计算等多种计算范式,是罕见的全能选手。Spark当下已成为Apache基金会的顶级开源项目,拥有着庞大的社区支持,技术也逐渐走向成熟,然而到真正投入企业生产,还需要经过许多优化。以Shark、Spark Streaming及相关项目为主题,Spark Summit邀请到了Yahoo、Adobe、Intel、Amazon、RedHat、Databricks等众多知名企业高管,分享Spark在企业内部的第一手实践。
1. 加州大学伯克利分校AMP实验室博士Matei Zaharia:Spark的现状和未来
Matei Zaharia是加州大学伯克利分校AMP实验室博士研究生,Databricks公司的联合创始人兼现任CTO。Zaharia致力于于大规模数据密集型计算的系统和算法。研究项目包括:Spark、Shark、Multi-Resource Fairness、MapReduce Scheduling、SNAP Sequence Aligner,这次spark 峰会上他主要就 Spark的现状和未来做了详细的阐述。
2. Databricks公司CEO Ion Stoica:将数据转化为价值
Ion Stoica是UC Berkeley计算机教授,AMPLab共同创始人,弹性P2P协议Chord、集群内存计算框架Spark、集群资源管理平台Mesos都出自他。在Spark峰会上就如何将数据转化为价值做了阐述,主要针对数据量越来越大的问题。Databricks公司的目标就是建立下一代的大数据分析工具,Stoica 从诸多方面分析了Spark的优势。
3. 加州大学伯克利AMP实验室主任Mike Franklin:
AMP实验室的大数据研究
Mike Franklin,加州大学伯克利AMP实验室主任,在此次Spark峰会上就加州大学AMP实验室大数据研究团队、资源、成果和未来面临的挑战做了详细介绍。
4.Yahoo高级工程师Tim Tully :
集成Spark/Shark到雅虎数据分析平台
Tim Tully,Yahoo高级工程师,在这次Spark峰会上从Hadoop架构问题出发,反思其中的不足,通过对比雅虎以前的架构,解释雅虎未来的架构模式为什么会集成Spark/Shark,以及未来Shark的硬件条件和物理部署等情况。
5. 前雅虎Hadoop工程副总裁Eric Baldeschwieler:Spark在Hadoop生态系统中
Eric Baldeschwieler是前雅虎Hadoop工程的副总裁,Hortonworks的前CTO,一直是 Spark+Hadoop模式的积极呐喊者,此次峰会上他依然不改以往的本色,从雅虎使用Hadoop的历史,以及Spark的今天、优点等方面说明Spark+Hadoop模式是未来的趋势。
6. Sharethrough数据专家Ryan Weald:产品化Spark流媒体
Ryan Weald是 Sharethrough的数据专家,专注于 Hadoop、Scala、Scalding、Ruby、Rails、 Machine Learning、SQL等。Ryan Weald的兴趣在于数据和机器学习如何提高人们生活水平以及在医疗保健、驱动业务、广告数据领域的应用。
7.Adatao公司的联合创始人兼CEO Christopher Nguyen:一个由Spark支持,功能齐全的企业大数据解决方案
Christopher Nguyen是Adatao公司的联合创始人兼CEO,此次的演讲主题是数据智能将无处不在,分享了由Spark支持的企业大数据解决方案Adatao Pinsight。Christopher Nguyen在会上重点演示了Adatao Pinsight的性能,以及从网络服务商、售后服务、移动平台等方面阐述了其优点,最后也展示了其强大的扩展性能。
8.Quantifind公司的 Austin Gibbons:分享就是关爱,让数据科学团队使用Laburnum
Austin Gibbons此次Spark峰会重点介绍了 Laburnum的多用户开发环境、架构、简单易用、强大的灵活性、可视化工具,并分享了其最大的优点——资源共享及动态发布Spark查询;还重点阐述Sumac的命令行语法解析器的强大功能。一句话,Laburnum非常简单易用,而且开源。
9.Yahoo高级架构师Andy Feng :在雅虎公司Hadoop和Spark实现统一协作
Andy Feng,Yahoo高级架构师,通过此次Spark峰会重点介绍了雅虎的现状,通过图文并茂的方式介绍了雅虎的主页和个性化订制,以及试点的电子商务和广告业务,重点阐述Hadoop和Spark的统一协作才是Yahoo现在面临诸多挑战的的唯一解决办法。
10.Mesosphere 高级软件工程师 Paco Nathan:Spark在Elastic Mesos上的企业用例
Mesosphere高级软件工程师 Paco Nathan在此次峰会上详细介绍了怎么使用Mesos、为什么使用Mesos,以及其架构、部署和Mesos的资源等问题
