你好,游客 登录 注册 发布搜索
背景:
阅读新闻

专家分享Spark现状与未来

[日期:2014-01-04] 来源:CSDN  作者:魏伟 [字体: ]

Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台,立足于内存计算,从多迭代批量处理出发,兼收并蓄数据仓库、流处理和图计算等多种计算范式,是罕见的全能选手。Spark当下已成为Apache基金会的顶级开源项目,拥有着庞大的社区支持,技术也逐渐走向成熟,然而到真正投入企业生产,还需要经过许多优化。以Shark、Spark Streaming及相关项目为主题,Spark Summit邀请到了Yahoo、Adobe、Intel、Amazon、RedHat、Databricks等众多知名企业高管,分享Spark在企业内部的第一手实践。

1.Amazon高级架构师Parviz Deyhim:让Spark飞,用Amazon Elastic MapReduce构建弹性和高可用性的Spark集群

Parviz Deyhim是AWS解决方案架构师。Parviz现在为许多AWS的客户构建可扩展,高可用的和安全的基础架构。在此之前Parviz花了很多年的时间在CDN行业,帮助客户发布他们的内容。在此次Spark峰会上Parviz主要介绍了Spark在Amazon EMR上的一些信息。

2.WANdisco 大数据工程总监Konstantin Boudnik:Spark集成到企业大数据堆栈的成功和挑战

Konstantin Boudnik是WANdisco 大数据工程总监,负责提供企业级NonStop服务器的Hadoop解决方案,ASF的Hadoop、MRUnit提交者,ASF Bigtop的合著者,Spark/Shark贡献者。此次Spark峰会上Konstantin Boudnik介绍了Spark集成到企业大数据堆栈以及挑战。 

3. Adobe系统技术实验室主要科学家Jim Donahue:Flint发展了Spark

 

Jim Donahue是 Adobe系统技术实验室主要科学家,主要研究方向是云计算、数据库和企业系统,此次峰会上Jim Donahue主要从架构、安装等方面详细介绍了Flint。

4.Red Hat公司高级软件工程师William Benton:为Fedora集成Spark

Red Hat公司高级软件工程师William Benton:专注于大规模分布式计算、并发、编程语言程序分析、编译器和虚拟机实现和逻辑。此次Spark峰会他主要介绍了Fedora集成Spark的动机、用户、开发者、挑战等课题,从几个方面指出Fedora集成Spark是大数据时代的必然趋势。

5.Intel首席工程师Jason Dai:RTAP上Spark技术栈使用情况介绍

Intel首席工程师Jason Dai:Intel工程总监和首席工程师(软件和服务集团),负责先进的大数据技术发展方向——包括与加州大学伯克利分校联合开发Spark 堆栈,基于Hadoop的下一代大数据分析。在此次峰会上他例举现实生活中的三个RTAP用例,说明Spark技术的优势。

6.ClearStory Data创办人Vaibhav Nivargi:利用Spark and Shark快速循环分析不同数据

ClearStory Data创办人Vaibhav Nivargi专注于查询优化、高性能数据处理和分布式系统。他是Aster Data的第一个工程师,开发Aster MapReduce平台的关键部分。他的经验包括优化Linux内核和分布式文件系统。Vaibhav取得了斯坦福大学计算机科学硕士学位,精通分布式系统和机器学习。此次峰会他介绍了Spark在他们公司的实践。

7.Databricks创始人Patrick Wendell:理解Spark应用程序的性能

 

Databricks创始人Patrick Wendell:毕业于加州大学伯克利分校计算机科学系,专注于大规模数据密集型计算。致力于Spark的性能基准测试,同时是spark-perf的合著者。此次峰会他就Spark 深度挖掘、UI概述和测试设备、普通性能和错误等方面做了详细阐述。

8.Cloudera公司高级软件工程师及Hadoop提交者Sandy Ryza:资源管理和Spark在Hadoop上作为最高级数据处理框架

Cloudera公司高级软件工程师及Hadoop提交者Sandy Ryza主要致力于云计算架构Hadoop(MapReduce and YARN)的资源管理。还为大数据集和POC设计机器学习工具,同时建立Monte Carlo simulations 和 NLP pipelines。此次峰会他就Spark的资源管理和未来,以及Spark在YARN上的使用情况做了详细的介绍。

 

9.TupleJump 创始人兼CEO Rohit Rai: TupleJump平台详解

创始人兼CEO:Rohit Rai,专注于移动/嵌入式和IP通信、云技术、大数据和数据分析等。此次Spark峰会他和Satyaprakash(公司CTO)就TupleJump主要是做什么,数据管道、TupleJump平台的发展、优势、及在物联网、广告业的用例做了详细介绍。

10.CloudPhysics首席科学家和联合创始人Xiaojun Liu:数据中心运营管理的群体智慧

CloudPhysics首席科学家和联合创始人Xiaojun Liu:丰富的微体系结构性能建模经验、软件优化多核处理器,系统性能和负载测试经验。强大的CAD / EDA和定时系统工作背景。在这次Spark峰会上他就SaaS操作管理、使用Spark的经验以及Clound Physics下一步的工作做了详细的阐述。

收藏 推荐 打印 | 录入:574107552 | 阅读:
相关新闻      
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款