你好,游客 登录 注册 发布搜索
rss订阅 手机访问 
云计算技术
值得关注的几个云计算开源项目
本文介绍了10gen、Eucalyptus和Enomalism 三个云计算平台。
日期:01/24/2009 02:51:08 作者:aneit 点击:3043
【视频】Google技术专家谈如何学习云计算
对开发人员来讲,像学生,了解云计算这种技术,最难的是学这个不是技术本身而是转换思路。具体表现在像原来不知道要处理那么多的数据,改变理念,你可以处理很多很多的数据,智慧是藏在很多的数据里面的,一定要规模够了,才能出来好的结果,数据不够model再好结果不会好,这是思考方式决定的。
日期:01/24/2009 02:41:16 作者: 点击:6674
Anchorage:微软同步工具SyncToy云计算版
  在刚刚结束的洛杉矶专业开发者大会上,微软推出了自己的云计算版本操作系统Windows Azure,当然也为它开放升级了很多应用,日前,微软SQL服务实验室表示正在开发同步备份工具SyncToy的云计算版本,代号为“Anchorage”。
日期:01/24/2009 02:35:31 作者:萧萧 点击:3042
开源代码及Linux在云计算中的应用
 云计算和存储将物理资源(例如处理器和存储)转换成 Internet 上可伸缩、可共享的资源(“作为服务”的计算和存储)。虽然虚拟化不是一个新概念,但是通过服务器虚拟化实现的物理系统共享,的确能使资源的可伸缩性大得多,效率也高得多。云计算使用户可以访问大规模计算和存储资源,而且他们不必知道那些资源的位置及其是如何配置的。正如您预期的一样,Linuxreg;在此扮演着...
日期:01/24/2009 02:31:38 作者: 点击:3316
云计算实战:Amazon EC2之初体验
 由于项目的需要,这几个月都在使用Amazon的EC2。这个东西对于国内的用户来说比较陌生,但是听国外的同事说,这在美国可是相当流行。这里简单介绍一下,大家有兴趣也可以试试。
日期:01/24/2009 01:44:43 作者:Kiki zhao 点击:8118
Hadoop 0.18中文技术文档
日期:01/19/2009 01:55:04 作者: 点击:1176
Nutch中MapReduce的分析
Nutch是最早用MapReduce的项目 (Hadoop其实原来是Nutch的一部分),Nutch的plugin机制吸取了eclipse的plugin设计思路。在Nutch中 MapReduce编程方式占据了其核心的结构大部分。从插入url列表(Inject),生成抓取列表(Generate),抓取内容(Fetch), 分析处理内容(Parse),更新Crawl DB库(Update ),转化链接(Invert Links)一直到建立索引(Index)都是采用MapRe...
日期:01/18/2009 17:59:45 作者:马士华 点击:4733
HBase的概念和性能选项
理解HBase(一个开源的Google的BigTable实际应用)最大的困难是HBase的数据结构概念究竟是什么?首先HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库.另一个不同的是HBase基于列的而不是基于行的模式.
Google's BigTable...
日期:01/18/2009 17:56:40 作者:马士华 点击:6489
Pig语言
Pig是yahoo捐献给apache的一个项目,目前还在Apache孵化器中,但是基本功能已经可用了.今天我就给大家介绍这个好用的Pig.Pig是SQL-like语言,是在MapReduce上构建的一种高级查询语言,把一些运算编译进MapReduce模型的Map和Reduce中,并且用户可以定义自己的功能.Yahoo网格运算部门开发的又一个克隆Google的项目:Sawzall.
日期:01/18/2009 17:48:53 作者:马士华 点击:9304
函数式编程范式-MapReduce
一个月前有人问我什么是函数式编程?虽然熟悉一些函数式编程的概念,那本半年前从托人从加拿大买的The Little Schemer也就看了前面几章,那天就是回答不了究竟什么是函数式编程。函数式编程对于熟悉过程式程序设计的程序员来说是一个陌生的领域,闭包(closure),延续(continuation),和柯里化(currying)等概念对于过程式程序设计的程序员是个噩梦。
日期:01/18/2009 17:47:27 作者:马士华 点击:7330
Hadoop中的子项目Zookeeper能做什么
很高兴得看到Yahoo捐献的Zookeeper已经从sourceforge迁移到Apache,并成为Hadoop的子项目.那么ZooKeeper是什么呢?Zookeeper是Google的Chubby一个开源的实现.是高有效和可靠的协同工作系统.Zookeeper能够用来leader选举,配置信息维护等.在一个分布式的环境中,我们需要一个Master实例或存储一些配置信息,确保文件写入的一致性等.Zookeeper能够保证如下3点: Watches are orde...
日期:01/18/2009 17:41:32 作者:马士华 点击:11635
雅虎架构师谈MapReduce和Hadoop的未来
Hadoop是一个开源的分布式计算平台,它主要由MapReduce的算法执行和一个分布式的文件系统等两部分组成。InfoQ曾经刊登过一篇Jeremy Zawodny写的有关Hadoop速度提升的综述性文章。这次InfoQ的资深Java编辑Scott Delap和Hadoop项目负责人Doug Cutting进行了一次专访。在这次InfoQ的专访中,Cutting论述了Hadoop是如何在Yahoo中被使用的,以及Hadoop发展中遇到的挑战和Hadoop项...
日期:01/18/2009 17:26:46 作者:Scott Delap译者 Terry 点击:4859
Hadoop集群搭建
本文描述了如何安装、配置和管理有实际意义的Hadoop集群,其规模可从几个节点的小集群到几千个节点的超大集群。如果你希望在单机上安装Hadoop玩玩,从这里能找到相关细节。先决条件 确保在你集群中的每个节点上都安装了所有必需软件。 获取Hadoop软件包。 安装Hadoop集群通常要将安装软件解压到集群内的所有机器上。 通...
日期:01/18/2009 17:25:54 作者: 点击:7765
Hadoop快速入门
这篇文档的目的是帮助你快速完成单机上的Hadoop安装与使用以便你对Hadoop分布式文件系统(HDFS)和Map-Reduce框架有所体会,比如在HDFS上运行示例程序或简单作业等。先决条件 支持平台 GNU/Linux是产品开发和运行的平台。 Hadoop已在有2000个节点的GNU/Linux主机组成的集群系统上得到验证。 Win32平台是作为开发平台支持的。由于分布式操作尚未在Win32...
日期:01/18/2009 17:15:37 作者: 点击:5377
Hadoop Map-Reduce教程
目的
这篇教程从用户的角度出发,全面地介绍了Hadoop Map-Reduce框架的各个方面。请先确认Hadoop被正确安装、配置和正常运行中。更多信息见: Hadoop快速入门对初次使用者。 Hadoop集群搭建对大规模分布式集群。 Hadoop Map-Reduce是一个使用简易的软件框架,基于它写出来的应用程序能够运行在 由上千个商用机器组成的大型...
日期:01/18/2009 17:10:39 作者: 点击:32467