你好,游客 登录 注册 发布搜索
背景:
阅读新闻

云计算是挖掘大数据价值的核心基础

[日期:2014-04-28] 来源:IT专家网  作者:杜宇健 [字体: ]

  在由D1Net举办的第七届CCS云计算高峰论坛上,中国移动通信有限公司研究院云计算系统部资深研究员杜宇健分享了《中国移动云计算技术和研究和应用》。

  杜宇健表示,标准和开源对云计算的发展非常重要,中国移动已经依托自主研发和开源力量,以开放的姿态打造云计算核心能力,提供了包括详单云、政务云、教育云等服务。

  杜宇健还指出,云计算是挖掘大数据价值的核心基础,能够克服传统平台固有的非结构化数据处理效率低,硬件昂贵且兼容性和扩展性差等缺陷。

  中国移动通信有限公司研究院云计算系统部资深研究员杜宇健

  以下是杜宇健的分享:

  云计算趋势:标准与开源

  首先来看整个云计算的整体趋势,云计算已经发展接近十年的时间了,它是一个新的技术了。

  从我们大家都比较熟悉的技术方向Gartner曲线,云计算已经进入非常稳定的增长期,我们这里可以看到一些统计数据,公众数据达到5000亿美元的规模。未来若干年保持持续增长的态势。从云服务的角度来讲,世界上的云服务发展来说已经进入了一个成熟期,大家比较熟悉的AWF、Google还有 salesforce,他们成为业界的标杆,他们的标准达到了实施标准。

  我们国内近几年发展十分迅速,包括运营商还有一些互联网厂商来说,也是纷纷接触各类的运营服务,当然这以IS为主。

  云计算发展有几个主要的特点。首先一个看标准化,其实电信运营商来说历来比较重视标准化的,这是我们互联网的特征。

  目前云计算标准参与组织非常多,国外和国际的都有,但是可以说首先第一个是云计算标准的层次上还只是目前做IS的层面,而且这些IS层面的标准成果在应用当中也遇到一些问题,号召力的问题,大部分软件开发上,甚至云无父无的提供商遵从实施标准的状态。

  但是从我们认为来说,云计算标准化的工作还是应当大力去推广的。一个可以形成一个产业的合力,另一方面简单的说,中国移动既是云服务提供者,某些领域我们是用户,从一个用户的角度上来看,我们会很关注我的业务和我的数据在不同的领域之间的迁移问题。这些资源互联互通,还有资源调度,不同类型云资源之间调度的问题,这些都是需要通过标准化方式去推动的。

  第二个是开源,是云计算领域非常中坚的力量,云计算开源的社区非常活跃,包括各个方面,有IS层面,PaaS层面,非常活跃的情况,而且他们之间开源的项目也得到了比较广泛的应用,有很多开源化的公司。最后我们提云计算的商业应用上,我们成熟的商业产品还不是特别的的,这些成熟商业产品主要聚焦在IS层面,像很多分布式的系统,一些基础设备。我们看到比较好的云计算服务商,云解决服务商也好大部分是这样去做的,在我们运营过程中发现问题及时到研发服务形成一个迭代优化的闭环。总体上我们认为云计算发展特点,一个是云计算标准缺乏号召力,但是这块我们去尝试推广去做。第二个我们开源项目已经成为云计算产业发展中坚的力量。最后一点我们自己应用云计算实施的时候,我们应当去借鉴研发与运营一体化的这种模式。

  云计算对运营商的意义

  首先从移动运营商来看,我们说现在是移动互联网的时代,这里统计的几个数据可以跟大家分享一下,一个是2013年这样一个数据,我们手机的网民达到4.6亿,今年马上公布新的数据,4G来了之后,包括数量,包括质量方面都会有比较大的提升。第一图我们可以看到,现在互联网用户的数量已经大大超过固网的数量,第二看到我们流量方面,移动的流量方面也是不断的在提升。第三张图看到大家现在用手机,基本上打电话、发短信的需求已经落到其次的位置上,已经是二八里面的20%,大部分用手机做上网、玩游戏、看视频、听音乐,这是我们的主要互联网的应用。因此在这样的背景之下,可以看到他们对于我们运营商后台的存储和计算提出了新的要求。

  其实往前若干年,比如说像2010年左右,其实我们运营商可以比较很自信的站在这里跟大家说,我们的IT架构是业界最领先的。我们有信用非常高的几百T的设备,IOBS有多少,前端有小型机,几百万GPMC,我们有一流的数据库,有一流的系统集成商,所以我们的IT架构是非常领先的IT架构,很好支撑我们自己业务的发展。但是随着云计算的发展,还有我们提出大数据时代到来,整个运营商IT架构实际上是遇到了一些比较大的问题,遇到一些麻烦。举一个小小的例子,现在我们在很多分析场景之下,用传统的架构无法做到全样的分析,只是抽样的分析。

云计算

  因此在这样的情况之下,作为运营商来说,作为中国移动也很早开始这方面的变革和探索,我们积极在寻求去把一些先进技术引入进来,去做这样的一些事情。但是受限于一些问题,比如遗留系统涉及到迁移割接的问题,运营开发人员适应性的问题。这些问题导致我们IT运营商整个架构业界是略显滞后的,但是我们要积极做这方面的变革,我们在积极探讨从传统的小型机到数据库,我们硬件集群去做,软件方面做分布式的数据库,一些便携架构处理平台做我们的优化方案,这是我们运营商在积极思索的这样一些事情。

  运营商如何切入云计算领域

  实际上电信运营商有它自己优势的,我们在去考虑做云计算,或者是大数据也好应该充分发挥我们的一些优势,一个很明显的优势是资源的优势,我们有遍布全国的数据中心,还有网络资源。另一方面第二优势我想谈一谈服务的优势,运营商致力于服务一种上亿规模的用户,我们有非常丰富的服务经验和体系的运营经验,我们的BOOS系统,CRM系统在整个业界是比较领先的。

  第三方面是有一个产业合作方面的优势,运营商在传统产业链里面还是跟各方有比较长期的合作关系。所以我们可以在云计算领域合作推动这个事情。当然移动运营商有它的一些品牌方面的优势,可以更加被公众所接受和信任。以上这些优势可以看出来,运营商适合于提供一种大体量的,规模庞大的,具有这种基础服务特征的服务,所以这里面我们也提了一点,刚才也提到了,这个运营商来说,现在大部分很多都从IS层面去切入,我们去提供云存储,云主机这样基础的服务,来去打造这样一个基础化的公共设施,在这个基础之上,我想我们项目的政企客户,大专院校,甚至个人都可以在上面构建自己的运营服务,这是我们运营商在云计算领域发力比较重要的切入点。

  第二个切入点我想会涉及到大数据的问题,运营商管道化,现在说智能管道,这里面大家都会体会到运营商管道的特征,或者我们从另一方面考虑管道的优势,在管道这里面我们实际上是可以去有所谓数据的“集散地”这样一个问题。我们通过DPI的特征把大量数据保存下来,这些数据是金矿,这方面我们大数据的挖掘充分发挥商业价值。在这个领域我们运营商来说,有这么几个切入点。一个是来去改善用户体验,这一块主要是通过我们一些知识库,还有语音搜索技术,更好的去为用户服务,去智能的提供服务,这是前端。

  但是我个人更重要看准后端的切入点,一个对市场决策方面,刚才提到有用户的业务行为数据,一些访问特征、消费行为,基于这样的数据我们可以去构建,去应用“爬虫”技术,海量的存储技术、分析技术,我们对它进行分析,给用户打标签,助力我们的市场营销以及市场决策行为。 第三点是优化自己网络的服务质量。这块主要是通过我们的信用数据进行关联,使整个运营商提供更加油脂的服务,这是我们第二个重要的切入点,从大数据领域去切入,去提升我们企业真正的核心竞争力。 前面我想跟大家分享的运营商怎么看云计算,运营商的优势跟切入点。

  中国移动的云计算举措

  首先是4G,我们已经发了4G的牌照,我想在座的很多人已经用了起来,其实他也是类似提供固网的体验,而且现在4G上来之后资费也是大幅下降。我们业界统计4G相比3G单位流量资费下降几十倍这么一个量级。所以它会极大的刺激人们这样一个信息消费的需求,由此也会更加推动运营商构建云计算的平台去支撑。中国移动来说,我们强调云管端的模式,大家比较常见的模式之下,我们有两个举措,一个是公众服务云,刚才提到重要的切入点之一,面向政企客户我们提供的在南方基地构建了公众云服务,提供云机组,云主机的服务,面向个人我们也有个人的服务,同时面向电子政务,还有一些教育,跟政府的合作我们也是开展比较紧密的合作。

云计算

  第二个切入点是私有云,我们从集团层面也好,从各个省层面也好,目前在大力开展的一个工作就是各级私有云的建设,还有我们的大数据平台的构建。 另一方面中国移动对于云计算研发方面,我们也是比较重视的。我本人来自云计算系统部的,我们属于研究院下面一个部所。这个部所有接近100人的规模,主要负责中国移动发展战略,基础规范的制定,还有自主研发的产品。今年我们就会专门成立一个苏州云计算研发中心,这个规模将会是3000人以上的规模。在苏州研发中心成立之后,我们可以在产品的一些架构设计研发方面有质的提高;另一方面整个研发体系之下,我们进一步探索研发如何与前端业务运营进行紧密的结合。我们可能选择某一些业务尝试研发运营一体化的模式来进行尝试。这是我们在自主研发方面今年很重要的一个举措。 另外自主研发这方面大家会比较熟悉的,就是我们的“大云”计划,“大云”是我们中国移动自主研发的一个计划,这个起步是比较早,2007年起步,到今年也有将近7个年头了。基本上在2013年12月初的时候,移动互联网大会上我们发布了“大云”2.5的版本。我们可以看到“大云”基本上形成了一个覆盖 IF、PaaS层面比较完整的产品体系。第一条产品线IS产品线,我们包括PC、EC,这里面是虚拟化的管理软件,下面有一些存储站,上面还有BC和 EC。BC-oHest是类S3的对象存储,这里面非常适合于存储海量非结构化的数据,我们在南方用了300个节点去做,我们在里面先做了一些对象,做 4、5亿存储的测试,我们性能和容量是相当不错的。对象存储来说现在数量级是非常庞大的,亚马逊S3已经是接近4万亿的规模了,但是它是一个多体系的架构。还有弹性块存储,EBS,这里面是对前面的虚机提供实体化存储空间。 第二个产品是PaaS,我们基于BSP的处理框架和数据化工具级等等。PaaS产品发展比较好的是分析型的,但是交易型PaaS是世界性难题,我们一个产品RDB展开初步摸索和尝试,因为现在分布式事务所,包括在分布表的情况之下去做生产改查是很难的题目,很容易导致不一致的问题,这一块我们先走一步,我们也积极做研究的尝试。当然后面还有我们集群管理软件做集群的管理、故障,这是我们自主研发体系。这个产品体系也是在我们公司内部得到比较广泛的应用。

  我这里还想强调的是中国移动,在整个云计算的研发与应用过程中,是非常重视跟产业各方进行配合合作的。一个是有开源的合作,开源在云计算无论研发和合作是非常重要的平台,我们研发会注重借鉴这个平台,另一方面我们把一些成果积极布置下去。另外我们跟商业化的软件非常注重跟他们去配合,比如说我们也是跟SAP。SAP的性能分析数据库性能非常出色的,除了贵一点。但这块我们探讨比较流行混搭的模式,跟我们的体系进行混搭起来,一个平台是容量优化,处理大规模的变形化的一些处理。HANA是性能方面的优化,把实时率要求高的数据放到这里面去做,这样混搭架构体系之下我们积极做一些验证和产品的尝试,未来将会在集中化的数据仓库体系之下有一个广泛的应用。

  开源方面我想多提一点,我们这里面建立了自己的开源社区。其实驱动力也是比较明显的,我们现在各个省公司,包括集团层面都建自己大数据平台,这一块面临非常多的选择,有很多版本,这些版本应用在现有的招标模式之下,一个项目一个项目建立起来的话,非常麻烦的一个数据模式,给我们后续省公司,以及省公司内部分享和运营带来很大的障碍和促进。这里我们考虑充分联合产业的力量去推一个适合我们运营商的版本,这个开源社区我们去年年底的时候已经正式发布了,这里有一个链接,大家可以上去访问。我们主要团结运营商和科研单位的力量去推动这样开源版本的建设。

  讲完了开源以后再讲讲标准化。其实标准化这块我们中国移动也是很积极的态度去参与,去推动的。除了标准化也包括可信云的计划,可信云我们也是很积极参与的单位之一。标准化这里我刚才提到了,我们这里目前有两个主要在做的IS的标准化,咱们国家来说,我们重点参与了SOA云计算标准工作组,里面对于弹性计算和对象存储这两个最重要的标准化工作的制定。

  我们产品研发过程中也会遵循这样的国家标准,而且会积极参与标准相关的一些测试的制定和具体的测试工作。我们要重复一下,标准化的工作我们还是需要去产业各方合作,共同去推动这样一个情况。 前面讲了中国移动在总体的战略,自主研发方面的一些举措,下面结合大云的应用谈具体的案例。产品线应用在移动的内部包括外部做比较广泛的应用,比如大数据的分析,资源池的建设还有对外教育的支持上。一个是我们的公众服务云,公众服务云这里主要运用到核心产品,刚才提到BCEC和BC-oNest提供一些服务,目前我们在南方基地已经部署了1000个物理服务器的节点和规模,目前处在试商用的阶段。

云计算

  下一步我们想在这个基础之上还进一步丰富在IS层面的一个服务,甚至跟厂商合作起来,我们会进行整合性的服务。我们客观上也必须承认,我们的服务确实处于刚起步,跟其他产品还是有一些差距的。 第二个层面想举比较突出的运营商做的事情,就是大数据领域。大数据领域我们主要的切入点是几点,一个是ETL,ETL是从生产库里面数据调到分析库进行分析,传统我们是通过小型机ETL工具去实现,传统我们是 ELT,到数据库再去操作,给主库压力非常大。现在很主要我们在中间建立一个集群,真正实现ETL中间的转化,然后加载到仓库,无论从性能还是减轻组合压力方面都有非常明显的效果。

  第二是帐详单云,我们很大的是各自的通信帐单,一般的量级中等省份一千有几亿条规模的量级,上面我们主要的动作是查询工作,它就非常适合用帐祥单查询,很多省份在这样做。第三个是互联网内容分析平台,这个我们把上网数据采集下来,抓取一下看看到底访问是什么类型的业务数据,这里面一个是查询的技术,一个是日志存储的技术,这里面也是运用我们的分析能力。这是我们运营商资源池跟大数据方面的典型应用。

  最后谈一谈我们在政府方面政务云的合作。各个地方对于政务电子化,云化办公还是推动比较快速的,包括我们参与了电子政务标准化的编制工作。目前我们在福建、天津、扬州这样的地方做了一些,这主要是跟“大云”,BC、EC相关的,其实跟中国移动合作的电子化远远不止这三个点。帮他们构建一个IS资源池,他们合理快速的去部署上线他们政务云的应用。

  还有一个比较突出的是我们跟教育部的合作,合作建设国家数据教育云平台,主要通过教育的公平化、均衡化和现代化。在这个项目里面我们也是提供底层IS的平台资源,提供一个云存储,云主机的能力,之上支撑教育开发的应用。目前教育云上线接近一年多的时间,目前起到比较好的社会效益。

  最后去展望一下,我们希望能够跟产业链的各方合作,共同推动整个云计算在中国产业的发展。

收藏 推荐 打印 | 录入:Cstor | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款