你好,游客 登录 注册 发布搜索
背景:
阅读新闻

大数据的另一面:从南水北调东线工程看物联网

[日期:2013-11-07] 来源:CSDN  作者: [字体: ]

互联网往往以庞大的用户基数、天量的数据积累、深度的数据挖掘与分析成为大数据应用的急先锋。而物联网,作为大数据应用的另一面,随着智能物联网的逐步落地,搭载云平台之后的力量也不可小视,尤其是在智慧城市和智慧行业应用建设的背景之下逐步显现应用价值。

CSDN云计算的读者对基于互联网实现大数据应用的案例不陌生,从Facebook、Netflix到Pinterest,从阿里、百度、腾讯到京东、360、小米。但物联网,却鲜有涉及。日前,有机会就相关问题请教中国科学院计算技术研究所计算机软件及理论博士,同方物联网应用产业本部软件开发部总监王丰锦,收获颇丰。

以传感器为基础的物联网特性分析

王丰锦,一直担任物联网数据资源体系与数据业务服务平台规划与设计的研发工作。在他看来,智慧城市的城市运行体征大数据中心有如下特征:

作为基础平台和神经中枢,城市运行体征大数据中心强调软硬结合,将来自不同部门和行业的数据(如行业数据、政府部门和公共基础数据等)进行收集与整合,然后依据智慧城市指标体系进行规范和关联,最终支持不同应用载体进行信息查询、分析和挖掘。这其中,会应用到多种创新技术,如云计算、物联网信息采集平台、GIS地理公共服务分析展示平台、大数据统计分析平台等。而从行业应用来看,也可分为智慧城管、智慧政务、智慧民生、智慧交通等行业体系。

正是由于涵盖范围广,所以智慧行业应用往往从点开始,逐步延伸。比如同方已经通水试运行成功的南水北调东线山东段调度运行管理工程项目,充分体现了这一点。项目全称为“南水北调东线一期工程山东段调度运行管理系统”,从技术上看,覆盖了信息采集、数据整合加工、数据查询与实时监测、数据资源体系管理等大数据应用全过程,以及结合GIS地理公共服务的数据展示与分析。

具体来看:南水北调东线山东段94个闸泵站/监测点实时运行,每5分钟采集一次水位、水情、水质、流量、闸门开度和基础运行状态的基础信息,每天数据量大概在50万条左右,1GB的容量,一年将近1.5亿条,1TB左右的监测数据。这就要求技术架构可以充分应对“庞大的数据实时收集,大规模存储,实现快速数据查询,历史数据挖掘和分析评估,为水量调度和综合会商提供充分的信息支持服务”等需求。

作为典型的水利项目,南水北调的物联网特性很明显。 不同于互联网的网页数据抓取、存储和分析,其监测数据都来自于水位计、流量计、水质监测设备、位移传感器、工程安全传感器等各种物联网传感器设备。物联网 传感器获取的监测数据通过PLC自动化控制设备或者直接网络连接实现定时的数据采集、信息转换和信息上传。所获得的数据也非常庞大,不亚于互联网所产生的 数据。

落到技术上,由于南水北调调度系统是以业务系统为主,分析辅助决策为辅,所以数据库方面仍是以关系数据存储为主,但为了适应大规模数据量(每天50万条)的日志分析,也会采取混合数据库(SQL+NoSQL)的方式,通过Hadoop(HBase),对监测日志进行实时查询和分析。 在王丰锦看来:“数据采集和存储只是第一步,通过同方的大数据资源体系,以指标体系为基础对原始数据进行资源化(将不标准、不规范的传感数据标准化、规范 化),将数据本身之间的关联关系和内部联系以元数据方式进行描述,便于后续的业务系统应用和数据查询和分析。这才是同方最独特的优势。”

南水北调物联网项目技术实践

从5月25号到6月25号的试通水运行成功和10月份22日开始的正式通水试运行情况来看,项目进展顺利。长江水从下游江苏省扬州的江都水利枢纽以每秒500立方米的抽水速度北上,送至鲁北、胶东地区,并具备向河北、天津应急供水的能力,水量调度运行管理系统运行正常,初步实现了预期的信息系统监测与管理、自动化数据采集和实时监控等功能。下一步研发目标,王丰锦表示,将集中在“大数据可视化、信息采集平台优化、历史数据分析与预测等方面。”

大数据可视化分析,是通过分析和挖掘庞大的历史数据量背后的关系和趋势,以可视化的方式为管理层呈现数据价值的最好工具,将会应用在项目的日常水量调度、水质分析、应急调度、工程管理等方面。

完善信息采集平台方面,目前已经实现了通过物联网将各种各样的传感器的信息进行实时采集,但未来还需要进一步扩展,包括增加支持的设备类型和通信协议标准。除此以外,由于物联网行业属性明显,如水利、交通等,需要将行业知识和技术紧密结合。

数据需求预测方面,南水北调等调水项目不同于其他项目,更重视历史数据的积累,基于历史数据的分析和预测作用极为明显。所以如何访问关系数据库中当前的实时数据进行实时查询和展现,以及如何将存储在不同地方的大量历史数据转换为可以分析的数据,并通过同一界面完成统一的查询分析和结果展示,需要进一步结合用户的调度管理和综合分析的要求进行研发。

“最初我们也认为水文数据既然是关系型,放到关系型数据库中就可以,但真正到了实践,才发现关系型数据库的弊病。比如,要对最近一个月内的数据进行分析是可以的,但是如果要增加上近5年的历史数据,关系型数据库基本上就跑不动了,要非常漫长的搜索和分析过程。所以,我们尝试应用了HBase数据存储方式来支持海量数据的存储和分析。”

研发上,同方也采用了“开源优化+自主研发”之路。比如数据可视化,就是通过开源GIS平台+自主研发的图表工具的方式实现了基于GIS的闸站监控数据的展现和分析。

项目并非一帆风顺。王丰锦对CSDN云计算表示:最难之处在于对于历史数据的清洗和转化,非常的耗时耗力

  • 首先要对数据进行理解,判断原始数据的基础情况;
  • 其次要转换,将结构化或非结构化的数据转成为符合统一标准的规范数据;
  • 第三,数据口径、数据含义、数据质量不一致的情况时有出现,甚至有些是纸质数据,使用了不同手段来描述,所以要对原始数据进行数据质量审核和数据一致性校验,将不一致和重复的数据筛选出来,形成真实、有效和可用的基础数据。
  • 最后通过同方独有的元数据指标体系,将整合后的基础数据进行梳理和时间序列化,保证不同来源的业务数据有统一的业务分析标准,从而支持其上的数据综合查询、可视化展示和分析预测等“数据价值发现之旅”。

在南水北调项目之外,同方在实施的重庆交通路况研判系统项目也 是物联网应用的典型案例。通过利用测速仪、车检器、视频监控器等传感器设备对城市主干道和高速公路的路况、车辆通行情况进行实时监测,并在信息汇总基础上 结合道路分布情况再进行路况的综合研判与分析,形成对当前各个路段的交通拥堵情况、车辆运行情况的分析结果,为交委领导提供决策支持,并可用于支持用户的 交通疏导、路线规划和应急措施等管理工作。

大数据是因,分析才是果

大数据只是因,不是果。这一观点已经被产产业所认知。王丰锦说:“用户只需要告诉他们,大数据可以为他们带来什么价值?比如南水北调的项目,我们可以帮助企业进行水位、流量、水质等监测与分析,并可结合以往历史数据辅助用户进行水量调度决策,比如冬季怎么调水,汛情怎么调水,未来如何实现水质管理。再如重庆交通路况研判项目,可以通过对路况、车况的大数据分析与研判将可实现降低20-30%的城市交通拥堵量,这些才是足以打动用户进行大数据应用的理由。”

未 来,对同方而言,物联网信息采集平台和上层的智慧行业应用是业务核心,但是下层传感器、视频监控,中间的云计算基础设施平台,甚至上层的专业业务系统,都 需要合作伙伴加入。“同方希望做一个智慧城市大数据应用平台,实现与各层级合作伙伴在基于城市运行体征大数据中心的智慧城市应用的合作,像粘合剂和强化剂 一样,将合作伙伴的技术优势和同方的平台优势整合和发挥出来,帮助提高现代城市的规划、建设和管理水平,为智慧城市建设提供坚实的大数据平台和智慧行业应用。”

收藏 推荐 打印 | 录入:574107552 | 阅读:
相关新闻      
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款