你好,游客 登录 注册 发布搜索
背景:
阅读新闻

[PDF]基于Hadoop的海量能耗数据挖掘

[日期:2015-04-16] 来源:中国知网  作者: 刘鹏 [字体: ]

基于Hadoop的海量能耗数据挖掘

北京邮电大学  刘鹏

本文结合数据仓库以及Hadoop集群构建了一个海量能耗数据分析系统原型,对能耗数据进行多维度的分析,并实现了基于Hadoop的数据挖掘算法对海量能耗数据进行挖掘。本文主要工作如下: 设计并实现了基于Oracle数据仓库和Hadoop的混合能耗分析系统。使用Oracle存储业务数据并进行OLAP分析,使用Sqoop工具进行Oracle和HDFS之间的数据交换,并利用Hadoop对大规模数据进行数据挖掘分析。系统采用Struts2框架来实现,并使用ExtJS进行前台界面展示。 基于Hadoop实现了批量BP神经网络算法。该算法可同时对大量的神经网络进行训练,充分利用Hadoop的大数据处理能力,在系统闲暇时根据能耗历史数据基于一定的规则将用于预测的神经网络算法训练好并将网络结构存储在Oracle数据库中,当用户进行实际预测时可以省去网络训练的过程,提高了实时性。 实现了基于Hadoop的x-means算法。


基于Hadoop的海量能耗数据挖掘

 

 

收藏 推荐 打印 | 录入:574107552 | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款