你好,游客 登录 注册 发布搜索
背景:
阅读新闻

[期刊]基于Hadoop的葡萄种植环境数据处理及性能测试

[日期:2015-09-08] 来源:山东农业科学  作者:袁伟 罗丽琼 赵路 张军情 付思芮 鲁绍坤 [字体: ]

基于Hadoop的葡萄种植环境数据处理及性能测试

袁伟 罗丽琼 赵路 张军情 付思芮 鲁绍坤

随着农业大数据时代的来临,传统串行程序及关系数据库已经不能满足对大数据处理的需求,使用分布式平台对数据进行处理逐渐取代传统的数据处理技术。本文使用 Hadoop 分布式平台, 结合非关系型数据库 Hbase 和并行编程模型 MapReduce,对香格里拉地区酿酒葡萄种植区的环境数据的存储和计算进行了设计,测试了 Hbase 对数据的存储性能以及 MapReduce 用于回归分析的性能, 并将 MapReduce 并行计算程序与单机串行程序进行了性能对比。结果表明,通过对 Hbase 进行合适的配置, 数据写入时间随着节点的增加而减少,存储性能具有良好的扩展性; MapReduce 在处理少量数据时效率低于串行程序, 但随着数据量增加,其计算效率明显优于串行程序。


基于Hadoop的葡萄种植环境数据处理及性能测试

 

收藏 推荐 打印 | 录入:574107552 | 阅读:
相关新闻      
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款