你好,游客 登录 注册 发布搜索
背景:
阅读新闻

云环境下基于二维节点矩阵的分级多表连接

[日期:2014-07-26] 来源:小型微型计算机系统  作者:陶永才 周梦雪 石磊 卫琳 曹仰杰 [字体: ]

云环境下基于二维节点矩阵的分级多表连接

陶永才 周梦雪 石磊 卫琳  曹仰杰

随着"大数据"时代的到来,分布式数据处理得到了广泛的应用和发展.在基于云计算的海量数据处理中,复杂处理要求逐渐增多,数据分析通常需要跨越多个数据集,因此亟需高效的多表连接机制.现有的基于MapReduce的多表连接机制多采用串行级联方式实现多个不同数据集连接,操作灵活但效率不高.本文在分析现有并行连接模型的基础上,提出基于二维节点矩阵的分级多表连接模型TD-HMJ.TD-HMJ在一次Map过程中处理全部连接属性,Reduce过程建立二维节点矩阵实现多组3(或2)表并行连接,并通过多级Reduce过程实现多组间连接.理论分析和实验表明TD-HMJ减少了数据传输量,缩短了多表连接时间,提高了连接效率.  


云环境下基于二维节点矩阵的分级多表连接

收藏 推荐 打印 | 录入:574107552 | 阅读:
相关新闻      
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款