你好,游客 登录 注册 发布搜索
背景:
阅读新闻

[硕士论文]基于HDFS的优化数据冗余策略的研究

[日期:2014-09-26] 来源:CNKI  作者:付园 [字体: ]

基于HDFS的优化数据冗余策略的研究

吉林大学 付园

本文针对HDFS原有冗余机制的不足,在分析现有改进方法的基础上,设计了结合完全备份和改进的RS(Read-Solomon)纠删码两种冗余方法的优化数据冗余策略RIRS(Replication Improved RS)。该策略能够中和上述两种冗余方法的缺陷,有效地整合完全备份的低时延和纠删码冗余可靠性高的优势,并大大地节省存储空间。该策略还为用户提供了备份数以及纠删码冗余度等配置参数,用户可以根据需要进行设置以将系统调整为最佳状态。此外,该策略采用的纠删码算法也是经过实验分析符合HDFS的,具有很高的纠错能力和相对较低的编码时延,提高系统可靠性的同时减少了时延的增加。另外,针对RIRS中副本管理的不足,本文设计了动态副本管理优化模型DRMO(Dynamic Replication Management Optimized),它能根据文件的有效性要求获取最小副本数并动态调节副本数以获取低成本、高效率的存储服务。其次,该模型在考虑每个节点的容量和阻塞率的基础上,设计了一种均衡的副本放置策略,将副本放置到阻塞率最小的数据节点上,以降低访问时延,实现负载均衡。最后,本文在对HDFS的源代码进行分析之后,利用上述策略和模型对源代码进行修改,实现了基于HDFS的优化数据冗余策略。然后在自主搭建的Hadoop云平台上分别对系统的功能和性能进行了测试,其中功能测试结果显示本系统能够实现相应的功能,包括编解码、副本数设置、副本位置选择以及动态副本管理功能,性能测试结果显示RIRS所选择的纠删码具有最佳性能,并且DRMO能够在满足系统有效性要求的基础上减少存储空间,而DRMO的读写性能测试结果虽然与理论结果不是完全一致,但是文中给出了导致这一结果的原因的具体分析。


基于HDFS的优化数据冗余策略的研究

收藏 推荐 打印 | 录入:574107552 | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款