你好,游客 登录 注册 发布搜索
背景:
阅读新闻

[硕士论文]基于MapReduce解析二进制文件的设计与实现

[日期:2015-02-05] 来源:中国知网  作者:刘倩 [字体: ]

基于MapReduce解析二进制文件的设计与实现

西安电子科技大学 刘倩

随着航天航空领域的快速发展,传统的数据存储与分析方法已经不能满足于目前的庞大数据量,而云计算技术的出现和发展,很好的解决了这一问题。本文主要研究使用云计算技术中的并行计算框架MapReduce来解决航天航空领域中的大容量二进制总线数据文件的解析问题,MapReduce框架实现了将用户程序自动分布到一个由多台普通计算机组成的集群中来并发执行的功能。本文通过对航天航空领域中的试验数据格式进行分析,提出了适合于该领域二进制总线数据文件的解析方法。针对航天航空领域中总线类型多及总线消息格式不一致的问题,本文采用了显式动态加载的方式来分别解析不同类型的二进制总线数据,并设计了统一的解析接口。同时,本文实现了将具体的解析算法应用于MapReduce并行计算框架中以提高解析性能,并设计了在Map阶段生成的中间值中加入当前数据分片的起始位置,在Reduce阶段按照起始位置从小到大的顺序输出解析结果,从而保证了写入的解析结果顺序与原始二进制文件中的消息顺序一致。本文最后通过实验验证了本文提出的方法可以对总线消息的二进制文件进行正确的解析,并通过对两种解析方式的性能对比,证明了在二进制文件容量比较大的情况下,使用基于MapReduce并行计算框架的解析方式可以有效的提高解析效率。


基于MapReduce解析二进制文件的设计与实现

收藏 推荐 打印 | 录入:574107552 | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款