你好,游客 登录 注册 发布搜索
背景:
阅读新闻

延迟反序列化:一种提升MapReduce程序性能的方法

[日期:2013-12-11] 来源:  作者: [字体: ]

延迟反序列化:一种提升MapReduce程序性能的方法 

黄佳

基于Hadoop提供的MapReduce并行计算框架,用户可以方便地实现并行计算。通常,用户在MapReduce程序中将输入数据解析成为由特定分隔符分隔的字符串,反序列化和序列化的代价过大,同时,计算过程中数据类型的转换也会产生额外的开销。本文通过将一种延迟反序列化技术整合到MapReduce程序中,实现了MapReduce程序计算性能较为明显的提升。该技术的核心在于只在必要的时候才将记录中特定的字段反序列化为相应的Java对象。


延迟反序列化:一种提升MapReduce程序性能的方法

收藏 推荐 打印 | 录入:574107552 | 阅读:
相关新闻      
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款