你好,游客 登录 注册 发布搜索
背景:
阅读新闻

[PDF]基于Hadoop的知识管理系统设计与实现

[日期:2015-05-28] 来源:中国知网  作者:李波 [字体: ]

基于Hadoop的知识管理系统设计与实现

重庆大学  李波

本文为了解决科研知识文档的大容量存储与处理,设计研发了基于Hadoop的知识管理系统。在深入学习、研究HDFS文件系统和MapReduce并行计算框架的基础上,选择以HDFS分布式文件系统作为知识管理系统的底层文件系统,MapReduce编程框架作为文档数据处理工具。重点分析研究了Hadoop平台的HDFS分布式文件系统体系结构、存储原理,MapReduce编程模型的体系结构和实现方法,Lucene全文检索框架的系统构成及SSH分层架构模型。基于知识文档数据处理特点,全文检索基本原理、日志分析工作机制及个性化文档推荐算法的分析与研究,提出了系统的优化和改进措施。并对基于Hadoop的知识管理系统进行了设计,主要包括系统的业务架构、逻辑架构、数据架构和部署架构,以及全文检索、日志分析和个性化文档推荐等三大功能模块;采用分页Bean和数据持久类技术,完成了系统的分页显示、数据库访问等常用功能的设计与实现。最后,通过构建的软硬件环境,Hadoop集群和源代码编写,完成了系统的三大功能模块的研发。通过功能模块的测试,验证了系统的可行性和可靠性,数据容错性好、安全、稳定。


基于Hadoop的知识管理系统设计与实现

收藏 推荐 打印 | 录入:574107552 | 阅读:
相关新闻      
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款