你好,游客 登录 注册 发布搜索
背景:
阅读新闻

基于Spark 的抄袭检测云计算框架研究

[日期:2014-09-16] 来源:计算机光盘软件与应用  作者:于海浩 [字体: ]

基于Spark 的抄袭检测云计算框架研究

于海浩

抄袭检测从根本上说是一个文本相似度的计算问题,需要迅速准确的在海量文集中对文本的原创性进行检测,耗费大量时间和资源,是计算密集和数据密集的复杂过程。采用分布式计算是是提高检测效率的有有效手段之一。本文提出了一套基于Spark的分布式抄袭检测云计算框架该框架使用由集群资源管理器Apache Mesos,支持内存驻留的 MapReduce计算框架,分布式 Hadooop 文件系统构成的分布式计算集群。测试结果表明,此框架比Hadooop传统分
布式计算框架在效率上有较大提升。


基于Spark 的抄袭检测云计算框架研究

收藏 推荐 打印 | 录入:574107552 | 阅读:
相关新闻       抄袭检测 云计算 Spark 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款