你好,游客 登录 注册 发布搜索
背景:
阅读新闻

[期刊]大数据下利用块依赖的并行实体解析算法

[日期:2015-07-29] 来源:计算机科学与探索  作者:王宁 黄敏 [字体: ]

大数据下利用块依赖的并行实体解析算法

王宁  黄敏 

实体解析在数据库管理、信息检索中均有广泛应用,大数据时代的到来使得实体解析在海量数据的处理上面临新的挑战。为适应海量数据的实体解析工作, 提出基于块依赖的并行实体解析方法,该方法在 MapReduce 编程框架下分三阶段实现:首先,依靠分块技术初步减少计算量;其次,通过基于块依赖的数据筛选策略,挑选分块中与所在块的块依赖度较低的实体与其他块中实体匹配,不仅保证解析结果的正确性,且在一定程度上控制了计算量;最后,通过设定跨度距离来控制解析数量,进一步提高时间效率。采用真实数据集在 Hadoop 上对该方法进行了评估,实验结果表明该方法在保证解析质量的基础上具有良好的时效性。


大数据下利用块依赖的并行实体解析算法

 

收藏 推荐 打印 | 录入:574107552 | 阅读:
相关新闻      
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款