你好,游客 登录 注册 发布搜索
背景:
阅读新闻

[PDF]基于大数据的推荐算法研究

[日期:2014-08-30] 来源:厦门大学   作者:孙远帅 [字体: ]

基于大数据的推荐算法研究

厦门大学 孙远帅

针对协同过滤技术效果依赖于一个精确的相似度测度方法且其可伸缩性较差,不能处理大数据的问题,本文提出基于项目层次结构的推荐算法,并结合Madoop技术实现矩阵分解算法。主要工作如下:1)改进衡量相似度的余弦距离和皮尔逊相关系数的计算公式,避免计算目标用户与所有用户的相似度,从而避免了在整个用户空间中搜索最相近的K个用户。本文引入倒排索引数据结构,使查找目标用户最近邻的计算复杂度大大降低。实验表明,在确保与改进前最近邻结果一致的情况下,改进后的相似度计算公式能大大缩减查找目标用户最近邻的时间,大大提高推荐算法处理大数据的能力。2)提出了一种基于项目层次相似度的协同过滤算法。利用用户给部分项目标注的标签和项目类别进行自动扩展,建立所有项目的层次结构,然后利用建立的项目标签层次结构计算项目之间的相似性。实验表明,与传统的协同过滤算法比较,本文提出的基于项目层次相似度的协同过滤算法能够显著提高推荐系统处理大数据的能力,并且可以获得更优的RMSE效果。3)结合矩阵分解梯度下降算法的近似算法和MapReduce分布式计算框架,设计实现了一种基于MapReduce的矩阵分解推荐算法。实现矩阵分解算法主要需要实现矩阵乘法,本文对矩阵乘法的分布式实现进行了研究,详细分析了内积法、外积法和分块法,通过对比实验得出,矩阵乘法效率需要折中考虑单个工作节点的计算量和需要网络传输的数据量。


基于大数据的推荐算法研究

收藏 推荐 打印 | 录入:574107552 | 阅读:
相关新闻       推荐系统 协同过滤 矩阵分解 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款