基于Hadoop的协同过滤推荐算法研究

来源 :沈阳工业大学 | 被引量 : 1次 | 上传用户:lzj60
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
电子商务的兴起不仅为消费者提供了更多选择,而且还导致了信息超过人们所能处理的范围。为了从大量资源中快速找到喜欢的物品,用户希望出现可以为他们进行推荐自己可能感兴趣的物品的技术。因此,为了解决人们的问题出现了个性化的推荐系统。协同过滤推荐算法作为推荐系统最成功的算法之一,发挥了关键作用。尽管协同过滤算法已成功应用于许多商业领域,但是协同过滤算法的一些缺陷,例如数据的稀疏性等。面对当今信息社会海量信息数据的增长,对算法的准确性和通用性等方面都提出了更高的要求。在推荐系统中,推荐算法的准确性要求总是难以实现。用户的兴趣随着时间的改变也会发生变化,在大数据背景下,传统的协同过滤推荐算法无法为用户提供精准的推荐服务,使得用户数据的稀疏性在复杂的社交网络环境中成为影响推荐准确性的重要因素。本文提出在传统推荐算法相似度计算的基础上,结合用户的兴趣,不仅对用户与项目之间的相似度进行计算,还对用户兴趣的相似度进行计算,将用户的评分和兴趣度结合起来。本文改进的算法解决用户的兴趣问题,用计算实际的评分与推荐评价算法对比得到的结果来预测实际评分与推荐值之间的差值以及平均绝对偏差,推荐算法的准确性用MAE作为评估指标。对数据基于MapReduce并行计算框架进行处理,提高算法的性能和速率。将配备Linux系统的集群在Hadoop的框架下进行部署。对集群进行可行性测试,实现算法的推荐功能,根据实际问题对算法的功能进行实现。在Hadoop大数据平台上对传统算法进行改进,实现基于Hadoop的协同过滤推荐算法,以进一步提高传统推荐过滤算法的推荐速率和准确性。在最后的实验过程中,在任务的每个阶段对作业执行分布式计算并在已建立的Hadoop集群上运行,以减少系统运行时间并提高推荐的速率。通过对算法性能的测试以及与传统算法的对比,证明本文提出的基于Hadoop的协同过滤推荐算法,能够对大量的数据进行并行化的处理,提高系统的运行速率和准确性,更好地为用户服务。
其他文献
目的:1.研究分析非小细胞肺癌中程序性死亡配体1(programmed death ligand-1,PD-L1)的表达、表皮生长因子(epidermal growth factor receptor,EGFR)基因突变情况、间变性淋巴瘤激
我国的钢结构设计规范规定柱脚的锚栓不能抗剪,导致外露式钢柱脚常需设置抗剪键,然而国际上部分规范和研究认为锚栓可以参与钢柱脚的抗剪。参考实际工程中使用的外露式钢柱脚
截至2019年底,中国有实质经营的中小企业有4800余万家。中小型企业税收占国家财政收入的50%,超过六成以上的GDP由中小企业创造,同时这部分企业还创造了65%的国家专利和70%的技术创新,另外超过80%的新产品研发也是中小企业完成的,中小企业还创造的81%的城市就业岗位。尽管中小企业的发展对国家经济和社会发展十分重要,但高昂的融资成本和苛刻的融资条件依旧阻碍中小企业成长和快速发展,作为具有企业
智能监控系统是随着视频监控系统的广泛使用所提出的需求,无重叠监视视域的多摄像机联合监控系统是广域监控研究中的重要研究内容 行人再识别作为无重叠视域的多摄像机联合监
柱脚是连接柱与承台的重要节点,在结构安全中对上部结构起到了决定性的作用。柱脚形式主要有外露式柱脚、埋入式柱脚和外包式柱脚。地震是影响建筑结构安全的重要因素,现阶段
近年来,跨境电子商务发展迅速,其作为一种新型跨境贸易模式在我国刚刚兴起,并将成为我国外贸贸易的发展趋势。本文通过对目前不同学者关于跨境电商发展研究的分析,并对现有文
豹泉景区位于河北省易县,自然资源丰富,历史文化久远。为了促进景区的合理规划开发,对豹泉景区旅游资源进行了分类统计,在此基础上,运用"三三六"评价方法,对景区旅游资源进行
他们具有南方少数民族身份,同时具有现当代艺术工作者身份,在面对西方文化时,他们还扮演着华夏文化人的身份。有着不同文化身份,在不同文化场域之间行走中,自然就会引发他们
<正>一、行为艺术的历史和区域何为行为艺术?行为艺术是指在特定时间和地点,由个人或群体行为构成的一门艺术。行为艺术必须包含以下四项基本元素,除此之外不受任何其他限制:
<正>据《果农之友》2011年3期报道,早春发芽前施用基肥,肥效发挥慢,对果树春季开花坐果和新梢生长作用很小,而后期又会导致树体生长过旺,影响花芽分化和果实发育。因此建议尽
期刊