基于Spark的电影推荐系统的设计与实现

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:misswj2009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
伴随着互联网技术的飞速发展,人们身边环绕着各种各样的数据信息,但是在这些海量数据信息中,只有极少数的数据信息是用户所感兴趣的,因此,如何在海量数据信息中找到对用户有用的信息,并将其有针对性的推送给用户,是推荐系统所要研究的问题。通过对推荐系统的分析,发现传统的推荐算法存在一些不足,混合推荐算法的出现有效的缓解了这些问题。首先,对于传统推荐算法存在的冷启动和数据稀疏的问题,主要是通过基于统计的推荐算法、基于ALS(交替最小二乘法)的协同过滤推荐算法以及基于ElasticSearch的内容推荐算法相结合的混合推荐算法来加以改善。其中,基于内容的推荐算法能够很好的缓解系统冷启动的问题,而基于统计的推荐算法对数据稀疏问题有不错的缓解作用。其次,对于推荐系统不能实时或者准实时的完成推荐结果的更新这类问题,主要是通过采用基于模型的推荐算法来进行实时推荐。最后,通过在Spark分布式平台实现离线与实时相结合的混合推荐算法的构建,从而能够较好的应对海量数据推荐的问题。最后,综合混合推荐算法的设计思路,在此基础之上,设计并实现了一个基于Spark的电影推荐系统,并验证了混合推荐算法的可行性。
其他文献
运用溶胶-凝胶原理在聚偏氟乙烯膜表面涂覆二氧化钛胶体颗粒,来改善膜表面的亲水性,延缓膜表面污染时间。通过膜通量、接触角的测定,扫描电镜的观察,得出改性膜既能保持原来
为了揭示大白菜BrROP基因家族的功能和进化关系,利用生物信息学方法对大白菜BrROP基因家族成员进行了鉴定,并对其基因结构、蛋白质序列、染色体定位、保守结构域、进化关系和
长期以来由于规模变量、距离衰减系数取值缺乏依据,引力模型在城市研究中的应用容易受到质疑,加之中国城市的多中心化使得模型应用的外部条件发生改变,模型验证工作的必要性
以2010—2015年央视新闻联播为研究对象,研究了投资者关注对股票收益率的影响。本文发现:(1)新闻联播报道后公司股票短期收益率上升,然而,长期反转,超额收益不显著;(2)机构投资者持股比
<正> 证候的“转化”是指一种证候转变成为性质截然相反的另一种证候,后一种证候出现之后,前一种证候即随之消失。高校教材在八纲辨证虚实转化中所举的实证转虚; “高热、口
刘诗昆是迄今在国际钢琴比赛中获奖级别最高的华人钢琴家。他曾是叶剑英元帅的女婿,为此,他在"文革"期间被迫离婚,关押在狱中近6年。出狱后,他重获艺术新生。1979年,世界著名
随着移动互联网、物联网、云计算等技术的快速发展,全球数据量呈爆炸式增长,大数据时代已经到来。“信息过载”是目前人们所面临的主要问题,在电商、音乐视频、新闻等领域频
英国政府于2016年推出教学卓越框架,作为研究卓越框架的延续,其平衡教学和研究的评价标准打破了英国高校传统格局,为高等教育的改革提供了一种新的思路,必将对全球的高等教育
阀门是流体管路的控制装置,在石油管道运输生产过程中发挥着重要作用。以输油站场典型阀门设备节流阀、球阀、安全阀为研究对象,对其失效模式以及原因全面分析,综合分析了阀
为了使航路规划算法在三维动态环境下能够快速规划出较优可行航路,基于快速扩展随机树算法(RRT),对规划航路点进行了无人机飞行动力学约束,并且设计了局部航路动态优化策略。