基于Spark的离线与实时的电影推荐系统设计与实现

来源 :南京信息工程大学 | 被引量 : 0次 | 上传用户:ASINLU
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
伴随着科技革命以及信息技术的成熟,我国社会步入互联网和大数据时代,网络从根本上改变了民众的生活习惯,电影产业也进入了前所未有的兴旺繁荣阶段,各种网站系统电影种类数量繁多,人们往往很难做出选择,如何从海量电影中选择自己喜欢的类型成为了个性化电影推荐系统的研究热点,国内外对电影推荐系统的研究也正如火如荼进行着。因此,为了向用户推荐满足自己偏好的高质量电影,本课题设计并实现一个电影推荐系统。本文介绍和分析了业界常用的推荐算法,并提出基于离线和实时的电影推荐系统。在离线推荐方面,采用ALS作为协同过滤算法训练隐语义模型,结合矩阵分解推荐算法可解决推荐系统存在的数据稀疏性问题,通过不断调参找出最优参数组合,隐语义模型训练完成后可以得到所有的预测评分,基于预测评分和真实评分可得到理想的RMSE和MAE,在电影推荐系统里为用户带来更好的推荐效果,在用户登录系统后增加选择用户喜爱影片类别标签页,可解决推荐系统面临的新用户冷启动问题。实时推荐方面,对基于物品的协同过滤算法进行改进,通过增加奖励因子和惩罚因子作为权重因子,针对用户最近的电影评分,使备选电影的推荐优先级得到进一步提升,可快速定位用户近期的偏好影片类别,将高分电影推荐给用户。本项目采用大数据框架中最流行的Spark分布式计算引擎,相比于Hadoop,Spark的实时性与数据计算分析能力更优越,结合Mongo DB业务数据库、Elastic Search搜索服务器、Redis缓存数据库、Flume、Kafka、Spring等工具搭建一个支持处理庞大数据、可靠的、健壮的离线和实时的电影推荐系统,为高效处理海量数据集提供技术支持。
其他文献
<正>税法课程是高等院校财经类专业的核心主干课程,但因其内容繁杂,长期以来一直是学生专业课学习的一大障碍。在新课改理念的倡导下,通过长期的一线教学研究和揣摩,本文提出了关联教学法、案例教学法、税法课程思政、课堂翻转以及高质量教学团队建设等一系列税法课堂创新实践方法,以期对税法课堂创新实践提供改革思路。
期刊
复发性肩关节前脱位是临床常见病、多发病,手术是治疗复发性肩关节前脱位的重要方法。目前,临床医生常通过评估肩胛盂骨缺损面积来评估患者肩关节稳定性,决定手术方案,但这种评估方法无法获取患者肩关节的生物力学信息。肩关节稳定率是评估复发性肩关节前脱位患者肩关节稳定性的重要生物力学指标,现有的肩关节稳定率测量方法较多,但存在诸多不便。该文对肩关节稳定率测量方法进行综述,旨在对肩关节稳定率测量提出新见解。
女性主义叙事风格是当今文坛流行的一种叙事风格。它创新和突破了传统的男性主导的叙事模式,赋予女性讲述和发展故事背景的权利。从它们的文学价值和精彩内容来看,它们是有吸引力的。对当代文学中女性主义叙事的分析将对未来文学的创作和发展起到积极的推动作用。那不勒斯四部曲探讨了“女性友谊”的文学主题。另一方面,它以女性的视角讲述了20世纪下半叶意大利的历史,揭示了南方女性在这一历史阶段的生存状态:有限的生存空间
<正>纸张是人类的重要发明,其能够记录文字与图画,帮助人类传播信息、实现文明传承。同时纸张也被视作一种艺术设计,可基于折叠、裁剪等技术使自身视觉表现更加具有艺术性。在人类文明几千年发展历程中,纸艺术设计衍生出更加丰富的形式,其中,立体纸艺是较为经典的艺术设计之一,凭借三维立体模型获得极其震撼的视觉效果。由保罗·杰克逊编写、
期刊
耳鸣是以自觉耳内或颅内鸣响而外界无相应声源为主要特征的病症,主要表现为外界无声源而患者自觉耳中鸣响,常顽固难愈。历代医家对本病认识不一,多从清泄肝火、滋阴补肾、调和营卫、益气升清等方法论治。沈元良经过多年临证实践,认为本病初期实证为多,后期则以肝脾肾三脏亏损为主,亦有虚实夹杂者。因此,初期以调和营卫、疏风通窍之法为主;中后期则从肝脾肾论治,用疏肝解郁、健脾化湿、滋阴清热、温补肾阳等法进行辨证分型治
崂山民间故事是以崂山当地积累浓厚的道教文化为出发点,由人民群众在千百年的发展实践中集体创作形成的一种口头文学。同时,它还结合了当地的山海文化、民俗文化。如今,囿于崂山民间故事自身所具的口口相传、动态发展等特点所限,其在当今失传的可能性逐渐增大。因此,对崂山民间故事的保护与传承也就显得尤为重要。相关部门应以现存崂山民间故事的整理为出发点,深入基层对新的故事资源以及影像资料进行发掘,并通过现代化的CG
综述了增材制造马氏体时效钢的研究进展,包括增材制造工艺和后处理对力学性能和微观组织的影响以及异质结构马氏体时效钢和梯度结构马氏体时效钢的力学性能和组织结构特点。此外,还总结了增材制造马氏体钢的合金成分、主要作用及其设计思路,分析了合金成分对马氏体时效钢的力学性能和微观组织的影响,着重讨论了复合颗粒增强相在增材制造马氏体时效钢中的强化效果与强化机制。介绍了增材制造马氏体时效钢在随形冷却模具、激光熔覆
<正>新时代纪检监察机关作为党的政治机关,肩负着服务保障党和国家事业发展的光荣使命,必须把作风建设与肃纪反腐结合起来,同深化改革、完善制度、促进治理、推动发展、改善民生等贯通起来,为实现跨越赶超发展提供坚强作风保障。如东县纪委监委深入学习贯彻习近平总书记重要讲话指示精神,结合落实中央纪委六次全会、省市纪委二次全会部署要求,紧扣南通市“机关作风建设提升年”活动主线,以全县“‘双聚双高’作风效能优化年
期刊
为进一步提升房建工程建设效率与质量,合理降低建设成本,本文从设备管理的角度出发,从基础管理、配置管理、使用管理、维护保养管理等角度出发,提出了一些具体的管理要点措施,实践表明,上述措施的应用,可有效提升房建工程建设质量与效率,降低工程建设成本,提升工程建设综合效益。
目的 探讨老年骨质疏松性椎体压缩骨折(osteoporotic vertebral compression fractures, OVCF)患者的焦虑、抑郁现状及对围手术期疼痛症状的影响。方法 选择2020年11月~2021年11月我院收治的58例老年OVCF患者,术前采用焦虑自评量表(self-rating anxiety scale, SAS)、抑郁自评量表(self-rating depre