基于Spark平台的推荐系统研究与应用

来源 :大连海事大学 | 被引量 : 4次 | 上传用户:dqylovezf1314
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在大数据时代背景下,数据量以指数级的速度迅猛增长。面对日益庞大的数据规模,如何从纷繁复杂的数据体系中过滤提炼出真正有价值的信息,成为人们亟待解决的问题。推荐系统可以通过挖掘用户历史行为,结合用户之间和物品之间的相似程度把用户可能感兴趣的物品推送出去,是一种更加主动和智能的信息过滤方式。目前推荐系统已经广泛应用于社交网络、电子商务以及音乐、视频、美食等生活信息服务领域。推荐系统不仅要具备深入挖掘用户兴趣、准确把握用户需求的能力,还需要快速地从海量数据中过滤出有价值的信息。将推荐系统与基于大数据的分布式计算平台相结合,使推荐系统具备大数据处理和分析能力,既是顺势而为,也是必然举措。Spark是继Hadoop之后的一种基于内存的分布式计算平台,与Hadoop的MapReduce编程模型相比,Spark由于其迭代并行化的设计思想,在性能指标和速度指标上都更具优越性。本文的主要研究内容有:(1)在Spark环境下搭建数据仓库,为推荐应用引擎提供分布式数据调用接口,用于存储原始的用户、物品信息和用户对物品的评分,以及推荐系统的离线计算结果。(2)基于Spark平台完成3种推荐引擎的功能实现工作,根据计算时长和复杂度、更新变化频率将推荐系统分为离线计算和在线计算两部分,采用MovieLens数据集分别从准确度和响应速度2个方面测试推荐引擎的性能和效率。本文在对Spark分布式计算平台、常用推荐算法理论及其应用场景进行深入的理论研究后,设计并实现了基于Spark平台的3种推荐引擎,并完成了对三种推荐引擎的评价指标结果分析,指标显示在现有软硬件环境下,三种推荐引擎基本达到了预期标准,为基于Spark平台的其他推荐引擎的设计实现奠定了技术基础,理论与实践相结合,具有一定的现实意义。
其他文献
目的:分析慢性肾功能衰竭皮肤瘙痒患者应用中药后饮食改善效果。方法选取本院124例慢性肾功能衰竭伴皮肤瘙痒患者,随机将其分为对照组与观察组各62例,结果观察组患者治疗后的瘙
<正>引言法理学家贝卡利亚曾言:"诉讼本身应该在尽可能短的时间内结束,因为惩罚犯罪的刑罚越是迅速、越是及时,就越能体现公正和有益。"①刑事速裁案件在改革试点的过程中,审
会议
目的探究急性胃黏膜病变临床治疗措施。方法将2013~2014年我院收治的62例急性胃黏膜病变病例随机分成两组进行临床研究,每组31例,观察组的患者治疗采用膜固思达和泮托拉唑,对
The superlarge continental volcanic rock-type uranium deposits,which were discovered abroad long ago,have not ye been reported up to now in China.This is an imp
Potential applications of Nano-scale science and technology are discussed in mineralogy,ore deposits,cosmochemistry and environmental sciences.Adsorption of nan
人类微生物区系由细菌、古菌、病毒和单细胞真核生物组成,代表1014个微生物细胞/人,它们在我们的体内和平地生活。这些微生物存在于我们的皮肤、泌尿生殖系统、呼吸道和胃肠道。人体是由自身细胞和微生物组成的超级生物体,这些微生物在相应部位寄居,形成相对稳定的群落,并与人体相互影响,相互作用,成为具有共生关系的统一体,称为微生态系统。研究肠道微生态主要就是研究肠道微生物数量、种类、组成及代谢产物与疾病的关
It is necessary to understand the aquatic chemical characterstics of natural surface fresh water for water quality assessment.The chemical data from different k
分析了大型城市综合体的火灾危险性及消防安全问题,提出了有针对性的解决对策,为今后大型城市综合体的消防安全管理提供了有效的解决办法和措施。
本文对万县市城区1988~1990年7390例婚检者进行了逐年比较和分析,各种检测指标证实了婚检的必要性。
空间概念是人类概念范畴中最为基本,同时也是最重要的概念之一。空间概念所表达的基本的意义是实际空间义,即,原始语义。原始语义通过隐喻的方式投射到其他非空间概念之中,使其具有抽象的空间义,这是语言的一种普遍现象。迄今为止,对表示空间概念的方位词的研究主要集中在实际空间意义,认知意义以及文化意义等方面。而对个别空间概念语,特别是两种不同语言的空间概念语的对比研究却相对较少。在韩国语中,“空间概念词”是表