基于Hadoop2.0的推荐系统研究

被引量 : 0次 | 上传用户:xiaobaihuo197992
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
信息技术的迅速发展、数据的急剧增加,带来了愈来愈严重的“信息过载”问题,人们面对海量的数据无所适从。用户期望在web端和移动端能即时快捷地看到自己感兴趣的文章和话题。推荐系统(recommender systems)可以根据用户个人信息及行为特点,例如性别、年纪、偏好以及用户选择记录等,从海量信息中选择其可能感兴趣的内容推荐给用户。推荐系统对用户信息和行为数据的不断采集,推荐质量也在相应提高,不断接近精确推荐。但是,存储空间的可扩展性与分析计算的效率等瓶颈问题也是推荐系统必须面对和解决的,单纯依靠提升服务器存储空间和计算性能并不是最优的解决方案。基于分布式计算开源软件框架Apache Hadoop能够解决推荐系统的可扩展性问题,并且已经存在很多解决方案,然而目前基于Hadoop1.0开发的推荐系统在可靠性、扩展性、资源利用率及处理多框架等方面存在某些缺陷。本文在深入研究Hadoop2.0的分布式文件系统HDFS2、资源管理系统YARN和编程思想MapReduce的基础上,首先对基于Hadoop2.0的云计算体系架构进行研究,研究了以YARN(Yet Another Resource Negotiato)为核心的弹性云计算平台。YARN作为Hadoop2.0新增的一个子项目,它可以将各种计算框架放在一个集群中运行,管理、调度和分配由资源管理器统一进行,使得分布式计算系统迈入平台化时代。其次对弹性云计算体系中的存储层进行重点研究。研究了基于NAS与SAN的云存储整合方案,部署了私有云存储平台,为数据中心及数据密集型研究提供支持。最后对基于Hadoop2.0的混合推荐系统进行研究,在弹性云计算平台架构之上设计了一个基于Hadoop2.0的混合推荐系统,并对各个模块进行了阐述。重点阐述了YARN中应用程序的设计方法,包括客户端程序的设计和ApplicationMaster的设计。论文在理论上对云计算环境下的推荐系统研究有一定的探索意义,在实践上对基于Hadoop2.0构建个性化推荐系统具有参考价值。
其他文献
近年来,中国积极参与经济全球化进程,经济保持稳定增长,经济总量已稳居世界第二位,但随着经济全球化的日益加深和国际战略格局的加速演变,我国的安全面临着越来越严峻的威胁,
从六里屯垃圾焚烧发电环评批复行政复议决定案来看,非处罚性行政许可中止在执法实践中具有广泛存在空间和必要性。非处罚性行政许可中止的法理依据是警察权力理论和情势变更
乌齐里克它乌一带地处阿尔泰山中段,阿尔泰古生代深成岩浆弧内,成矿条件得天独厚,成矿潜力巨大。但由于自然气候条件差、交通极其困难,给1:5万区域地质矿产调查工作造成了极大的
在促进我国高等教育大众化进程中,有一批起着重要作用的院校是不可忽视的,它们就是新建地方本科院校。这批出现于20世纪90年代的院校虽然与老牌本科院校相比还显得稚嫩了些,
近年来,新疆经济社会的发展进入了一个前所未有的高速发展期。2010年5月,党中央史无前例的专门就新疆当前的发展形势召开了工作会议,制定了《中共中央、国务院关于推进新疆跨
为了探索养殖方式对雄性东北梅花鹿社会行为的影响本研究采用目标取样和连续记录相结合的方法,于2012年6月-11月,在北京市怀柔区绿神鹿业养殖园中,对圈养环境和半散养条件下的成
公司治理结构是金融体系的一个重要内容。德国的公司治理结构与英美模式相比具有显著的差异 ,从而为国际比较提供了有益的参照。本文在介绍德国公司法律结构的基础上 ,分析其
视觉思维及其概念是一个需要深入研究的问题。视知觉认识分析思维判断等是一体的,是同时进行的。视觉思维分辨出了视觉的快感与恶感,那么在艺术作品中人们的视觉快感是通过形
当前,社保基金的缺口很大,划转国有股是弥补这一缺口的合理渠道。社会保障基金资金量多寡会直接影响到社保基金在资本市场上的投资布局,进而表现出其特有的投资行为和方式。
本翻译报告的材料来源于简·詹森的《女性政治领导人》,对该书中的第五章进行了翻译。这一部分主要从“父母的政治活动”、“父女关系”、“母女关系”、“兄弟姐妹关系”等几