云平台推荐算法研究

被引量 : 0次 | 上传用户:tianjuyy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的迅猛发展,信息爆炸使得人们越来越难以从大量内容中找到需要的信息。为解决信息过载问题,学术界及业界都进行了各种探索。推荐系统便是新兴的被发展用来减轻用户筛选负担、为用户提供个性化内容推荐的有力工具。目前,推荐系统已是各种互联网应用的重要组成部分。另外,随着数据和用户的不断增加,推荐系统面临着分析海量数据和生成精确推荐的双重挑战。Hadoop是一种主流的云计算平台,它为大数据的存储和并行处理提供了便利。其MapReduce编程框架是大规模机器学习的重要工具。机器学习是一门对数据构建概率模型并运用模型和统计学方法对数据进行分析与预测的学科。这些新兴技术的出现为设计推荐系统提供了新的思路。论文以Hadoop为技术背景,对分布式并行计算做了研究,同时运用机器学习的有关理论和算法,围绕推荐问题展开如下三方面的工作:第一,分析推荐领域的经典算法、相关技术以及它们在扩展性上遇到的困难;第二,提出一种基于线性回归模型的特征学习算法,该算法能从用户对产品的历史评分中获得产品属性和用户属性的特征向量,进而用它们预测未知评分,产生推荐;第三,由于特征学习推荐算法需要对每个产品和用户单独建立高维特征向量,因此随着产品和用户的增加,算法将需要训练数以亿计的参数,本文引入MapReduce技术,在Hadoop平台上对算法做并行化改进。本文提出的特征学习算法应用在MovieLens数据集上时,相比较传统基于相似度的协同过滤算法预测精度更高,表明使用用户特征向量和内容特征向量作线性拟合,是产生评分预测的有效方法。随着特征向量维度的增加,预测结果总体愈加精确。在Hadoop平台上,重新设计的数据集格式可以配合MapReduce计算框架,验证了算法在云平台上进行并行计算的可行性,从而使算法在处理大数据时将得到效率提升。
其他文献
随着国际大形势的变化,社会发展的重心逐渐从政治、经济领域向文化领域转移,显示出了文化之于一个国家越来越重要的地位。公共文化服务体系作为公共服务体系的一个重要部分,
随着计算机技术、信息处理技术、现代通信技术和网络技术的不断发展,多媒体通信已经成为人们日常生活中主要的信息交流方式。作为多媒体通信中的主要信息载体之一,图像通信的重
关于文化遗产保护的问题已经是社会的一个热点问题,在环境艺术专业的各种设计项目和研究课题中,关于文化遗产保护也已经逐步成为一个重要的内容。文化遗产的保护又是关系到历
根据历史资料,民法上的债最早起源于古代西亚地区文明中基于买卖契约和借贷契约的欠物或者欠钱;中国法上的债起源于基于借贷契约和买卖契约的欠钱或者欠物;罗马法上的债起源
本文从融资成本的角度出发通过计算资产报酬率与银行贷款利率的比较,得出了我国上市公司偏向股权融资的原因.鉴于我国上市公司业绩不稳定,相当部分公司股权融资后业绩下滑,基
宋代五大名窑之一的宋官窑青瓷在中国陶瓷史上有重要的地位,研究利用光学显微镜对2片杭州老虎洞窑址南宋地层及1片杭州卷烟厂址出土的宋官窑青瓷瓷片进行了显微结构观察.通过
国家课程改革要求转变教学方式和学习方式,而信息技术的迅速发展为新课程改革的顺利推进提供了有力的保障。“借助教育信息化,推进教育现代化”是我国教育发展的策略。交互式
控制论的基本概念应包括信息和反馈两个宏观层面的基本概念以及在此基础上引申出来的可能性空间、控制和控制能力、输入和输出、控制系统和控制论系统等中微观层面的七个基本
背景:炎性肠病(Inflammatory Bowel Diseases, IBD),是一种常见的病因不明的慢性肠道炎症性疾病,包括溃疡性结肠炎(Ulcerative Colitis, UC)和克罗恩病(Crohn’s Diseases, CD)。UC