基于Hadoop的推荐算法的研究与应用

来源 :厦门大学 | 被引量 : 0次 | 上传用户:dwddKTV
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的飞速发展和互联网信息爆炸式的增长,推荐系统越来越受到人们的关注。微博,作为今后互联网发展方向的一个重要的代表模式,已经成为了许多人最重要的沟通、营销工具。微博用户规模巨大且还在继续增长,产生的海量微博数据的处理和利用,成为一个热门的研究课题,而对这些海量的微博数据重要的应用之一,就是基于微博用户数据的推荐。  本文将在着重讨论与研究相关的海量数据处理技术的同时,研究与设计一个新的微博数据推荐应用——“根据用户兴趣推荐关注”,论文的主要工作如下:  首先,研究与讨论了信息服务个性化的需求和推荐系统及其常用技术,包括信息检索技术及信息过滤技术。在信息过滤技术的介绍中,重点阐述了基于内容的过滤技术和协同过滤技术的算法思想和各自的优缺点。  其次,本文研究与讨论了基于Google三大核心技术原理而实现的一个优秀的开源项目:Hadoop项目,主要涉及到了相关的Hadoop Map Reduce架构,HBase文件存储,HDFS分布式文件系统。  最后,对基于MapReduce进行算法改进的基本原则和技巧进行了研究,然后对推荐系统中常用的基于内容的推荐算法进行了详细分析,并阐述了基于MapReduce的算法改进;设计了一个基于Hadoop的微博用户推荐系统,介绍了该系统的设计思路、体系结构和数据结构,并对基于用户个人资料、基于微博内容、基于用户关注关系的推荐算法思路进行了详细阐述。  实验表明,论文设计的微博用户推荐系统,可以帮助用户找到不易被发现的具有相同或相近兴趣的微博用户,具有良好的实用性,对现有的微博推荐应用是一个良好的补充。
其他文献
近年来,在网络时代的技术背景下,互联网技术在企业和用户需求的合力推动下迅速蔓延。流媒体作为代替普通文字和图片的网络媒介,在互联网中得到了爆发式的推广和应用。在现有
随着云视讯、共享空间等新型技术的应用,存储在网络上的信息呈现爆炸式增长。信息的海量积累和动态变化阻碍了人类对它的有效利用。为了解决从海量数据中准确、有效地查询最优
半导体器件广泛应用于电子设备、工业生产和科学研究等众多领域,在当今社会发挥着重要的作用。而作为半导体生产不可或缺的一个重要环节,半导体特性测试贯穿于从产品设计到生产
随着互联网技术的迅猛发展,特别是近年来云计算、物联网、社交网络等新兴服务的快速普及,人类社会产生的数据规模正以一种前所未有的速度增长.从大规模复杂数据中,以应用需求
随着通信技术的快速发展,人们对通信质量的要求也越来越高。如何在有限的带宽下实现信息的高速率、大容量、优质量传输引起了研究者们的极大关注。光正交频分复用(OFDM)技术作
路由协议是短距离无线网络系统研究的重要部分,网络低能耗是ZigBee技术最基本的要求,研究高效率的路由协议能够有效的降低并均衡网络的能耗,延长网络的使用。因为ZigBee技术有着
人脸表情是一种重要的非语言交流方式,在人与人之间的日常交流中,有55%的信息是通过面部表情传递的。随着科学技术的发展和对机器智能化要求的提升,使计算机能理解人的情感并
DeepWeb数据集成系统是获取并利用万维网上的自由分布的DeepWeb数据库中数据信息的一种有效方式,但是由于DeepWeb数据库数量繁多且涉及不同领域,因此按领域对DeepWeb数据库分类
在现实世界中,随着互联网和多媒体技术的发展,多标签数据大量出现,这些数据的每个实例样本往往同时属于多个类别,导致需要处理的信息急剧增加。如何高效的处理这些信息,需要
计算机技术和互联网的快速发展为各种形式的数字媒体产品的访问和使用提供了极大的便利,但同时也出现了一系列的问题,如产品的随意复制、盗用、篡改等。三维模型同图像、文本、