基于Hadoop的音乐推荐系统的研究与实现

来源 :西安工业大学 | 被引量 : 0次 | 上传用户:yaojunsyt
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
移动互联网的发展使得移动音乐越来越流行,用户量和用户产生的数据也越来越大。面对如此庞大的数据量,用户选择将会变得十分茫然,要是能有一套专门给用户推送歌曲的系统,那么用户就会少花很多时间在寻找歌曲上,且可以增加用户的活跃度和粘性。本文首先对常用的推荐算法和Hadoop技术平台做了分析与研究,比较了他们的优缺点,并对本文使用到的推荐算法做了详细介绍,分析了它的优缺点及使用这种推荐算法的原因。Hadoop平台中涉及到的技术有分布式计算框架Map Reduce和HDFS文件系统,并对其做了分析介绍。其次,使用Java语言实现了传统的基于用户的协同过滤推荐算法,为了提高算法的推荐效果,引入了k-means算法对用户进行聚类并再对聚类算法进行优化,首先对用户听歌记录进行分析,提取歌曲记录标签,因为歌曲标签都是用户填写的,需要对其进行处理去噪,每一首歌曲都有很多个标签进行描述,提取标签次数大于10的作为标签产生用户-标签模型,然后再使用k-means算法对用户-标签进行一次聚类,使得兴趣相似的用户归为一类,再为每一类用户推荐歌曲,后又对k-means聚类算法做了优化,主要从两方面进行优化,一是游离点的去除,二是使用二分聚类防止聚类陷入局部最优。最后实现了基于Hadoop平台的推荐系统,系统包括了数据收集、数据存储、数据处理和结果展示并对推荐结果及系统进行了测试。使用到的技术包括Sqoop数据收集、分布式数据存储、Hadoop集群、服务器开发、Android客户端展示。结果表明本文采用的使用用户听歌记录的歌曲标签进行聚类再推荐歌曲的方法提高了推荐结果的准确率,在分布式环境下运行时间也大大降低。并且该系统具有从数据源到算法实现再到结果展示一套完备的推荐系统,推荐结果也能反映用户以往的兴趣爱好。
其他文献
张志东,男,汉族,1958年9月出生于辽宁省西丰县,1984年7月毕业于大庆石油学院,同年分配到玉门石油管理局工作,历任技术员、工程师、吐哈井下作业指挥部副指挥、吐哈井下作业公
应用复杂系统控制理论,建立了新的反映储集层、井筒、地面安全及经济效益最大化的凝析气井单井动态优化控制模型,并给出了模型的求解方法.该模型以储集层多相渗流、井筒多相
食管癌(esophageal caneer)是一种常见的消化道恶性肿瘤,在世界常见恶性肿瘤死因中居第六位。其发病率存在显著的地域性差异,高低发区可相差500倍,大部分食管癌患者集中分布
投资股票,不能追求心理上短暂的愉悦感,而应追求实际账户的总盈利。股票是否卖出,只有两个标准:未来是否继续上涨及是否需要止损。过去的买点不构成今天的卖点标准。不管是先涨后
报纸
目前我国对陆上石油天然气开发按销售收入的1%征收矿产资源补偿费,对陆上对外合作和海上油气资源开发实行滑动费率法征收0~12.5%的矿区使用费.同时对油气田按0~30元/t的标准从
运用石墨炉原子吸收光谱测定法对稻谷中镉的含量进行检测,通过对检测结果的确认分析,讨论影响检测结果的因素并提出解决办法,确保了重金属镉检测数据的准确和稳定,对加强实验
目的探讨更年期妇女心理生理健康状并分析其影响因素。方法通过调查问卷的方式,选取某社区45~65岁的妇女206名作为研究对象,调查其心理生理健康状况。根据更年期妇女的精神性
市场经济的快速发展有力推动了电力企业的发展.党建工作作为电力企业生存与发展的基础,其对企业社会效益与经济效益的实现具有重要意义.当前我国电力企业在实际发展过程中还