论文部分内容阅读
随着互联网的迅速发展,信息量呈爆发式增长,人们能方便获取更多信息的同时,也被信息的海洋淹没,想要获取需要的信息变成一件越来越困难的事。个性化推荐系统能够帮助人们快速便捷发现他们感兴趣的信息,这在方便用户的同时,也能提高应用或网站的体验,有效提升用户的好感度,达到保留用户目的。推荐系统具有良好的应用环境和巨大的需求,已经广泛获得众多学者的关注。随着互联网规模的扩大,无论是用户量还是产品数量都在激增,推荐系统也面临着一系列的挑战。本文在提高推荐质量和效率方面做了有益的探究,主要研究工作如下:(1)结合推荐系统特点,分析了经典对传网(CPN)的不足,并改进了对传网,使得对传网既适合做用户评分预测,也能架构到分布式系统上。(2)针对数据稀疏问题,提出基于对传网和BP神经网络组合的推荐算法。该算法首先利用对传网分别从用户角度和商品角度处理评分数据,建立多个评分预测模型,这样能够为每一个未评分商品产生多个不同的预测评分;然后利用BP神经网络综合这多个评分,获得一个更准确的预测评分;最后将预测评分最高的若干商品推荐给用户。相对于传统推荐算法,该算法更充分的利用了评分数据,从而有效提高了推荐质量。(3)为了提升推荐系统的效率,本文从推荐系统的离线和在线两个阶段提出改进:离线阶段,将最耗时的对传网训练算法架构到Hadoop分布式系统之上,为此,改进了对传网隐含层的训练算法,使其成为可以并行处理的算法;在线阶段,本文提出的改进对传网能够通过自动聚类的方式,高度压缩数据,使得在线阶段的数据计算量大大减少,从而提升在线推荐的速度。最后,基于Movelens数据平台的实验验证了本文提出的基于对传网和BP神经网络组合的推荐算法的有效性:第一,通过与传统的推荐算法和其它一些新提出的推荐算法做对比实验,验证本文算法在提升推荐质量上的有效性;第二,基于Hadoop分布式系统平台实验,对比对传网训练算法在优化前后的耗时,验证了本文基于分布式的对传网训练算法在提升效率上的有效性。