论文部分内容阅读
随着互联网的普及和计算机技术的快速发展,网络上各类信息资源也出现了大幅度的增长。用户常常在面对海量的信息时束手无策,不知道如何才可以从海量的信息里准确而又快速的得到有关联的信息。用户对信息的需求不能满足,造成信息资源浪费,资源利用率降低,这就是信息过载问题。而解决这类问题的一个有效方法就是推荐系统。近几年伴随着人工智能技术的飞速发展,深度学习技术在推荐系统领域中的研究也已经成为热点之一。其中生成对抗网络(GAN)在图像处理和自然语言等领域取得突破性进展。信息资源的快速增长也使得信息中的用户数量和项目数量迅速增加,造成了数据集中有效评分所占的比例越来越小,数据越来越稀疏,也使得传统的推荐算法不能很准确地为用户进行推荐。传统的GAN模型只是简单的利用了用户和项目之间的评分关系,并没有将用户和项目的其他的属性信息充分利用起来,一定程度上影响了算法的推荐精度。针对上述问题,本文提出了一种将现有的IRGAN和Wide&Deep Models融合的推荐算法(IRGAN-WD),利用Wide&Deep模型,将用户和项目的其他相关属性充分利用。并且在Wide&Deep模型中引入注意力机制,针对不同用户和项目的不同属性,动态分配不同的权重,深度挖掘其中的信息,提高判别检索模型的辨识精度,更好地对生成检索模型进行训练。实验结果表明,与基于GAN的其他算法相比,本文方法具有更好的推荐预测精度和推荐排序质量。当前国内视频和用户数量飞速增长,传统的电影推荐系统存在数据利用率低、系统压力大、实时性差等弊端。针对上述问题,本文部署了Hadoop分布式集群配置来保证数据的完整性,满足大容量数据的存储;使用Spark来进行推荐算法模型的分布式计算,提高算法模型的运行效率;并且Flume和Kafka在线收集用户行为信息,详细设计实现了基于IRGAN-WD算法模型的离线推荐模块和基于在线用户行为数据收集处理的在线推荐模块联合推荐的电影推荐系统。系统测试表明,系统具有良好的推荐准确性、稳定性和实时性。