基于流计算的实时推荐系统的研究

来源 :西北师范大学 | 被引量 : 0次 | 上传用户:langguoji
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
基于物品的协同过滤推荐算法虽然被广泛应用于电子商务、广告、新闻、音乐、视频等多种场合,但是仍然伴随着预测准确度不理想、冷启动等问题。同时,随着技术进步和人与设备之间交互性的增加,用户生成的数据更具动态,导致大量信息仅在短时间内有价值,需要对其进行及时处理,传统的推荐系统是在定期的时间间隔分析数据和更新模型,无法满足用户对实时性的要求。针对以上问题,本文提出了以下解决方案:(1)针对基于物品的协同过滤推荐算法存在的物品冷启动以及评分数据稀疏情景下预测准确度不高的问题,本文引入了类型相似度。在计算物品相似度时将物品类型相似度与协同过滤相似度进行组合,以此来减少数据稀疏对相似度计算的负面影响。(2)针对传统基于物品的协同过滤算法实时性差的问题,提出了一种基于物品的实时推荐算法,算法包括两个过程:相似度计算与推荐优先级计算,相似度计算使用离线计算方式,优先级使用在线计算方式,同时为了体现用户兴趣的动态变化,在推荐优先级计算中加入了时间因子。(3)针对传统推荐系统存在着计算缓慢、无法根据用户实时行为作出推荐的问题。本文设计并实现了一个基于流计算的实时推荐系统,系统采用Flume收集日志,Kafka进行消息缓冲,Spark Streaming进行实时流处理,Redis与Mongo DB进行数据存储。将离线处理与在线处理相结合,离线处理部分完成复杂度高、运算量大的计算,在线处理部分完成轻量级的一些计算,使得推荐系统能够实时响应用户行为。本文通过实验对设计出的实时推荐系统进行了准确性和性能测试,实验证明基于Spark Streaming的实时推荐系统具有良好的性能。
其他文献
2014年财政部下发《关于全面推进管理会计体系建设的指导意见》,正式将财务管理的职能从后台推向前台,基于过程管理的业财交叉预警评价模型正是一项将财务风险预警职能向业务
[目的]探讨系统康复训练在老年髋关节骨折术后功能恢复的应用效果。[方法]将60例老年髋关节骨折术后患者随机分为对照组和治疗组。对照组30例予抗感染等常规术后处理,治疗组3
目的:探讨硫酸镁与拉贝洛尔联合应用治疗早发型子痫前期对产妇分娩结局的影响。方法:选取2014年1月~2017年1月我院收治的134例早发型子痫前期妊娠孕妇为研究对象,随机分为观察
目的:探讨激励理论在妇产科新护士管理中护理技能的影响评价。方法:选择从2017年期间新入职妇产科新护士40名纳入研究工作,按照随机数字表法进行分组,划分为两组。对照组仅接
<正> 深圳特区是我国实行对外开放政策的产物,要搞好特区建设关键在于能否引进外资,而要引进外资首先要有一个良好的投资环境,其中完善特区的法制和提供良好的法律服务条件,
目的:探讨在医院月子中心“坐月子”新的产褥期保健模式下产妇各器官复旧的情况,产妇心理体验、新生儿体格发育情况。方法:以2004年4月~12月在我院月子中心“坐月子”的30名
用电化学阻抗谱研究了丙烯酸系乳胶作为混凝土添加剂或钢筋表面涂层时对钢筋腐蚀行为的影响。加速腐蚀试验结果表明混凝土中添加乳胶后能够延缓钢筋表面钝化层的破坏,而对混
目的:构建一个基于RFID技术的孕产妇无缝健康服务体系。方法,在对RFID技术相关基本理论分析的基础上,从RFID标签的功能设计出发,对孕产妇无缝健康服务体系的网络结构进行设计