基于流式计算的商品推荐系统的设计与实现

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:cg120900230
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网与信息技术的迅速发展,人们越来越喜欢从网络上购买商品。电子商务的兴起确实从很大程度上满足了人们便捷购物的需求,然而当商品数量趋于海量时,消费者面对琳琅满目的商品却有一种无从下手的感觉,这就是信息量达到一定规模时出现的信息过载困扰。从电商网站的角度看,如何让广大消费者喜欢和购买自己的商品,尤其是让长尾商品展现在需要的消费者面前;从广大消费者的角度看,如何在商品数量越来越多的情况下,迅速找到自己需要的商品,而不被噪声信息所干扰,推荐系统就是用来解决这一矛盾的重要工具。通过对用户过往历史数据的挖掘分析,从性别、年龄、兴趣爱好等多个维度,构建出用户特征模型,当用户下一次在网站上产生行为时,就能根据特征模型为用户进行推荐。推荐系统大多都面临实时性和冷启动问题,原因是计算用户、物品相似度矩阵或者进行矩阵分解需要进行离线计算且比较耗时。推荐冷启动是因为新注册的用户或新加入的商品还没有产生过行为,由于缺乏历史数据无法计算出正确的特征模型,因此不能给出准确的推荐结果。解决推荐冷启动有三种可选方案,一是根据用户的注册信息进行用户年龄、性别和地域推荐;二是引导用户将自己的偏好表达出来,利用收集到的用户兴趣标签进行推荐;三是将最近一段时间的热门商品推荐给用户。还有一种是通过第三方平台,利用该用户在第三方平台的行为记录作为推荐依据。本文主要采用热门商品推荐和流式计算来解决推荐冷启动问题,通过灰度测试验证表明,该方案能够有效解决推荐冷启动和实时性问题。通过对现有推荐系统和流式处理技术的深入研究,本文提出了面向流式计算的实时推荐方案。通过建立多层次数据分析处理平台,有效地解决了历史数据计算耗时和新数据实时响应的矛盾。该方案基于Apache开源的Storm和Hadoop框架,结合了Redis和Elastic Search的技术特点,从架构层面实现了离线计算、近线计算和在线计算。对历史数据的分析和建模,主要在离线计算平台中完成,用户实时交互数据的计算主要集中在近线计算平台,对推荐结果融合业务规则和重排序通过在线计算平台实现,各计算平台之间数据传输和共享通过Kafka消息队列和Redis缓存实现。实时商品推荐系统从架构设计上严格遵守了软件系统高内聚、低耦合、可扩展的原则。论文结构上,首先对推荐系统相关技术进行了综述,分析和比较了国内外推荐技术的研究现状和行业发展;其次分析了推荐系统的现实需求和现有推荐系统面临的实时性、冷启动以及多样性等问题,在此基础上总结出具有实时快速响应用户行为的推荐系统架构;最后,阐述了实时商品推荐系统架构及其实现方法。
其他文献
木质素是自然界中除纤维素外第二大生物质能源,由于其高分子结构中含有丰富的芳环结构,因此可以对其解聚制取芳香基化合物等小分子精细化学品,是实现生物质高效综合利用的重
介绍了辽宁省新民市青年农民宁柏松的寒富苹果示范园管理经验,对建园、整形修剪、施肥、浇水、花果管理、病虫害防治等果园管理环节都实施沈阳农业大学先进的管理技术,取得了
被动式THz成像系统通过探测人体THz波段的信息并成像,可实现非接触探测隐藏在衣服下的金属、非金属材质的物体,所以可实现危险品的非接触式检测。但被动式THz成像的图像具有
自我国上个世纪80年代实行改革开放以来,随着我国经济发展的速度不断加快、社会主义现代化进程的不断推进以及人民对生活品质的需求不断提高,各类基础设施以及居民住宅的数量
工作记忆(workingmemory,WM)是大脑在完成认知任务过程中负责暂时储存和加工信息的认知系统,是学习、推理、决策等高级认知功能的重要过程。对于工作记忆的神经机制的研究,一
目的探讨颈椎手法斜扳整脊配合葛根天麻白术半夏汤在颈性眩晕治疗中的临床效果。方法选取2016年12月至2018年12月我院60例颈性眩晕患者为研究对象,依照入院单双号分为2组,对
自改革开放以来,在党中央的正确领导下,我们初步己经解决了国内数亿贫困人口的温饱问题,并以此探索和积累了大量宝贵的扶贫经验,为世界贡献了中国智慧。在党的十八大会议上,国家绘制了到2020年全面建成小康社会的宏伟蓝图。其中,打赢脱贫攻坚战,实现现行标准下农村贫困人口全部脱贫作为衡量全面建成小康社会的标准,被写入国家十三五规划中。产业扶贫作为一种激活贫困户发展动力,阻断贫困基因的内生发展模式,是促进贫困
按半数有效量实验法将普通级KM小鼠随机分组,每组10只。给小鼠腹腔注射最小致死菌量(0.5ml/鼠)的金黄色葡萄球菌和大肠杆菌,接种细菌后,即刻以不同剂量的头孢克罗(化学名为3-氯-7-d-(2-
为支持和帮助受灾地区积极开展生产自救,重建家园,鼓励和引导社会各方面力量参与灾后恢复重建工作,使地震灾区早日恢复正常的生产生活秩序,《国务院关于支持汶川地震灾后重建