分布式计算模式下推荐系统的研究与设计

来源 :兰州交通大学 | 被引量 : 0次 | 上传用户:Mickey123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
现代信息技术的快速发展,可以帮助人们快速获取到所需要的信息,但是随着信息量的高速增长,想要在海量数据里面获取到自己想要的信息变得愈发困难。推荐系统为帮助人们实现信息过滤提供了有力的技术支撑。为解决单一推荐算法在数据量过大且用户和物品关联度不高时造成的数据稀疏性和冷启动问题,本文开展分布式计算模式下混合推荐系统的研究。主要的研究内容如下:(1)为了提高离线推荐的效果,基于统计的推荐算法和基于隐语义的协同过滤推荐算法设计离线推荐算法模型。利用数学和统计学相关知识,建立计算模型,训练不受或很少受时间影响的数据集,得到相关的离线推荐列表实现离线推荐。(2)为了实现实时个性化推荐,设计实时推荐算法模型,通过存取数据、日志采集、数据预处理和基于分布式的流式计算等相关流程,完成实时用户的数据采集并回写进离线数据库,计算得到推荐结果。(3)通过改进的TF-IDF算法调整标签权重,结合实时推荐模型,在实时用户信息采集时,与收集到的数据进行相似度计算,选择适量数据组成实时推荐列表,实现基于内容的推荐算法,使得实时推荐结果更能满足用户需求。(4)通过搭建Spark和Hadoop模式下的分布式实验平台,利用分布式集群技术结合混合推荐算法模型,进行基于混合推荐算法运行效率的对比实验,并采用相同大小数据集进行各平台运行速度对比实验。最后在分布式平台Spark上分析数据量的大小对均方根误差(RMSE)的影响,验证分布式计算模式下推荐系统的性能优势以及海量数据集下的推荐精度。(5)采用混合推荐算法模型的设计思路,设计实现了完整的分布式混合推荐系统,并利用开源电影数据集实现了基于Spark的电影推荐系统。从工程角度设计实现离线推荐和实时推荐,利用分布式工具在Spark平台下完成多种推荐算法间的相互通信,并结合开源的Web前端框架搭建可视化平台,实现了推荐系统的主要功能。研究表明,本文采用的混合推荐系统通过设计的混合推荐模型可以有效解决数据稀疏性问题和冷启动问题,提高了数据处理速度,为大数据处理提供了新的思路。
其他文献
环境感知是自动驾驶系统中的重要环节之一。感知系统通过车载传感器采集信息并进行处理,处理后的目标信息供自动驾驶系统实现正确的决策和精准的控制。为保证环境信息采集的全面性和准确性,目前自动驾驶车辆普遍采用多台相机与雷达组合获取环境信息的方式,并将不同类型传感器采集的信号进行数据融合处理,实现目标检测。由于相机存在易受遮挡,光线,路况等因素的影响,因此,视觉目标检测方法有时不能准确地提供前方障碍物的信息
随着西部大开发战略的实施,我国西南部地区的地形复杂,沟壑纵横,大跨连续刚构桥的建造也日益增多,为了跨越复杂地形,连续刚构桥的墩高也越来越高。悬臂浇筑施工法是该类桥型最常使用的施工方法之一。悬臂浇筑法施工中需要进行多次结构体系转换,为了施工安全以及成桥线形平顺、满足设计要求,进行桥梁施工控制是必不可少的。在地震作用下,深水结构与水的相互作用会对结构的动力特性产生不可忽略的影响,因此在设计及验算中都应
学位
近年来我国高铁桥梁建设发展迅速,挖井基础桥墩在铁路桥梁中得到了越来越多的应用。挖井基础是一种借助人工或机械直壁开挖,待基坑开挖完毕后,采用混凝土直接浇筑而成的桥梁基础结构。本文通过对现有挖井基础应用的文献查阅,总结挖井基础的结构特点,以及这种刚性基础的震害特点;同时根据铁路桥梁挖井基础桥墩的结构特性,进行模型的设计与制作。基于拟静力试验和有限元分析,研究了基础深宽比为1:0.67的挖井基础桥墩模型
学位
近年来,我国汽车制造业蓬勃发展,我国的汽车保有量有望于2021年年底超越美国,成为世界第一汽车保有大国。然而道路上越来越多的车辆引发的道路拥堵和交通安全事故也在逐年攀升,因此车辆的自动驾驶技术逐渐成为了当下汽车领域的一个研究热点。局部路径规划作为自动驾驶避障路径规划的一个重要研究内容,对自动驾驶汽车实现自动避障起着决定性的作用。先进的局部路径规划功能不仅需要车载传感器的硬件支持,还需要高性能的路径
互联网时代下的信息数据量快速增长,提高了用户查找信息的难度。推荐算法作为一种基于数据的信息过滤与处理技术,为解决此类问题提供了基础理论支撑,并在多种场景得到了良好的应用。本论文以电影作为推荐对象,通过情感分析方式改善电影评分矩阵的稀疏性,研究融合多种推荐算法建立混合推荐模型,设计实现了分布式计算模式下的个性化电影推荐系统。论文通过对国内外研究的历史和现状进行综述,分析目前存在的问题,提出了改进意见
学位
学位
学位