分布式计算模式下推荐系统模块研究与设计

来源 :兰州交通大学 | 被引量 : 0次 | 上传用户:onlywxx
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网时代下的信息数据量快速增长,提高了用户查找信息的难度。推荐算法作为一种基于数据的信息过滤与处理技术,为解决此类问题提供了基础理论支撑,并在多种场景得到了良好的应用。本论文以电影作为推荐对象,通过情感分析方式改善电影评分矩阵的稀疏性,研究融合多种推荐算法建立混合推荐模型,设计实现了分布式计算模式下的个性化电影推荐系统。论文通过对国内外研究的历史和现状进行综述,分析目前存在的问题,提出了改进意见和思路,并阐明论文研究内容、研究目的和研究价值。论文对相关的概念和基础理论进行了概述,包括实验数据的获取方式、文本的处理流程、情感分析的研究现状和基本方法、传统推荐系统算法和目前存在的问题、以及分布式框架Spark的基本结构和功能。为有效改善原评分矩阵稀疏性对推荐结果的影响,情感分析部分对电影评论文本进行了细粒度情感分析。根据情感分析结果分别建立用户关注模型和电影特征模型,计算出情感预测评分矩阵;再将该矩阵按照矩阵填充算法填充入原始评分矩阵中,以改善原始矩阵稀疏性问题。在推荐系统模块设计部分,详细介绍了基于物品的协同过滤算法(Item CF)和隐语义模型协同过滤算法(LFM)。以优化后的稠密电影评分矩阵为基础,分别通过掺杂混合和加权混合的方式融合LFM和Item CF,建立新的混合电影推荐算法。在实验验证部分通过情感分析,预测用户评分结果;采用均方根误差(RMSE)确定LFM的隐含主题个数;以准确率和召回率两个指标作为评价依据,分别对混合电影推荐系统和单个电影推荐系统,以及掺杂混合方式和加权混合方式的推荐效果进行了比较分析;为验证分布式计算对于推荐系统运算效率的提升,利用分布式计算框架Spark运行混合电影推荐系统模块,同时与分布式计算框架Hadoop和单机在运算速度方面进行了对比,并展示了推荐结果。本文研究结果表明,掺杂混合和加权混合推荐系统算法在准确率、召回率两个指标方面相较于单一的传统推荐算法都有明显提升,且加权混合模型相比于掺杂混合模型更为出色,有助于提高推荐系统的推荐质量。在处理大数据量的电影推荐系统时,结果显示,Spark相较于Hadoop和单机,可以更有效的缩短运行时间,解决了单个计算机运算速度和资源的不足,有助于实现稳定的快速推荐系统。
其他文献
学位
学位
学位
学位
环境感知是自动驾驶系统中的重要环节之一。感知系统通过车载传感器采集信息并进行处理,处理后的目标信息供自动驾驶系统实现正确的决策和精准的控制。为保证环境信息采集的全面性和准确性,目前自动驾驶车辆普遍采用多台相机与雷达组合获取环境信息的方式,并将不同类型传感器采集的信号进行数据融合处理,实现目标检测。由于相机存在易受遮挡,光线,路况等因素的影响,因此,视觉目标检测方法有时不能准确地提供前方障碍物的信息
随着西部大开发战略的实施,我国西南部地区的地形复杂,沟壑纵横,大跨连续刚构桥的建造也日益增多,为了跨越复杂地形,连续刚构桥的墩高也越来越高。悬臂浇筑施工法是该类桥型最常使用的施工方法之一。悬臂浇筑法施工中需要进行多次结构体系转换,为了施工安全以及成桥线形平顺、满足设计要求,进行桥梁施工控制是必不可少的。在地震作用下,深水结构与水的相互作用会对结构的动力特性产生不可忽略的影响,因此在设计及验算中都应
学位
近年来我国高铁桥梁建设发展迅速,挖井基础桥墩在铁路桥梁中得到了越来越多的应用。挖井基础是一种借助人工或机械直壁开挖,待基坑开挖完毕后,采用混凝土直接浇筑而成的桥梁基础结构。本文通过对现有挖井基础应用的文献查阅,总结挖井基础的结构特点,以及这种刚性基础的震害特点;同时根据铁路桥梁挖井基础桥墩的结构特性,进行模型的设计与制作。基于拟静力试验和有限元分析,研究了基础深宽比为1:0.67的挖井基础桥墩模型
学位
近年来,我国汽车制造业蓬勃发展,我国的汽车保有量有望于2021年年底超越美国,成为世界第一汽车保有大国。然而道路上越来越多的车辆引发的道路拥堵和交通安全事故也在逐年攀升,因此车辆的自动驾驶技术逐渐成为了当下汽车领域的一个研究热点。局部路径规划作为自动驾驶避障路径规划的一个重要研究内容,对自动驾驶汽车实现自动避障起着决定性的作用。先进的局部路径规划功能不仅需要车载传感器的硬件支持,还需要高性能的路径