【摘 要】
:
协同过滤推荐算法是目前最常用的推荐算法,被广泛应用在推荐系统中。基于矩阵分解的协同过滤推荐算法因为其在预测精度及扩展性上的优势,目前被大部分大数据处理系统选为推荐
论文部分内容阅读
协同过滤推荐算法是目前最常用的推荐算法,被广泛应用在推荐系统中。基于矩阵分解的协同过滤推荐算法因为其在预测精度及扩展性上的优势,目前被大部分大数据处理系统选为推荐系统的解决方案。梯度下降和交替最小二乘法是两种最为常用的解矩阵分解问题的训练算法。因为交替最小二乘法天然契合BSP模型,目前常用的大数据系统,如Hadoop,Spark都使用交替最小二乘法作为解决方案。至于梯度下降算法,虽然它的计算复杂度较低,但是它需要细粒度异步操作,BSP模型无法有效地支持这种需求。在本文中,我们提出了一种基于数据流的协同过滤推荐算法,简称DCF(Dataflow Based Collaborative Filtering Algorithm)。我们使用梯度下降作为训练算法,并利用数据流模型细粒度调度,异步执行,动态分配资源的特性有效地进行支持。然而,将数据流应用于协同过滤推荐算法仍然有很多挑战,比如高网络负载和细粒度调度代价。我们提出了三种优化(虚边优化,多播优化,Mini-batch优化)来减少算法的计算量和网络负载,减少细粒度依赖检测的代价。我们根据DCF算法实现了基于数据流的推荐系统,其中包括数据解析,模型训练及模型校验完整的训练测试流程。我们使用公开的推荐数据集(Netflix,Movielens,Yahoo Music)进行实验验证。实验结果表明,在公开的数据集下,我们提出的DCF算法相比与基于Spark的交替最小二乘法有着23倍的性能提升,对于Graphlab的梯度下降算法有着18倍的性能提升。
其他文献
了解诗歌的抒情方式与思想内容,有助于提高学生诗歌鉴赏的能力。诗歌的抒情方式包括直接抒情和间接抒情两种,而间接抒情又可分为借景抒情、借物抒情、寓情于景、寓情于物等。
本文通过对目前综合型医院和社区医疗服务的发展现状及面临的问题进行分析,提出建立综合型医院辐射社区医疗服务的网络模式,对发展综合型大医院与社会医疗双重作用具有重要意
舒曼是德国19世纪浪漫主义重要的音乐家之一,其作品融合了浪漫主义风格和浓厚文学色彩。在他众多的作品中,最著名的是他的艺术歌曲。在艺术歌曲的创作中,舒曼突破以往的形式,
随着新能源以及电动汽车行业的不断发展,电动汽车已经成为社会的焦点,未来将有大批车用动力电池达到退运条件。电动汽车对于电池的性能要求较高,当电池容量衰减至额定容量的8
随着社会的发展、技术的进步,特别是低功耗蓝牙诞生之后,越来越多小巧又低功耗的智能家居进入市场。而按摩这种传统的养生方式也开始向智能化小型化发展。本研究采用低功耗蓝
<正> 翻看新闻史方面的书籍,以研究报纸历史者为众,而涉及广播电视历史的为数不多,且多为断代史。广播,尤其是电视的发展一日千里,深刻地影响着人类的现在和未来。人们为之赞
钢琴作品的诠释是钢琴演奏最重要的环节,为了诠释得更确切、形象,需要调动多方面的手段。将钢琴诠释作品与美术作品相联觉,以穆索尔斯基的钢琴套曲《图画展览会》为例,详尽的
在文天祥《指南录后序》中,作者慷慨激昂的背后似乎隐含着许多欲说还休的内容。本文对这种叙述状态与作者复杂的创作背景及其创作心理进行了深入的分析,试图揭示出文本沉郁的
文章综述了自组装膜在生物矿化中的应用研究进展。介绍了有机硅烷类、有机硫化物类、脂肪羧酸类和醇胺类等自组装膜体系。概述了自组装膜在碳酸钙、草酸钙和羟基磷灰石研究中
随着石油、天然气等工业的发展,管道输送在国民经济中的地位越来越重要。然而,石油、天然气具有易燃、易爆的特点,一旦发生泄漏,极易造成火灾、爆炸等恶性事故。因此对输配管