基于自注意力机制的协同推荐算法研究

来源 :哈尔滨工程大学 | 被引量 : 0次 | 上传用户:hy_mon
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着机器学习概率学派和贝叶斯学派的逐渐统一衍生出了很多的优秀的融合模型,比如用于文本处理的隐狄利克雷分布主题模型。这个模型极大地推动了自然语言处理领域的发展,近年来这个模型被证实在推荐领域中能够改善推荐模型的准确性、缓解数据稀疏性、增强可解释性。同时,注意力机制也从图像处理迁移到自然语言处理任务中,比如使用注意力网络和主题模型结合给用户推荐用户更加喜欢的产品。为了向用户推荐产品,推荐系统需要预测用户会如何回应一个新的产品,所以发现用户的偏好就显得尤为重要。以前基于隐因子向量的内积来预测评分,但是这种方法极度依赖用户评分矩阵的数据稀疏度。真实推荐场景下评分矩阵往往是极为稀疏所以仅仅使用隐因子模型推荐的质量就会下降。对于推荐可解释性,隐因子模型中的因子无法与现实中的属性实体建立关系,所以无法解释系统为什么给用户做出这样的推荐。在分析了大量的用户购买消费场景后,学者们发现有的用户不仅会给商品评分,而且还会写下自己的购物体验,商品满意度等评论信息。基于此,本文提出了一种2-LDA(Double-LDA)主题模型来同时抽取用户潜在主题因子和物品潜在主题因子。将评论信息作为模型输入的一部分以后,相当于给用户建立了更清晰的偏好特征。在数据稀疏的情况下系统仍然可以给用户做出合理的推荐,缓解了数据稀疏带来的推荐性能下降的问题。而且这些主题因子可以和实体属性互相对应,因此待推荐商品也获得较合理的可解释性。本文属于基于模型的推荐算法范畴,所以本文分析了矩阵分解思想的优点和缺陷。矩阵分解通过内积函数预测未知评分,这样预测的评分导致了只捕获了特征因子之间的线性交互的缺陷。因此本文为了弥补这种缺陷引入一种有效的神经协同过滤框架,神经协同可以处理真实的推荐算法场景中大量的非线性的特征。鉴于评论融合评分,本文将评分和评论建立映射函数关系。通过融合评分信息缓解了数据稀疏带来的冷启动问题,并且增强了推荐的可解释性。基于以上内容,本文在第三章提出了双主题神经协同过滤推荐模型(Double Topic Neural Collaborative,DTNC)。DTNC算法较好地解决了数据稀疏导致性能下降和可解释新问题。但是无论是内积还是神经网络,不同的因子进行交互的时候,不同的因子对于用户的重要程度是不同的。传统方法忽略了这种不同。为了解决这个问题,本文引入了一种自注意力机制神经网络改进DTNC模型。在第四章提出一种基于自注意力机制的协同过滤系统(Double Topic Neural Collaborative-Self Attention,DTNC-SA)。为了验证本文的想法和推断,本文在亚马逊电商推荐数据集上实施了大量的实验。从实验结果表明不论是本文提出的DTNC算法或者DTNC-SA算法都明显优于同策略的其他算法,并且本文还给出了这些算法的具体的流程,以及其中涉及到的一些参数推演的理论证明过程。
其他文献
在经济快速发展和经济全球化的背景下,让供应链企业成员协同发展已成为供应链管理的优化目标之一,然而由于企业间信息壁垒的存在,导致供应链中的成员不能及时、准确地掌握相关的有效信息。而区块链技术去中心化、信息难以篡改、共同维护公共账本等特点契合了目前供应链出现问题的解决方式,成为解决供应链现存问题的新方式。但区块链技术的高容量占用问题是区块链与供应链管理结合的主要挑战,因此设计并实现一个面向供应链管理的
终端直通通信(Device to Device,D2D)技术是一种允许一定距离范围内的用户通信设备进行直接通信的新型技术,它能够在一定程度上减轻基站的负荷,并且能够提升频谱的利用率以及系统吞吐量等性能。但同时,D2D通信的应用会给蜂窝网络的用户带来干扰,这样的干扰会影响到整体通信系统的性能。所以如何降低D2D通信系统中的干扰,优化系统的性能一直是研究的热点。鉴于此,本文致力于研究终端直通通信系统的
深度卷积神经网络通常包含数十亿的参数量,计算量和内存占用都十分庞大,严重阻碍了其在硬件资源以及功耗存在限制的轻量型移动端的应用与部署。目前主流的神经网络运算平台GPU由于其功耗、尺寸以及能量效率等问题,无法实现在移动设备端应用。现场可编程门阵列FPGA具有丰富的逻辑与运算资源,因其具备高并行度、高能效比、灵活可配等特性,十分适合作为在移动端搭载深度神经网络的实现平台。但是采用FPGA加速实现深度神
在如今信息资讯极度丰富的背景下,文字作为重要传播媒介承载着繁杂多样的信息。传统的文本处理方法在面对海量的文本资源已显得十分的低效。为了满足这些处理文本的需求,催生了一系列的文本处理研究工作。文本分类作为文本数据检索和分析的基础技术之一,能够将文本资源依据任务目标或后续分析工作需求有结构的组织起来。所以,文本分类研究因其实用价值,在自然语言处理领域受到了大量的关注。四险一金具体是指国家规定给予劳动者
随着新一轮教育改革的推进,科学素养的培育在教育体系中占据愈发重要的地位,我国正积极开展小学科学教育,对有助于提高学生科学素养的内容需要更多的挖掘和应用。科学展板在国际交流会议中发挥展示学术研究成果和交流研讨的重要作用,同时也是一种在国外科技节用于展示学生像科学家一样思考,进行学习交流的方法。科学展板能充分反映学生进行科学探究的细节,是促进学生养成良好探究习惯,展示探究成果的有效学习方法。在抗击新冠
各种资源是一个企业赖以生存的主要支撑,人力、人才正是企业的稀缺资源。对于人力资源的开发与保持,培训又是其最为有效的途径,是不断提升企业自身价值的一个重要环节。企业对员工开展培训是为了经营业绩的提升和战略目的的实现,这就需要企业开展培训时要有所产出和成效,企业要将培训绩效评估贯穿到整个培训进程中,使绩效作为一种驱动力引导着培训朝着提高企业和个人绩效目标进行。合理、科学的培训绩效评估可以帮助企业及时掌
目前共享经济和人工智能的兴起,同时伴随着互联网的发展,使现代企业的管理方式以及管理机构变得更加多元化。一方面,许多公司内部的组织结构出现扁平化;另一方面,90后员工已经成为企业不可或缺的一部分,种种原因使得企业实现创新管理成为必然趋势。90后员工有着自身独特的时代特征:他们的思维活跃,更加关注自身的价值。工作对他们而言不再仅仅是获取收入的手段,而是生活的一部分。他们希望从工作中获取乐趣,即工作与生
随着5G时代的到来,人们对高速率、大容量、低延时的通信需求不断增加。极化码(Polar code)作为第一个被证明能达到通信信道香农极限的纠错码,其凭借优异的性能已被确定为5G增强移动宽带(Enhanced mobile broadband,e MBB)场景控制信道的编码方案。近年来,深度学习展现出强大的处理复杂任务的能力,在数字通信领域(信道编码与译码、信号检测与分类、毫米波通信和端到端通信等)
最近几年中国处在经济转型、产业升级稳步推进的重要时期,而企业并购活动作为我国调整产业布局,优化产业结构的重要方式在过去两年内呈现出异常火爆的状态,据统计,2013年我国
智能电子锁是智慧家庭乃至智慧城市建设的典型代表,利用足够安全和便捷的智能电子锁对民宿、公寓进行智能化管理,构建共享公寓系统模型,符合人们的利益追求,能产生可观的经济效益和社会效益。现阶段,应用于民宿、公寓方面的智能电子锁的安全性能和便捷程度在某些方面不足以满足人们的需求,对共享公寓系统模型进行构建的研究也比较少,为此,本论文针对共享公寓和智能电子锁存在的问题,设计开发了基于身份证识别开锁的智能电子