基于自注意力机制的长短期神经网络推荐模型研究

来源 :东华大学 | 被引量 : 0次 | 上传用户:gogouu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着大数据时代的来临和5G技术的飞跃发展,诸如网易新闻、今日头条、腾讯新闻等在线新闻平台成为人们获取信息的重要媒介。在享受信息便捷的同时,信息过载也逐渐成为人们高效获取信息的巨大壁垒。个性化新闻推荐系统可以帮助用户从海量新闻中浏览到符合其个人喜好的新闻资讯,有效缓解信息过载问题,也可以帮助新闻平台提升用户体验和用户粘性。现有的基于深度神经网络的新闻推荐系统通常会对用户的过往浏览历史行为做统一处理,忽略了用户的长期喜好和短期喜好之间的差别,此举会直接影响用户行为特征提取的准确性。同时,如何准确地捕获用户短期内兴趣迁移现象也是新闻推荐系统中急需解决的难题。论文针对上述问题,研究了基于门控循环单元(Gated Recurrent Unit,GRU)的长短期记忆模型,提出了基于自注意力机制的长短期记忆模型。本文利用隐语义模型(Latent Factor Model,LFM)提取用户的长期喜好,并利用GRU从用户的浏览记录中获得其短期喜好。针对短期内用户兴趣迁移问题,本文采用了基于时间间隔的自注意力机制去表征用户的兴趣迁移程度。论文进一步研究了将上述两种思想结合后的新模型,通过实验验证了本文所提出的基于自注意力机制的长短期记忆模型相较于传统的长短期记忆模型,提升了推荐精准度。具体来说,本文的主要研究从以下三个方面进行:(1)相较于一般模型中直接随机初始化GRU隐藏状态的做法,本文选择利用用户的长期喜好特征初始化GRU。在利用GRU分析用户的浏览记录从而得到用户的短期喜好特征时,该做法不仅可以强化长期喜好的影响,也可以优化模型的训练效果。本文提出的模型利用Word2Vec技术分析新闻标题信息、新闻所属一级类别信息和新闻所属二级类别信息,从而共同构成新闻特征。同时,还加入了基于新闻属性的自注意力机制来调节不同新闻属性的权重,优化新闻特征提取的精准度。(2)本文提出的基于自注意力机制的长短期记忆模型在分别得到用户的长期喜好特征和短期喜好特征后,将二者进行级联,方便在后续预测用户对候选新闻的点击率时,也能够很好地区分两个喜好。本文同时提出了一种基于时间间隔的自注意力机制,通过考虑两条新闻之间的时间间隔信息来缓解用户兴趣迁移现象。该注意力机制可以调节两条用户已浏览过的新闻之间的注意力权重,确保时间相隔越远的两条新闻之间的相关程度会越小。(3)基于两组真实的公开数据集,将本文所提的改进模型与新闻推荐领域内的四种常用模型进行对比。实验结果表明,在不同的数据集上本文提出的基于自注意力机制的长短期记忆模型都具有良好的推荐效果。
其他文献
全球智能化进程的加快让自动化机器人产品逐步走入餐饮服务行业甚至是家庭,以扫地机器人为例的智能产品有效解决了人们追求精致生活与“懒人”本性的矛盾。疫情期间对厨房智能产品的需求攀升暴露出了家庭场景智能化的不足与潜力,相关研究表明,厨房作为家居环境中的重要组成部分拥有极大的优化空间。机械臂的技术发展为“释放双手”提供了新的可能性,而冰箱作为厨房烹饪及日常流程中的重要环节,解决如何从中抓取物品是保障作业流
在纺织工业中,经常会出现纱线断纱或续纱的情况。因此,纱线打结问题是不可避免的。空气捻接法、机械打结法是目前最常用的打结方法,但是大部分情况下只适用于一种纱线,并且机械结构十分复杂。针对上述问题,本文提出了一种基于磁悬浮的纱线打结方法,利用安装了纱线夹的悬浮体牵引单向无限延伸的纱线在空间中运行绕环、穿插等成结轨迹,实现多种类型纱线的打结,并尽可能地简化机械结构。该方法的提出对于纱线接头技术的创新性研
随着计算机技术的发展,笔记本电脑的功能愈发强大,组成结构也愈发繁琐,这就对其稳定性测试带来了一定的挑战。BIOS(Basic Input Output System)作为计算机最底层的一环,是直接沟通协调各主要硬件设备的控制者,传统手工测试BIOS的方法已逐渐无法满足当前对笔记本电脑稳定性的测试需求,而利用自动化测试手段能实现高效可靠的测试流程。由于BIOS中无法直接运行现有的自动化测试工具,因此
近年来,互联网的飞速发展导致网络信息量的指数级增长,在浩瀚的信息流中搜寻信息一直是让用户头疼的问题,直到智能推荐系统的出现才得以大幅缓解,它在解决用户搜寻信息难问题的同时也给企业自身带来了巨大的利益回报。在这样的时代背景下,电影领域的推荐系统也随之而来。因为深度学习强大的特征学习能力,在当今电影推荐系统的推荐算法中已经成为了主流,其中通过深度学习提取用户行为序列信息进行推荐是当今许多研究人员关注的
互联网的急速发展深刻的影响着人们的日常学习、工作和生活,尤其是移动互联网的发展与普及,大大增加了互联网数据流量的消耗。网络世界繁荣发展的背后,也有着不可轻视和忽略的威胁与风险,例如网络攻击、隐私泄露等。因此能够提前利用入侵检测系统对风险行为进行预警就显得尤为重要。传统入侵检测方法(如专家系统)难以有效的检测新型网络攻击,入侵检测领域迫切需要更加智能的技术来处理当前面临的难题。机器学习算法将网络攻击
喷气涡流纺自1997年面世以来,就以毛羽少、纺纱速度快等显著特点得到迅速发展,并广泛应用于多种纺纱场合,其中之一就是包芯纱的纺制。目前与喷气涡流纺包芯纱相关的研究大部分都集中在纱线质量提升和对应的纺纱参数优化,对于包芯纱的成型装置关注较少。如包芯纱的芯丝穿引与废纤清洁均采用手工操作,效率低下。因此对喷气涡流纺装置的研究具有现实意义。本文针对喷气涡流纺纱机的结构特点研究设计出一种芯丝穿引系统,适应于
静电纺丝技术作为制备纳米纤维最简单快捷的方法,它所制备的纳米纤维膜有着孔隙率高、比表面积大等特点,因此在废水过滤材料、医用防护材料、传感器等生产领域得到广泛应用。但长久以来,纳米纤维膜的制备过程由人工督察,因为喷射流的不稳定及无规则喷射导致经过长时间的连续纺丝易出现纺丝不稳定或堵塞等异常情况,而人工无法通过肉眼察觉,并且实验试剂通常带有毒性与挥发性,对人体健康有一定的危害。若基于机器视觉采用相机监
随着我国经济的发展,越来越多的国际贸易、货物运输依赖于集装箱。集装箱减少了货物运输的成本,从而推动世界经济的发展,但其广泛应用导致港口的吞吐量增速加快,容易造成各大港口拥堵,杂乱不堪,给港口的管理造成巨大的压力。为了对集装箱实行更好的管控,集装箱编号识别系统应运而生。传统集装箱编号识别技术容易受到复杂环境包括光照、字符倾斜、扭曲、破损等影响。近年来,由于深度学习具有快速准确的优点而成为模式识别重要
随着工业自动化技术的进步,具有高效率、高安全性、高柔性的工业机器人在制造业中的应用正变得越来越广泛,能够提高机器人工程开发效率、降低开发成本的机器人仿真系统也成为了研究的热点方向。本文从机器人仿真系统与PLC控制器信号交互的角度出发,开发出一款集成了机器人三维仿真、通信、传感器模拟、机器人程序解析、运动轨迹规划等功能的工业机器人跨平台仿真系统。本文的主要研究内容如下:以工业机器人跨平台仿真系统为研
互联网的蓬勃发展带动了社会的整体变迁,使社会生产力得到快速发展。互联网与传统行业的结合改变了人们的生活方式,已成为人们生活中不可或缺的一部分。对于互联网公司来说,广告变现是公司赖以生存的手段之一。点击率预估是广告变现的重要环节,其效果直接影响广告投放的成功率。行业内对点击率预估问题最为常见的评价指标为AUC(Area Under Curve)。它能直观地反映出广告点击率预估的效果:AUC值越大,说