基于自注意力机制的推荐算法研究

来源 :山东大学 | 被引量 : 0次 | 上传用户:dbird
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的高速发展,人们能够接触到的信息迅速膨胀,将有价值的物品和信息推荐给感兴趣的人,可以极大地提高整个社会的运转效率.因此,近些年来,针对推荐系统的研究和应用得到了学术界和工业界的广泛重视.如今随着计算机算力的提升和Tesnorflow、Pytorch等深度学习框架的出现.以神经网络为代表的模型在推荐算法领域大放异彩.本文主要着眼于推荐系统的排序和召回两个阶段.在排序阶段,我们将召回的结果输入排序模型中,选出用户最感兴趣的物品并呈现在用户面前.在召回阶段,我们从所有物品的集合中选出用户可能感兴趣的一些物品,作为排序阶段的输入.从自然语言处理领域产生的Transformer模型[1],不仅在该领域产生巨大影响,还迅速被应用于计算机视觉和推荐算法领域.Transformer模型的核心自注意力机制是处理序列数据的有力工具.本文以将自注意力机制为基础,探讨其在推荐系统的排序阶段和召回阶段的应用.本文的主要工作和创新点如下:1.针对排序阶段,本文使用局部敏感哈希算法[2]和K-means聚类算法对自注意力机制中的查询向量矩阵进行降维.我们先使用局部敏感哈希算法将嵌入向量转化为二进制序列的哈希码,然后使用基于汉明距离的K-means算法对哈希码进行聚类,由聚类结果产生权重矩阵来降维查询向量矩阵,从而构建了新的聚类自注意力层.我们将聚类自注意力层应用到推荐系统的排序任务当中,构建新的聚类自注意力模型,并将其与几个常用模型进行对比.在两个公开数据集上,本文所提出的模型在AUC指标下均保持了和经典自注意力模型相当的效果并且优于其他模型,此外,我们的模型与经典的自注意力模型相比显著地节约了时间.2.针对召回阶段,本文考察了经典的双塔模型[3]和基于自注意力机制的SASRec模型[4].在此基础上,我们分别构建了用户邻居序列和历史行为序列,将自注意力机制和经典的双塔结构相结合,使用自注意力层代替经典双塔模型的全连接层,由此得到新的自注意力双塔模型.与经典双塔模型相比它可以有效利用序列信息,与SASRec模型相比它能有效地利用用户信息.我们选取了两种损失函数并且在两个公开数据集上进行数值实验,相比于经典双塔模型,自注意力双塔模型在HR@10和NDCG@10指标上均有所提升.
其他文献
疼痛一直是困扰医生和患者的一大难题,近年来镇痛药的种类也逐渐增多,从生活中常用来缓解头痛、腰痛的布洛芬,到医院手术常用的吗啡等药物,镇痛药的使用极大地减轻了患者的疼痛,也有利于医生为患者进行更好地治疗。但也出现了镇痛药物滥用现象,其中使用非甾体镇痛药会导致患者出现白细胞降低不良反应也引起医生和学者的关注。但目前缺少对于患者使用非甾体镇痛药后是否出现白细胞降低不良反应的合理预测模型,本文建立机器学习
学位
具有纳米级精度、毫米级行程的定位装置是芯片制造、精密装配、航空航天、生物医学等高新科技领域的共性核心部件。压电式尺蠖驱动器就是这样一种高精度、大行程、大承载力的定位装置,正吸引着越来越多的研究。典型的压电尺蠖驱动器采用至少两个箝位压电陶瓷和一个驱动压电陶瓷实现双向驱动,过多的压电陶瓷导致驱动器结构复杂,电子系统复杂,成本高。减少压电陶瓷的使用可以有效地减轻这些问题;然而现有采用较少压电陶瓷(1或2
学位
作为“双减”政策实施和《义务教育地理课程标准(2022年版)》出台后的首次中考,福建省中考地理试题稳中有变,变革的路向具体表现在:更加注重双基考查与能力培养,突出地理活动和实践特色,加大建设美丽中国理念的渗透,践行“教育应当坚持立德树人,对受教育者加强社会主义核心价值观教育,增强受教育者的社会责任感、创新精神和实践能力”的要求,为义务教育阶段的地理教学和备考指明了方向。
期刊
近年来,我国家庭财富总额逐年攀升,截至二零二零年底,我国家庭财富总量已超过日本,仅次于美国,位居全球第二。然而,我国家庭财富绝大部分集中在房产配置上,财富风险高度集中化,金融资产的配置也主要集中在非风险金融资产上,风险金融资产的配置意愿和深度都较低。不合理的资产配置结构不仅不利于家庭财富的保值增值,也不利于经济社会的稳定发展,因此优化家庭资产结构显得尤为重要。影响家庭投资决策的因素有很多,多数学者
学位
碘化铯(CsI)晶体具有良好的X射线或γ射线到可见光的转换效率,光产额高,广泛应用于γ射线光谱分析、放射线照相术、各种探测器以及核医学成像等领域。但是由于CsI晶体硬度很低,传统切割和抛光工艺无法获得达到纳米级表面粗糙度的CsI晶体,限制了其在X射线三维显微镜等精密光学领域的应用。超精密切削是软塑性材料超精密加工的有效方式,但尚未见与CsI晶体力学性能和超精密切削相关的研究。本文研究了不同应变率下
学位
<正>试题情境是对现实情境的再现,是命题人员为了提出问题实现测评功能而将某个现实问题以文字、数据或者图形的形式进行表述。试题情境与生活息息相关,试题情境应来源于生活。试题情境可以具有一定的复杂性,但不能超出初中课程的内容范畴和初中生的认知范畴。新课标要求命制试题时要考虑情境的真实性、地域性和适切性等。
期刊
随着洗钱罪日益猖獗和洗钱方式越来越复杂,加之《刑法修正案(十一)》从规范的层面对洗钱罪予以修改,使得上游犯罪本犯成为了犯罪主体之一。但是,犯罪主体范围的扩大化在加大了对洗钱罪的打击力度的同时,也使得洗钱罪的共同犯罪进一步成为理论上和实践中面临的困境,因此有必要对洗钱罪的共同犯罪参与人进行明确的划分,以犯罪事实支配理论为基础确定共同犯罪参与人的类型。结合我国对共同犯罪参与人的分类标准,应当首先将洗钱
学位
量化投资通过计算机对大量金融数据进行分析,根据建立的投资决策模型进行交易判断以及交易执行,能够迅速更新全方位的实时数据,理性决策,平衡分险与收益,及时把握机会进行交易。而多因子策略,作为最经典的量化投资策略之一,一直在学术界和业界中有着广泛的应用。但是随着国内金融市场的日趋成熟,量化数据的日趋完善、详尽,面对如今复杂多变的金融市场和琳琅满目的金融产品及其衍生品,简单的筛选因子、线性回归构建模型的方
学位
<正>2009年8月1日,外汇局发布《关于境外机构境内外汇账户管理有关问题的通知》(汇发[2009]29号,下称"29号文"),NRA账户(Non-Resident Account,境外机构境内外汇账户)正式面世。从近年来市场主体对NRA账户的实际使用情况看,其在促进贸易投资便利化,便利银行为"走出去"企业提供金融服务方面发挥了一定的积极作用;但同时一些运作模式及其伴生的潜在风险也值得关注。
期刊
随着国内外金融市场的不断扩张,金融参与者和金融研究者越来越关注和重视各类金融市场的风险度量和风险管理。我国金融市场现在发展的较为壮大,对风险的把控不容忽视,各市场的风险管理水平也应不断提升。现阶段风险度量应用的主要方法是在险价值(VaR),VaR不仅可以衡量单只股票或基金的风险,还能够度量较复杂的投资组合的市场风险,是较全面的市场风险度量工具。本文应用VaR方法度量风险。一般在进行风险度量时往往假
学位