基于深宽度模型的点击率预估方法研究

来源 :大连理工大学 | 被引量 : 0次 | 上传用户:yeka
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在线广告收入占据着互联网收入的半壁江山,在线广告中,点击率预估是一项重要的研究内容。从传统的机器学习算法到深度学习技术,研究人员不断尝试着将一些新型的框架应用到点击率预估中,同时对计算机视觉、自然语言处理领域的技术进行探索,利用其在点击率预估问题中发挥效用。
  本文总结了近年来点击率预估领域中的研究成果,发现一些基于特征组合的深宽度模型虽然在特征组合方面达到了很好的效果,但是却缺乏对用户的历史行为序列的利用,模型无法学习用户的兴趣演变,使其表达能力受限。在此背景下,本文通过研究点击率预估领域中用户历史行为建模的方式,从用户的行为序列入手,对原有的深宽度模型进行扩展与改进。论文的内容包括:
  首先对近年来的点击率预估模型进行归纳与分类,主要分为基于特征组合和用户行为序列的点击率预估模型。通过调查研究发现,在进行用户历史行为序列处理时,一般分为两种方式,分别为基于循环神经网络的方式和池化操作,通常利用注意力机制实现池化。同时介绍了相关的技术,并且对深度学习技术和注意力机制在点击率预估问题中的应用做了说明。
  其次提出了基于循环神经网络的深宽度模型。本文利用循环神经网络在处理序列信息时的优势,将其融入到深宽度模型中,弥补了原本的深宽度模型学习用户序列数据之间的依赖关系时能力不足的问题,同时提出了一种基于注意力机制的深宽度模型,利用注意力机制对用户的历史行为进行建模,探索用户不同的历史行为对当前行为的影响,并使用数据增强技术来处理用户行为序列长度过短的情况。本文在引入历史行为序列的时,尝试了使用输入层连接和顶端连接两种方式。
  最后设计实验验证本文所提出模型的有效性。本文选取近些年常用的模型作为对比,实验结果发现,本文所提出的模型在AUC、准确率和logloss指标上均有所提升。之后本文对比分析了两种不同方式的用户行为序列处理的实验结果,得到基于注意力机制的改进方式在处理噪声信息的能力上要优于循环神经网络的结论,使用顶层引入历史信息的方式要优于使用输入层引入的方式。最终,本文探索了不同的用户行为序列长度对所提出模型效果的影响,发现基于注意力机制的方式在处理用户行为序列信息时,随着长度增加而效果变好,RNN是先增加后趋于平缓。
其他文献
【摘要】目前,网页设计已成为中职信息专业学生生活环境中不可或缺的一部分。然而,学生自创的网页设计作品却不容乐观。究其原因有学生自身的综合素质因素,也有学校专业课堂教育的不足、社会环境的影响。提高学生的综合素质也应成为学校专业课堂教育的一项重要内容。  【关键词】网页 综合素质 中职 信息专业  【中图分类号】G71 【文献标识码】A 【文章编号】2095-3089(2014)09-0248-02 
期刊
【摘要】普及教育的公平性,提高教育的实效性,是我国现代教育面临的重要问题。外来务工子女作为社会的特殊群体,其教育问题逐渐成为我国现代教育的重要障碍之一。全社会要加大重视程度,培养外来务工子女的积极心理,促进其身心健康发展。  【关键词】外来务工子女 积极心理 健康成长  【中图分类号】G621 【文献标识码】A 【文章编号】2095-3089(2014)02-0003-02  近些年来,随着我国城
期刊
【摘要】活动区活动是一种师幼互动的双边活动。对幼儿来说,活动区活动是一种自由探究的“游戏活动”,其形式多样、内容丰富,幼儿在与材料、同伴、教师的互动中得到发展。对教师而言,活动区活动给教师在教育观念、教育能力、专业水平方面带来极大的挑战。教师需要通过活动区设置、材料的选择与投放、对幼儿活动行为的观察与指导,来实现活动区课程的教育价值,并在反复的探索与实践中获得成长与提高。  【关键词】活动区 课程
期刊
随着商业航天的发展,卫星的数目呈现出规模化增加的趋势,然而航天测控系统中的测控资源数量相对有限,因而如何对现有测控资源进行有效调度,是在有限测控资源的条件下完成测控任务的关键。测控任务的完成是关系到卫星正常运行与用途正确发挥的重要环节,因而对于测控资源调度问题的研究具有重要的意义。由于测控背景的复杂性,多星测控资源调度呈现出复杂性、多样性、动态性的特点,并且存在测控场景动态性强、测控冲突复杂以及测控资源利用合理性的难点。针对多星测控资源调度问题的特点与难点,引入深度强化学习对该问题进行优化决策,以应对海量
Spiking神经网络是目前研究的最多的类脑神经网络,相比于传统的人工神经网络,Spiking神经网络是对生物神经元的精确建模,对信息的处理是模拟的突触间的信号发放,而且是基于事件驱动的,只有放电达到时才会参与计算,在理论上拥有低功耗和强大的非线性处理能力。
  Spiking神经网络通常用于时空模式识别,即处理带有时间和空间特征的数据,目前在图像分类中,Spiking神经网络分类效果不好或者需要结合传统的分类方法。本文根据视觉皮层的图像处理算法,建立具有复杂网络结构和生物可行性的Spiking神经
风力发电被认为是现代电力系统中最有前途的可再生能源之一。由于海上风能资源丰富,视觉冲击和噪声冲击更小,因此成为当下学者们的研究热点。随着海上风电场的商业规模化,风力机的物理尺寸逐渐增加,有必要重新考虑风力机负载减轻的效果。且漂浮式海上风力发电机组没有固定底座,其浮式平台具有六个自由度,运动特性更加复杂。在此复杂的运行环境下,系统参数是难以确定的。风和波浪对结构的耦合作用也很难计算。亟需先进的控制方法来维持输出功率稳定并降低机组载荷。独立变桨距控制方法可以有效降低机组载荷,解决载荷分布不均匀的问题,同时能够
加热已成为工业制造过程中不可或缺的工序之一,而微波加热的方式更是凭借其选择性能量吸收、启动速度快、资源利用率高、加热时间短、清洁环保等优点脱颖而出。微波加热在工业领域不仅有着广泛的用途,如固化、烧结和干燥等等,更是在促进物化反应和改善媒质加工过程等方面发挥着举足轻重的作用。
  对于工业隧道式多源微波加热系统而言,其设备相对封闭,内部反应环境恶劣,以致难以观察到媒质的加热状态。加热过程中可能出现的“热点”或“热失控”现象将使产品质量恶化,甚至带来安全隐患,将严重阻碍微波加热技术的实际工业应用。另外,
随着科技的发展,移动机器人在工业、农业、危险有害场所以及城市安全等领域都得到了很好的应用。路径规划作为移动机器人的关键技术之一,主要任务是根据环境信息,利用相关算法规划出一条无碰撞、最优或近似最优的路径,使机器人能够安全的从起点到达终点。按照移动机器人对环境信息掌握程度的不同,路径规划算法可以分为全局规划和局部规划。全局规划是一种离线规划,要求事先掌握环境的全部信息,但大多的环境是充满变化的,存在未知的障碍物,利用全局规划算法可能使移动机器人无法避开障碍物;局部规划一般应用于未知的环境中,通过传感器实时获
由于锂离子电池具有长循环寿命、高密度能量等优点,其在军事、工业、社会等领域被广泛应用,但由其失效而引发的安全事故时有发生。准确地对其进行剩余寿命(RUL)预测,可切实保障电池运行过程的可靠性和经济性。由于Wiener过程可以描述非单调退化过程,且具有良好的物理解释与数学特性,而成为了RUL中最主流的模型之一。然而,锂离子电池由于操作条件、内部机制等变化,其退化会出现时变不确定性、变点、容量恢复问题,造成退化轨迹呈现两阶段甚至多阶段现象。现有的基于Wiener过程的锂离子电池RUL预测方法一般用于单阶段退化
电能需要通过电能传输媒介传输,电场耦合式无线电能传输(Electric-field Wireless Coupled Power Transfer,ECWPT)技术是电能接入的新兴技术,它以高频交变电场作为能量传输媒介,实现电能从电网或电源到负载端的无线传输。这一系统的耦合机构以极板为主,它的结构简单,形状易变成本低;正常工作时对周围环境产生的电磁辐射小,且不会使极板之间以及附近的导体产生涡流效应;能够通过金属障碍物传输电能。所以,很多学者开始关注这一技术。
  随着ECWPT技术的进一步应用,有必