论文部分内容阅读
在线广告收入占据着互联网收入的半壁江山,在线广告中,点击率预估是一项重要的研究内容。从传统的机器学习算法到深度学习技术,研究人员不断尝试着将一些新型的框架应用到点击率预估中,同时对计算机视觉、自然语言处理领域的技术进行探索,利用其在点击率预估问题中发挥效用。
本文总结了近年来点击率预估领域中的研究成果,发现一些基于特征组合的深宽度模型虽然在特征组合方面达到了很好的效果,但是却缺乏对用户的历史行为序列的利用,模型无法学习用户的兴趣演变,使其表达能力受限。在此背景下,本文通过研究点击率预估领域中用户历史行为建模的方式,从用户的行为序列入手,对原有的深宽度模型进行扩展与改进。论文的内容包括:
首先对近年来的点击率预估模型进行归纳与分类,主要分为基于特征组合和用户行为序列的点击率预估模型。通过调查研究发现,在进行用户历史行为序列处理时,一般分为两种方式,分别为基于循环神经网络的方式和池化操作,通常利用注意力机制实现池化。同时介绍了相关的技术,并且对深度学习技术和注意力机制在点击率预估问题中的应用做了说明。
其次提出了基于循环神经网络的深宽度模型。本文利用循环神经网络在处理序列信息时的优势,将其融入到深宽度模型中,弥补了原本的深宽度模型学习用户序列数据之间的依赖关系时能力不足的问题,同时提出了一种基于注意力机制的深宽度模型,利用注意力机制对用户的历史行为进行建模,探索用户不同的历史行为对当前行为的影响,并使用数据增强技术来处理用户行为序列长度过短的情况。本文在引入历史行为序列的时,尝试了使用输入层连接和顶端连接两种方式。
最后设计实验验证本文所提出模型的有效性。本文选取近些年常用的模型作为对比,实验结果发现,本文所提出的模型在AUC、准确率和logloss指标上均有所提升。之后本文对比分析了两种不同方式的用户行为序列处理的实验结果,得到基于注意力机制的改进方式在处理噪声信息的能力上要优于循环神经网络的结论,使用顶层引入历史信息的方式要优于使用输入层引入的方式。最终,本文探索了不同的用户行为序列长度对所提出模型效果的影响,发现基于注意力机制的方式在处理用户行为序列信息时,随着长度增加而效果变好,RNN是先增加后趋于平缓。
本文总结了近年来点击率预估领域中的研究成果,发现一些基于特征组合的深宽度模型虽然在特征组合方面达到了很好的效果,但是却缺乏对用户的历史行为序列的利用,模型无法学习用户的兴趣演变,使其表达能力受限。在此背景下,本文通过研究点击率预估领域中用户历史行为建模的方式,从用户的行为序列入手,对原有的深宽度模型进行扩展与改进。论文的内容包括:
首先对近年来的点击率预估模型进行归纳与分类,主要分为基于特征组合和用户行为序列的点击率预估模型。通过调查研究发现,在进行用户历史行为序列处理时,一般分为两种方式,分别为基于循环神经网络的方式和池化操作,通常利用注意力机制实现池化。同时介绍了相关的技术,并且对深度学习技术和注意力机制在点击率预估问题中的应用做了说明。
其次提出了基于循环神经网络的深宽度模型。本文利用循环神经网络在处理序列信息时的优势,将其融入到深宽度模型中,弥补了原本的深宽度模型学习用户序列数据之间的依赖关系时能力不足的问题,同时提出了一种基于注意力机制的深宽度模型,利用注意力机制对用户的历史行为进行建模,探索用户不同的历史行为对当前行为的影响,并使用数据增强技术来处理用户行为序列长度过短的情况。本文在引入历史行为序列的时,尝试了使用输入层连接和顶端连接两种方式。
最后设计实验验证本文所提出模型的有效性。本文选取近些年常用的模型作为对比,实验结果发现,本文所提出的模型在AUC、准确率和logloss指标上均有所提升。之后本文对比分析了两种不同方式的用户行为序列处理的实验结果,得到基于注意力机制的改进方式在处理噪声信息的能力上要优于循环神经网络的结论,使用顶层引入历史信息的方式要优于使用输入层引入的方式。最终,本文探索了不同的用户行为序列长度对所提出模型效果的影响,发现基于注意力机制的方式在处理用户行为序列信息时,随着长度增加而效果变好,RNN是先增加后趋于平缓。