基于大规模隐式反馈数据的推荐方法研究

来源 :浙江大学 | 被引量 : 0次 | 上传用户:fly_songs
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的发展,大数据为生活带来便利的同时也造成“信息过载”问题。推荐系统可从用户的历史行为数据中挖掘用户的潜在喜好并推荐令其满意的物品,从而有效解决“信息过载”问题。早期的推荐方法研究主要利用显式反馈数据。然而,这类数据往往需要用户显式地给物品打分,数据成本高、数据量小,影响这类推荐方法在推荐系统中的发挥。因此,近年来关于推荐方法的研究热点逐渐从显式反馈数据转移到大规模的隐式反馈数据中。隐式反馈数据可以直接来源于用户的各种行为,具有成本低、应用广、规模大等优点。
  为大规模隐式反馈数据设计一个推荐方法是一个有意义但是更有挑战的问题。在隐式推荐场景中,只能观测到正样本数据,而不能直接观测到负样本数据。因此,隐式推荐方法只能将未观测数据作为负样本信号源来推断用户的兴趣。这导致处理隐式反馈数据相比于显式反馈数据有更多的难点:(1)数据不可靠:隐式推荐中的(伪)负样本,即未观测数据,可能真的是用户兴趣导致的,也可能只是数据随机丢失导致的。这要求推荐方法能够充分、准确地预估不同数据的可靠性和价值,才能有效地分析用户的兴趣。现有的方法主要采用启发式的方式为数据设置可靠性权重,但这往往需要丰富的人工经验和计算资源,同时也不能实现细粒度高精度的设置。(2)数据规模大:隐式反馈数据,特别是其中的未观测数据,在实际应用中很容易达到十亿甚至千亿级别,带来极大的计算负担。这要求推荐方法能够快速高效地处理大规模的隐式反馈数据。现有的方法主要采用随机梯度下降和均匀抽样的方式来加速模型的训练。但这会导致模型学习不稳定、收敛性差,影响推荐效果。总而言之,数据不可靠和数据规模大这两个隐式推荐中的难点并未得到有效地解决,往往成为了现代推荐系统中的效率和性能的瓶颈。
  本文将对基于大规模隐式反馈数据的推荐方法展开研究。针对隐式推荐的两个难点以及现有方法的缺陷,研究并解决如下三个重要的关键问题:(1)如何为隐式反馈数据自适应地设置个性化的可靠性权重?(2)如何从大规模的隐式反馈数据中快速高效地训练推荐模型?(3)如何在隐式推荐中同时实现自适应权重设置以及快速高效的训练
  本文针对上述关键问题,提出如下4个解决方案:
  .为了解决问题(1),本文提出一个基于社交信息的个性化数据权重推断方法SoEXBMF。现实生活中,用户对物品的曝光度(即用户是否知道这个物品)会受到用户好友以及用户社区的影响。因此,SoEXBMF利用社交网络信息来推断造成负样本的原因是用户不知道还是不喜欢这个物品,从而为数据自适应地设置个性化权重,提升推荐效果。
  .为了解决问题(2),本文提出了一个面向隐式推荐模型的快速自适应协同抽样方法CoSam。随机梯度下降作为加速模型训练的常用方法,其主要问题在于所采用的均匀抽样器,在隐式推荐中常常会带来收敛性差、稳定性差、精度低等缺点。因此,本文采用了一个新颖的协同抽样模型来快速自适应地抽取重要的训练样本,以及一个整合的“抽样器-推荐器”框架来训练抽样模型和推荐模型。实验论证了CoSam可以有效的提升推荐模型训练的速度和精度。
  .为了解决问题(3),本文提出了一个基于社交信息的快速权重推断和抽样方法SamWalker。同时解决隐式推荐中的两个难点,是一个值得研究但有挑战的问题。由于两个难点相互耦合,不能将上述两个解决方案进行简单地组合。为每个数据推断个性化权重会带来效率问题,同时,推断的权重也需要融入到抽样过程中。为了解决这些问题,SamWalker一方面利用图网络来快速自适应地推断数据的可靠性权重,另一方面设计特殊的随机游走算法来快速自适应地抽取可靠性高的数据来学习推荐模型。理论和实验证明了SamWalker可以有效地降低抽样学习的方差,相比于已有的推荐模型有较大的性能提升。
  .考虑到社交信息在一些场景中是难以获得的。因此,本文进一步提出了一个不利用任何辅助信息的,快速自适应权重的矩阵分解推荐方法FAWMF来解决问题(3)。FAWMF一方面利用变分自编码器和深度神经网络来自适应地推断数据权重。另一方面针对FAWMF模型的特点,本文也设计一个基于记忆化的快速批梯度计算方法fBGD,来避免使用随机梯度下降和抽样方法带来的性能问题。
其他文献
随着近些年来人工智能的发展,智能移动机器人作为人工智能算法落地的载体也得到了人们的广泛关注,其作为一种复杂的机电设备,需要多种模块、算法和技术的有机融合才能真正发挥其替代劳动力的作用,然而现有智能移动机器人开发平台的局限性使得开发一个安全、实时、鲁棒的智能移动机器人应用存在着诸多困难。
  一方面,对于机器人硬件平台,一般由计算平台、控制执行平台和传感器平台组成,其中计算平台作为控制命令的分发单元以及传感数据的处理单元,虽然目前的通用处理器在性能方面有很大的提升,但单个性能强大的处理器仍然难以满足智
视觉定位是计算机视觉领域中的重要研究课题,它在自动驾驶、移动机器人和增强现实等领域中有着非常广泛的应用。近年来,随着这些领域的快速发展,关于视觉定位的研究取得很多突破,但针对大规模场景的视觉定位还面临着效率和鲁棒性两方面的挑战。一方面,随着场景规模变大,算法的计算时间和内存消耗将会变得无法接受,尤其在计算性能受限的移动设备上表现的更为严重。另一方面,在大规模场景中不可避免地存在重复结构和重复纹理的问题,这严重地降低了局部特征的判别性从而影响视觉定位的鲁棒性。因此,在大规模场景中实现高效和鲁棒的视觉定位是一
近些年来,互联网应用的内容传播与表现形式越来越多样化,面对多模态信息融合载体的推荐需求,需要机器学习模型从多种维度、综合利用多种技术对多模态内容进行足够细致的分析理解。特征组合是点击率预估任务中的重要问题,基于深度神经网络的点击率预估模型利用显式的特征组合结构,同时捕捉高阶和低阶的特征组合,从而取得了优异的效果。但是这些模型只关注于对原始类别特征进行组合,没有同时考虑组合特征表达的完整性以及组合特征的重要度。认为在多模态特征的推荐场景下,完整的特征表达和有效的特征利用对模型的影响更加明显。
  首先
3D多物体追踪是计算机视觉中重要的问题,并且在许多重要场景比如无人驾驶、机器人等中得到了广泛的应用,因此其受到了极大的关注。然而目前大部分的工作通过提出越来越复杂的神经网络不断提高追踪的精度,但却忽略了系统的计算复杂度使得这些算法很难在实时性的系统比如自动驾驶上运用。因此,本文基于点云的数据特征提出一个简单且有效的实时追踪算法,能够基于点云的检测特点自适应调整,根据物体的类型自适应调整模型参数,最大程度上减少检测的噪声。本文采用的为基于点云的物体检测的追踪框架,使用一个现成的3D物体检测算法生成物体检测框
随着人工智能及信息技术的高速发展,服务机器人的智能化水平飞速提高,应用场景更加丰富,已经普遍进入并开始改变我们的生活。人们期望其可以成为能够快速准确理解用户请求、不断增长和扩展技能、能够应付复杂环境和复杂任务的智能助理。当前对于提高服务机器人的智能化水平,主要有两方面实践,一种是提高单个机器人的技术水平,常见于单一功能和应用场景的机器人中,如教学机器人、扫地机器人等,这种方式的问题是由于知识闭塞而带来的重复学习;另一种是通过统一终端来控制其他设备,例如智能家居中的智能音箱,这种方式可以通过人机交互实现多个
近年来,随着中国对地震预警工作的投入不断增加,地震监测网络不断完善,地震监测台站所记录的数据爆炸式增长。地震数据的飞速增加导致人工处理与分析工作越来越困难。因此,对自动化处理分析方法的需求越来越迫切。随着深度学习方法的快速发展,在地震相关研究中应用深度学习逐渐成为一种发展趋势。地震事件检测、震相到时拾取(这里将二者统称为地震事件到时识别)与震级的快速估算是在地震研究中非常重要和典型的三个任务。利用深度学习方法去解决这三个问题,会提高对地震数据处理与分析的效率,从而能大幅度节省人力成本和时间成本。
 
中国制造业近年来蓬勃发展,其中离散制造型企业的数量也在快速增加。离散制造因其高度复杂的加工过程给生产管理带来了许多问题,例如生产周期难确定、物料需求多变等。这些问题需要用合理有效的生产计划来解决。但目前企业计划排程的实施效果并不理想:企业资源计划管理ERP(Enterprise ResourcePlanning)中基于无限产能的计划排程模型,与实际生产情况差距大,计划执行困难;而考虑更为全面、基于多条件约束的高级计划排程APS(Advanced Planning and Scheduling)也存在着工艺
众所周知,在很多自然语言处理的任务中,知识库所起到的作用是不可或缺的,比如问答系统,自然语言推理等等。而实体链接,也就是在知识库中找到一段文本所包含的实体,很多时候是作为这些自然语言处理任务的上游基础任务存在的,因此实体链接可以说是一项非常重要的工作。
  自实体链接任务发展以来,标准实体链接任务的链接目标都是类似Wikipedia这样的大型百科知识库,这类实体链接方法的准确率已经达到了很高的水平。但是这在很大程度上依赖于这类知识库中已被挖掘的大量标注信息和统计数据。而这样的信息在各类领域知识库中很
近些年来,随着互联网技术的快速发展和移动终端用户数的飞速增长,网络媒体和社交平台等舆论场成为网络舆情的展示平台。对媒体和社交平台的数据进行挖掘对企业和机构有着重要的战略意义。然而,如今互联网上的数据有着体量大、种类多、产生速度快的特点,这些特点使得舆论场数据所包含的信息密度下降。低信息密度的数据会导致决策的正确性大幅度降,所以对舆论场数据的信息密度,也就是本文提到的舆论场数据质量,进行核查、度量、预警等监控操作是数据战略中必不可少的一部分。
  本文的目标是设计支持实时预警的可信度高的舆论场数据质量
随着数字、网络、视觉传播技术的发展,多媒体数据也呈现日益增长的趋势。这些丰富的数据资源为跨模态数据的信息挖掘、理解和分析和等相关研究带来了许多新的挑战。比如,信息检索从过去的单媒体迈向了跨媒体的新时代。此外,多样化的数据和用户多元的需求也催生了很多新兴的跨模态任务,比如视觉问答,模型需要根据一张图像和一个问题,预测出相应的答案;再比如文本到图像生成,模型需要根据一段文本描述来生成高质量的图像。不论是传统的跨模态检索任务,还是新兴的跨模态信息交互和生成任务,从本质上来看,都是不同模态信息的映射与转化。而对不