基于Wide&Deep的在线学习资源推荐算法研究

来源 :西南大学 | 被引量 : 0次 | 上传用户:camelwin2000
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机网络的普及,人们的生活发生了日新月异的变化。随之而来的信息时代,给人们带来各种便利的同时,却给传统的教育模式带来了一定的冲击。信息化时代教育成为目前的教育形式所趋,受到了国内外各行各业人士的关注。用户学习时,可根据关键字搜索以及学习平台的推荐找到学习内容。然而随着学习平台用户、课程以及各种学习功能等数据的增多,信息过载的问题随之出现,造成冷启动问题的出现,并且处理数据时会忽略评论文本中的大量信息,这为用户推荐课程带来困难。一方面,用户很难找到自己感兴趣且适合自己的学习资源。另一方面,用户的认知能力、学习风格以及知识背景等各方面的不同,也会使平台很难快速且有效的给学习者推荐出其感兴趣的学习资源。如果这些问题不能得到相应的解决,那么对于学习者和资源提供商来说,这些都是未来在线平台学习的巨大挑战。现有的在线学习资源推荐算法的研究模型,一般使用的都是较为传统的推荐算法,比如基于协同过滤、基于内容等,这些算法的相似度的计算过于单一。对于一个数据庞大且复杂的平台来说,更准确的给用户推荐学习资源将是一项重大的挑战。传统推荐算法模型主要缺点有:第一,不能自动的组合特征,人工组合特征会带来更大的工作量。第二,在线学习资源推荐的主体是学习者和课程,关联程度通常代表的是学习者对课程的偏好程度,而学习者与课程之间的关联被忽视。第三,深度神经网络的层数越高,其提取的特征越多且精,但是随着深度的增加,带来了许多与优化相关的问题,可能会出现梯度消散或者梯度爆炸的结果,这给特征的提取带来阻碍。第四,对于在线学习资源推荐算法研究的数据集,通常包含的都是连续特征及类别特征,而学习平台中也会有学生评论的文本特征,而文本特征对于学习资源推荐的精确度上也会有一定的影响。面对海量学习资源及大量的在线学习用户信息,如何提取用户-项目之间关联度较高的特征、如何提取更高维的特征信息以及如何增强推荐的精确度是目前亟待解决的问题,也是本文主要的研究内容。神经网络技术在特征提取中发挥着重要且有效的作用,通过对现有的推荐模型进行分析[1][2][3],发现Wide&Deep是表现较为良好的推荐模型,该模型融合宽度模型以及深度模型,自动提取交叉特征。因此,本文结合Wide&Deep推荐模型的优点,提出两个基于Wide&Deep模型的在线学习资源推荐算法研究。首先,针对部分在线学习推荐传统模型不能自动交叉特征学到高阶特征交互而造成人工成本较高且泛化能力弱的问题,本文决定使用Wide&Deep模型作为研究的基础。在解决此问题的基础上,提出基于Wide&Deep的残差交互在线学习资源推荐算法,引入注意力机制思想,提取用户-项目之间的关联特征表示,接着使用残差网络模块,提取更高维特征,并防止梯度弥散等问题的发生。其次,针对在线学习推荐传统以及现有模型缺乏对文本特征进行特征提取的问题,提出基于Wide&Deep模型的在线学习资源改进推荐算法,结合ELMo算法,对文本特征进行编码,提高推荐的精确度。本文的主要工作可以归纳为如下:(1)提出基于Wide&Deep的残差交互在线学习资源推荐算法。以Google发表的Wide&Deep模型作为研究的基础,添加注意力机制提取用户与项目之间的交互特征,并引入残差网络的思想加深全连接网络层,该思想可以有效提取保证模型的健壮性,提取到更高维的特征信息。之后设置两个实验,首先将在线学习平台的数据在本模型上进行训练,并将其与普通的神经网络推荐算法进行对比;其次,将深度模型部分的网络设置不同的深度对比实验结果。(2)提出基于Wide&Deep模型的在线学习资源改进推荐算法。首先基于Wide&Deep模型,将文本特征作为类别特征来处理,通过增加Embedding层,将数据设置一定的比例分成训练集和测试集,并设置不同的epoch,然后进行训练。其次,提出基于Wide&Deep模型的改进混合模型,将数据中的文本特征通过ELMo语言模型预训练,生成与上下文相关的词向量,然后再通过Wide&Deep模型中的Wide模型进行下游任务训练,然后作为Embedding输入到进一步完成特征向量的提取与自动交叉特征,最终预测出用户对推荐课程的评分。实验结果显示,第三章首先将提出的基于Wide&Deep的残差交互在线学习资源推荐算法与普通的神经网络推荐算法相比,前者的性能表现能力更好;接着将残差网络模块与普通神经网络分别设置不同的深度,发现普通深度神经网络的深度很高时,再加深网络,出现梯度弥散效果,而残差网络随着深度的增加,其表现性能逐渐增强。第四章提出的基于Wide&Deep的在线学习改进推荐算法与基础模型相比,模型性能效果较好,并且精确度提升了3.7%~5.4%,表明本文提出的改进方法充分编码了文本特征的信息,对于提高推荐的精确度具有很大的作用。虽然本文提出的推荐算法表现能力有了一定的提高,但是在实验过程中,其所消耗的时间成本较高,所以如何将模型进行较为高效的自动化训练,仍有待提高。此外,目前有很多较为优秀的神经网络,比如强化学习、Deep FM等,其在推荐系统方面表现优异,相信将其应用于在线学习资源推荐方面会有更好的效果,这也有助于推动更深入的工作研究。
其他文献
2月28日,跨越两届人大历经四次审议的《食品安全法》终获通过。届时,现行的《食品卫生法》将同时废止。从“食品卫生”变身“食品安全”的这三年里。两字之改实则是观念之变。
快速城市化在创造丰富多元的社会生活的同时也带来了一系列生态环境问题,随着越来越多的人进入城市,城市这个复杂的巨系统也越来越脆弱多病,当前如何实现城市的可持续发展成
本刊讯 国际农业发展基金新主席卡那友·努旺泽4月1日呼吁各国政府加速农业发展,应对危机。卡那友·努旺泽是在农发基金当天发表的一项公告中发出上述呼吁的。他说,全
在数字化转型、融合与发展的大势下,《浙江大学学报(人文社会科学版)》与我国中文学术期刊一样,经历了将纸本内容转换为PDF后再上传网络的二次传播阶段,移动介质与纸、网、移
在高职院校教育教学体系中,英语是一门重要的基础性学科。在新的教育背景下,高职院校的英语教学应当在理念和方式上寻求创新。反思性教学是在国内国外教育教学中影响力较大的
大型连锁超市直接和鲜活农产品产地的农村专业合作社对接,是农产品流通方式的重大变革,为破解农产品卖难提供了一个新的思路。
蛇尾纲生物是重要的棘皮动物类群,广泛分布于世界海洋底栖生境。萨氏真蛇尾(Ophiura sarsii)是北太平洋–北极–北大西洋海域常见的环北极冷水种,其亚种浅水萨氏真蛇尾(O.sar
建阳市地处福建省北部中心,山地资源丰富.生态环境优越.素有“八山-水-分田”之称.山地农业经济是建阳市农民祖祖辈辈赖以生存的基础。7月盛夏,在厦门水果批发市场里.30%以上葡萄来
<正>1.国际经济法之专利权概论从历史上看,国家干预经济是以14世纪欧洲各个近代领域国家相继成立做为转点,通过重商主义时代而形成[1]。随着资本主义时代的到来,这些法规为国
为了应对不断增长的流量和更好的服务质量需求,保证用户可以使用更加稳定高效的传输服务,第五代移动通信系统(5th Generation Mobile Communication System,5G)需要能够达到