论文部分内容阅读
随着计算机网络的普及,人们的生活发生了日新月异的变化。随之而来的信息时代,给人们带来各种便利的同时,却给传统的教育模式带来了一定的冲击。信息化时代教育成为目前的教育形式所趋,受到了国内外各行各业人士的关注。用户学习时,可根据关键字搜索以及学习平台的推荐找到学习内容。然而随着学习平台用户、课程以及各种学习功能等数据的增多,信息过载的问题随之出现,造成冷启动问题的出现,并且处理数据时会忽略评论文本中的大量信息,这为用户推荐课程带来困难。一方面,用户很难找到自己感兴趣且适合自己的学习资源。另一方面,用户的认知能力、学习风格以及知识背景等各方面的不同,也会使平台很难快速且有效的给学习者推荐出其感兴趣的学习资源。如果这些问题不能得到相应的解决,那么对于学习者和资源提供商来说,这些都是未来在线平台学习的巨大挑战。现有的在线学习资源推荐算法的研究模型,一般使用的都是较为传统的推荐算法,比如基于协同过滤、基于内容等,这些算法的相似度的计算过于单一。对于一个数据庞大且复杂的平台来说,更准确的给用户推荐学习资源将是一项重大的挑战。传统推荐算法模型主要缺点有:第一,不能自动的组合特征,人工组合特征会带来更大的工作量。第二,在线学习资源推荐的主体是学习者和课程,关联程度通常代表的是学习者对课程的偏好程度,而学习者与课程之间的关联被忽视。第三,深度神经网络的层数越高,其提取的特征越多且精,但是随着深度的增加,带来了许多与优化相关的问题,可能会出现梯度消散或者梯度爆炸的结果,这给特征的提取带来阻碍。第四,对于在线学习资源推荐算法研究的数据集,通常包含的都是连续特征及类别特征,而学习平台中也会有学生评论的文本特征,而文本特征对于学习资源推荐的精确度上也会有一定的影响。面对海量学习资源及大量的在线学习用户信息,如何提取用户-项目之间关联度较高的特征、如何提取更高维的特征信息以及如何增强推荐的精确度是目前亟待解决的问题,也是本文主要的研究内容。神经网络技术在特征提取中发挥着重要且有效的作用,通过对现有的推荐模型进行分析[1][2][3],发现Wide&Deep是表现较为良好的推荐模型,该模型融合宽度模型以及深度模型,自动提取交叉特征。因此,本文结合Wide&Deep推荐模型的优点,提出两个基于Wide&Deep模型的在线学习资源推荐算法研究。首先,针对部分在线学习推荐传统模型不能自动交叉特征学到高阶特征交互而造成人工成本较高且泛化能力弱的问题,本文决定使用Wide&Deep模型作为研究的基础。在解决此问题的基础上,提出基于Wide&Deep的残差交互在线学习资源推荐算法,引入注意力机制思想,提取用户-项目之间的关联特征表示,接着使用残差网络模块,提取更高维特征,并防止梯度弥散等问题的发生。其次,针对在线学习推荐传统以及现有模型缺乏对文本特征进行特征提取的问题,提出基于Wide&Deep模型的在线学习资源改进推荐算法,结合ELMo算法,对文本特征进行编码,提高推荐的精确度。本文的主要工作可以归纳为如下:(1)提出基于Wide&Deep的残差交互在线学习资源推荐算法。以Google发表的Wide&Deep模型作为研究的基础,添加注意力机制提取用户与项目之间的交互特征,并引入残差网络的思想加深全连接网络层,该思想可以有效提取保证模型的健壮性,提取到更高维的特征信息。之后设置两个实验,首先将在线学习平台的数据在本模型上进行训练,并将其与普通的神经网络推荐算法进行对比;其次,将深度模型部分的网络设置不同的深度对比实验结果。(2)提出基于Wide&Deep模型的在线学习资源改进推荐算法。首先基于Wide&Deep模型,将文本特征作为类别特征来处理,通过增加Embedding层,将数据设置一定的比例分成训练集和测试集,并设置不同的epoch,然后进行训练。其次,提出基于Wide&Deep模型的改进混合模型,将数据中的文本特征通过ELMo语言模型预训练,生成与上下文相关的词向量,然后再通过Wide&Deep模型中的Wide模型进行下游任务训练,然后作为Embedding输入到进一步完成特征向量的提取与自动交叉特征,最终预测出用户对推荐课程的评分。实验结果显示,第三章首先将提出的基于Wide&Deep的残差交互在线学习资源推荐算法与普通的神经网络推荐算法相比,前者的性能表现能力更好;接着将残差网络模块与普通神经网络分别设置不同的深度,发现普通深度神经网络的深度很高时,再加深网络,出现梯度弥散效果,而残差网络随着深度的增加,其表现性能逐渐增强。第四章提出的基于Wide&Deep的在线学习改进推荐算法与基础模型相比,模型性能效果较好,并且精确度提升了3.7%~5.4%,表明本文提出的改进方法充分编码了文本特征的信息,对于提高推荐的精确度具有很大的作用。虽然本文提出的推荐算法表现能力有了一定的提高,但是在实验过程中,其所消耗的时间成本较高,所以如何将模型进行较为高效的自动化训练,仍有待提高。此外,目前有很多较为优秀的神经网络,比如强化学习、Deep FM等,其在推荐系统方面表现优异,相信将其应用于在线学习资源推荐方面会有更好的效果,这也有助于推动更深入的工作研究。