论文部分内容阅读
随着大数据以及人工智能的发展,对少数民族文化资源的保护和传承也提出了新的要求,在对少数民族文化资源的保护和传承的过程中,很多优秀的民族传统文化资源面临着失传的危机。为了更好的保护和传承少数民族文化,实现少数民族文化的共享和传播,运用大数据以及人工智能的方法是首要的技术措施。通过搭建少数民族文化资源服务推荐平台,结合用户对少数民族文化知识的需求,个性化的给用户推荐少数民族文化资源,可以更好的使广大用户更加准确高效的获取到自己感兴趣的少数民族文化知识,以此来更好的促进对少数民族文化的保护和传承。因此本文在MapReduce分布式计算框架下对少数民族文化资源的推荐进行了研究,主要包含了以下几个方面:(1)在基于交替最小二乘法(Alternating Least Squares,ALS)协同过滤算法的基础上,通过在损失函数上融合项目的相似性来减少隐形因子项目属性信息的丢失,同时在模型中引入了冷启动策略对原算法进行改进。并将改进后的算法在Hadoop平台上使用MapReduce计算框架进行实现。实验结果表明,改进后的基于ALS的协同过滤推荐算法与传统的推荐算法相比,本文优化后的算法可以很好的缓解数据稀疏性问题,并在推荐准确度和计算效率上都有一定的提高。(2)利用隐含狄利克雷分布(Latent Dirichlet Allocation,LDA)主题模型对少数民族文化文本资源进行主题的提取和标签化处理,并在对少数民族文化资源主题挖掘的基础上,通过分析用户行为日志,建立用户通过少数民族文化资源到标签的联系,提出一种“用户-资源-标签”的个性化用户标签模型。(3)根据在(2)中构建的用户标签模型,首先采用Canopy-Kmeans聚类算法对用户进行聚类,然后在用户聚类的基础上通过改进用户相似度计算方法对推荐算法进行改进,最后将改进相似度计算的用户聚类推荐算法在Hadoop分布式平台上实现。由于算法中的少数民族文化资源标签和用户标签构建以及用户聚类皆可以离线完成,可以使得在线推荐更加迅速。实验结果表明,本文的推荐算法在少数民族文化资源推荐上有较好的效果。(4)少数民族文化资源推荐原型系统的实现,首先利用Hadoop分布式平台搭建了少数文化资源推荐原型系统,然后在系统中设计了对少数民族文化资源的爬取、标签化处理、用户日志的获取和偏好分析等功能模块,最终实现个性化的将少数民族文化资源推荐给用户。