论文部分内容阅读
泊松伽马置信网络(Poisson Gamma Belief Network,PGBN)是一种贝叶斯深度话题模型,能够通过多层非线性网络,提取出数据的多层特征信息,在文本和图像数据上有较好的分类性能,但关于PGBN模型的应用探析工作很少,因此对PGBN深度模型实用性的研究具有重要的意义,本文对网页文档实时处理应用进行研究。在PGBN模型提出之初,使用吉布斯推断方法求解参数,训练方式是批量学习(batch learning),我们组在PGBN模型的基础上提出了一种在线学习(online learning)方法,该方法使用随机梯度方法求解全局参数,吉布斯方法求解其余参数。该方法在模型训练时随机选取小数据集(minibatch)进行训练,收敛速度具有优势,但基于该训练方法的PGBN模型分类效果、特性以及实用性尚且不知,因此对基于在线学习方法的PGBN模型的研究具有重要的意义。本文以基于吉布斯推断方法的PGBN模型为基础,对基于在线学习方法的PGBN模型的分类效果和特性进行了研究,并通过编程实现对两种训练方法的PGBN模型进行应用探析。论文的主要内容如下:1.为研究基于在线学习方法的PGBN模型在文本和图像数据上的分类性能及特性,首先对基于吉布斯方法的PGBN模型深入研究,并进行文本和图像数据分类实验仿真,得到分类效果对比基准;然后对基于在线学习方法的PGBN模型进行深入的研究,并进行相同模型参数设置的文本和图像数据分类实验仿真,最后对实验仿真结果进行分析和讨论。2.利用三种不同的编程语言:C语言、MATLAB语言和Python语言对基于吉布斯方法的PGBN模型和基于在线学习方法的PGBN模型进行编程实现,其中C语言在执行效率上具有一定的优势,MATLAB具有很高的矩阵运算效率,Python具有很多功能强大并且简单的开源库,为模型的应用实现及扩展提供了很大的可能。在编程实现仿真实验中,对比和分析了两种不同训练方法的PGBN模型的时间和空间复杂度,并对使用Python语言实现网页文档实时处理应用的可行性进行了分析并讨论。3.在基于在线学习方法的PGBN模型的基础上,对使用Python实现的网页文档实时处理应用进行研究与分析。在该应用中,使用爬虫技术进行网页抓取获得网页文档数据,然后利用正则表达式进行冗余信息删除得到文档数据,最后在模型算法的实现中,使用Python的C extern接口将模型训练中复杂的模块使用C语言实现,进一步提升模型训练效率,增强实用性。