在当今的大数据时代,新闻文本信息呈现出爆炸式增长的趋势,而海量的新闻文本信息是杂乱无序的。面对爆炸式增长且杂乱无序的新闻文本信息,用户获取所需信息的难度和时间增加。文本分类技术能够科学有效地对海量新闻文本数据进行组织和管理。目前,随着深度学习在自然语言处理等方面取得的突破和发展,各种监督的深度学习算法已经用于新闻文本分类,它们能够有效地提取数据的特征进行分类,分类效果显著,但是需要大量的标记数据,然而实际情况中标记数据不易获取。半监督分类只需要少量标记数据,同时能够利用未标记数据提升分类效果。因此,本文将基于深度学习、利用半监督学习进行新闻文本分类。本文的主要研究工作为如下几点:1.构建基于深度学习的半监督新闻文本分类框架。该框架包括新闻文本获取模块、文本预处理模块、半监督新闻文本分类模块和测试模块。这四个模块分别进行新闻文本数据获取,新闻文本分词、去停用词、词向量化预处理,半监督新闻文本分类和测试分类效果。2.给出一种新闻文本数据的爬取方法。本文通过scrapy框架从新闻网页爬取了新闻文本数据,包括新闻标题和内容信息,利用Xpath解析定位数据。对于爬取的数据,使用正则表达式进行数据清洗,然后保存。爬取过程中,设置User-Agent假装为网页浏览来避免反爬虫机制。3.给出一种文本分词方法。在Bi-GRU-CRF的基础上结合一个平行的BiGRU-attention整合词典信息进行分词训练。一个Bi-GRU神经网络用来提取特征信息,另一个Bi-GRU-attention神经网络通过构建特征向量来获取词典信息。结合两部分信息输入到条件随机场进行分词。4.给出一种基于深度学习的半监督新闻文本分类方法。该方法结合伪标签学习和深度学习,可以利用未标记数据和少量标记数据进行新闻文本分类。首先,用少量标记数据训练Bi-GRU分类网络,然后利用训练好的网络预测未标记数据,并把预测结果作为伪标签。得到未标记数据的伪标签后,神经网络Bi-GRU提取标记数据和带伪标签的未标记数据的特征,然后用全连接层对特征向量进行降维,再用softmax函数进行分类。训练过程中,使用temporal ensembling算法集成多个迭代期的伪标签,提高伪标签的准确率;使用Dropout机制,来避免训练过程中出现过拟合现象。5.给出实验并进行对比分析。本文利用开发工具Pycharm和深度学习框架Tensorflow、Pytorch进行对比实验。在公开数据集PKU和MSR上,与主流分词算法对比测试本文给出的分词算法的有效性。在公开数据集cnews和通过本文给出的爬虫算法爬取的数据集znews上,调整标记数据、未标记数据的比例,与主流新闻文本半监督和监督分类算法对比测试本文给出的半监督新闻文本分类算法的有效性。对比测试实验的结果表明,本文给出的分词算法与当前主流的神经网络分词算法相比性能更优,在各项评价指标上都有一定程度提升;半监督新闻文本分类算法与主流的半监督分类算法和监督分类算法相比分类效果更好,充分说明本文给出的分类算法的有效性。通过多组对比实验的结果表明,本文给出的基于深度学习的半监督新闻文本分类算法可以在有效减少标记数据的需求的同时,进行有效分类,也能让用户快速、准确获取所需的新闻信息,分类结果甚至可以用到个性新闻推荐、新闻信息检索等领域。