随着信息技术的发展和智能时代的到来,全球信息储量呈现指数级增长的趋势。短文本作为信息交互的重要载体,尤其活跃在用户量巨大的社交网络和日常评论中。这些非结构化的短文本包含很多有价值的信息,手动提取这些信息需要复杂的工程设计并且代价非常昂贵。因此,采用机器学习的方法对互联网中存在的大量未标记的短文本进行标注,以及如何高效地的组织和管理短文本数据,已经成为当前自然语言处理(NLP)任务中研究的热点之一。目前,基于深度学习的预训练语言模型已被证实可以有效地提升文本分类的效果,其基本思想是从大量未标记的文本中对语言模型进行预训练并且通过监督的下游任务进行微调。但是,这些模型需要大量可靠的数据以及工业级别的计算机资源,这就限制了其在资源有限的环境中使用。此外,与长文本相比,短文本分类面临着特征词少、用词不规范等难点。因此,短文本分类一般在预处理、文本表示、分类器的构建等环节中进行优化和改进,以提高分类速度和精度。基于上述的需求和问题,本文主要针对一种轻量级的半监督短文本预训练分类方法进行研究。首先,通过变分文档模型对大量未标记短文本进行预处理,提取文本数据中隐变量的概率分布特征,然后将预训练模型的内部状态作为下游分类器的特征输入。作为生成模型的变种,在数据和计算量有限的情况下,该方法在短文本分类任务中取得了具有竞争力的优势。但是已有模型中存在尚待优化的一些问题。基于这些问题,利用DPCNN和Free Bits技术进行改进。实验结果表明,改进后的模型比原模型在短文本分类任务中取得了较好的实用效果。