网络已经成为人们生活中的一部分,人们从网络中能够获取到的信息越来越多,新闻平台也日渐增长,这些平台的发展需要造就了如今的自媒体。自媒体的数量越来越多,发布的文章更是不计其数,文章的内容质量参差不齐,给相关审核人员带来了更大的难度。目前有很多公司都是基于指标去评判文章,忽略了文章内容本身,因此单从文本角度去判别质量的好坏,对于平台的长期发展是很重要的。中文文本信息在转化为数字信息时会有信息缺失的问题,所以针对纯文本形式的信息特征提取是比较困难的。因此,如何从文本本身的角度去识别一篇文章的文本质量,是本论文主要解决的问题。本文利用自然语言处理与机器学习、深度学习方面知识,设计并实现了以下两个模块。(1)识别标题党。针对识别标题党的研究主要是在句子相似度方面,本文采用了Bert(Bidirectional Encoder Representation Transformers)模型得到句向量,通过余弦相似度计算句子间的相似度。使用句子相似度计算模型提取出主题句,然后计算标题与主题句之间的相似度,完成识别标题党的功能。(2)评估正文文本质量。通过有监督的学习,从多维度提取文章内容的语法、语义信息等特征,尽量减少信息的损失。使用LDA(Latent Dirichlet Allocation)主题模型得到的主题分布、短语句法结构、依存关系、关键词,分别作为特征,使用卡方检验进行特征选择,运用机器学习算法进行有监督的学习,构建多个模型。进行模型评估,最后使用用元学习框架做模型融合,用以提升模型整体性能。构建好的模型就可以用来评估文本质量。经过测试,Bert可以很好地应用于句子相似度计算中,融合后的正文内容质量评估模型准确率得到了提升。系统达到了可以上线使用的目的。