随着大数据时代的到来,指数级增长的数据量使得人们淹没在数据文海之中,如何能在浩如烟海的文本之中提炼所需要的信息变得格外重要。自动文本摘要是指利用概率统计、机器学习、深度学习、神经网络等,从文本中提取主旨信息,挖掘关键信息,将文本的主要信息凝缩成简洁表示的摘要。目前在新闻标题生成、文本检索、知识问答等方面得到广泛应用。序列到序列模型是自然语言处理中用途最广泛的模型,一般由编码器和解码器两大部分构成。在编码器端对文本进行表示和特征提取,在解码器端对特征进行融合和表达,最终生成文本摘要。但是由于训练数据集质量不高、训练和预测不统一、模型泛化能力弱等因素,导致出现未登录词、文本生成重复、可读性差、无法表达语义等问题。本文针对以上问题,分别从文本表征、特征提取、生成方法、训练过程等方面进行研究,提出了两种文本生成模型,并从多角度研究解决遇到的问题。主要包含以下几点:（1）提出一种将双向长短期记忆网络和注意力机制相结合的改进模型。长短期记忆网络用来提取文本特征和序列位置信息,因此可以不加入位置编码信息。在解码器端的单向长短期记忆网络采用编码器端前向长短期记忆网络的隐藏层状态和细胞状态初始化,有利于上下文特征的融合。（2）对非似然训练过程进行研究,重新拟定训练目标。似然训练过程本身存在自身强化的问题,有时候训练与预测不一致就会出现生成重复等问题。非似然训练提出负候选集的概念和非似然训练目标,能减少模型的生成重复问题和减少无意义输出。在生成端进行解码优化,能够使得文本生成质量更加流畅,可读性较好。（3）研究预训练语言模型的特征,将吉布斯采样算法应用到掩码语言模型中。预训练语言模型已经形成较为稳定的概率分布,而吉布斯采样流程与掩码语言模型的思想高度相似,因此可以很好的将吉布斯采样算法与掩码语言模型相结合,保持训练和预测的统一,提高模型文本摘要的生成质量。