随着互联网的发展，网络上产生了大量的文本数据，而如何快速地对这些文本进行分类是一个亟待解决的问题。传统的机器学习算法在文本特征提取上能力有限。近年来，随着深度学习算法的快速发展，文本语义信息的提取更加精确、完善，从而为文本分类性能的提升奠定了坚实的基础。目前，处理多标签文本分类比较常用的是SequencetoSequence模型，即利用编码器抽取文本特征，再利用解码器顺序输出文本的多个类别。与其它深度神经网络模型相比，Seq2Seq模型自带的注意力机制能够很好地突出文本中的关键信息，从而提升了模型的分类效果。然而，目前Seq2Seq模型在处理多标签文本分类问题时面临着几个问题：首先，分类结果容易陷入“标签陷阱”，即生成的分类结果容易局限于部分主流的类别而忽略其他类别；其次，顺序输出分类结果的模式会使错误不断向后传输，影响后续地预测。最后，当前的Seq2Seq模型对于标签之间的关联性挖掘不够。
　　基于以上缺陷，本论文探索基于历史信息的注意力机制来提高模型的分类性能。系统采用目前流行的Seq2Seq模型，并从以下几个方面来对模型进行改进：
　　1.融合Bert模型来解决“一词多义”问题。在Seq2Seq模型的编码器中，本文将词向量编码层替换为预训练的Bert模型，解决传统的Word2vec模型所无法处理的“一词多义”问题，加强了模型的语义信息理解能力；
　　2.针对Seq2Seq模型注意力机制的缺点，本文提出了基于历史文本的注意力机制。相比Seq2Seq的注意力机制，它在为单词分配权重时会考虑到单词的历史权重变化趋势，并根据这个趋势调整每个单词的权重，帮助模型更为全面地理解文本语义信息，避免模型陷入“标签陷阱”。
　　3.挖掘标签之间的关联性来引导模型分类。对Seq2Seq模型的Decoder模块进行修改，引入基于历史标签信息的注意力机制，用来学习标签之间的关联性。在解码器每个时刻，基于历史标签信息的注意力机制会动态的提取标签信息并输入到模型中，从而避免模型出现“误差传递”的问题，引导模型做出更为准确地预测。
　　实验结果显示，基于历史信息的注意力机制相比于传统的注意力机制有一定的性能提升，在不提供标签序列信息的条件下，其提升了1.17%的Micro-F1分数并降低了5.95%的汉明损失。同时，通过集成强化学习以及预训练的Bert模型，本文提出的模型相比于目前最前沿的方法也有所提升，将Micro-F1提升到了0.895并令汉明损失降至0.68×10?2。