论文部分内容阅读
基于注意力机制的编解码模型在文本摘要、机器翻译等序列到序列任务上得到了广泛的应用。在深度学习框架中,深层神经网络能够提取输入数据不同的特征表示,因此传统编解码模型中通常堆叠多层解码器来提高模型性能。然而现有的模型在解码时仅利用编码器最后一层信息,而忽略编码器其余层的特征。鉴于此,提出一种基于多层循环神经网络和层级交互注意力机制的摘要生成模型,通过层级交互注意力提取编码器不同层次的特征信息来指导摘要的生成。为了处理因引入不同层次特征而带来的信息冗余问题,引入变分信息瓶颈压缩数据噪声。最后在Gigaword和