近年来Transformer模型成为自然语言处理领域的重要基础模型,Transformer及其各种变体为许多自然语言处理任务带来了显著的效果提升。但是Transformer模型结构复杂,堆叠层数多,这为模型解释带来挑战,也给使用过程中带来了潜在的风险。多头注意力机制是Transformer模型重要组成模块,多头注意力机制将输入上下文表示向量进行融合,使得模型学习不同字符之间的依赖关系。注意力矩阵被认为是Transformer模型的一种内部解释形式。大多数现有的关于Transformer注意力矩阵可解释性的工作倾向于利用人主观直觉定性地分析注意力矩阵。但是由于注意力矩阵巨大的维度,定量地分析注意力矩阵是十分困难的。更重要的是,这些复杂的分析方法无法直接为下游任务提供帮助。为了解决上述问题,本文设计了一种基于强化学习的方法来生成扰动样本,对模型的分类决策进行归因,并运用在模型解释与模型对抗攻击这两个下游任务中。相比起其他的组合搜索方法,在巨大的组合空间搜索时,强化学习能够更好地建模马尔可夫决策过程,同时可以将注意力矩阵作为搜索过程中的启发式信息。为了实现上述目标,本文提出了Att Explainer模型解释方法,其构建了一个强化学习环境,在每一时间步,智能体代理观测注意力矩阵并选择一个字符进行掩码操作,改变其对模型的可见性。持续这样的操作,直到Transformer模型的分类决策发生改变或概率大幅度下降。最终找到的被掩码的部分是支撑原本分类决策的关键字符。总结来说,本文的主要贡献如下:1.本文提出了一种基于强化学习的Transformer模型解释方法——Att Explainer,该方法通过逐步掩码操作找到输入句子中影响模型决策的关键位置或关键词。特别的是,通过实验发现,强化学习智能体通过观测注意力矩阵能够加速上述过程,更快更准确的找到这些关键位置。2.本文通过对比实验证明了注意力矩阵中确实含有潜在的关于字符重要性的信息,为注意力矩阵的可解释性提供证据支持。同时发现这种潜在的可解释性可以在不同的数据集和已训练模型之间迁移。3.本文在三个常用的公开数据集上进行了大量的实验,在模型解释和模型对抗攻击这两个任务中取得了比基线方法更好的成绩。最后,本文进行了案例分析,并将逐步掩码过程可视化。