随着科技的进步,工业的自动化程度不断提高,其创造的价值也越来越高。但随着设备的大型化,复杂化,一旦发生事故,也会造成严重的财产损失和人身伤亡。因此,利用设备运行的海量数据,在故障发生的初始阶段进行大数据分析,建立高效的智能故障诊断系统,准确的对故障进行智能诊断是非常必要的。随着深度学习技术的飞速发展,因其拥有对数据的利用效率高,分类结果准确等优势,故被广泛的应用于各类设备的故障诊断中。其中,多头注意力（Multi-Head Attention,MHA）神经网络用带有自注意力机制的全连接网络（Fully Connected Neural Network）构建深度学习模型,具有提取长相关信息能力强,并行计算程度高等优点。本文基于多头注意力神经网络,针对不同的工业生产状况,设计了以下三种故障诊断方法。1.针对在工业生产中,往往会存在部分数据缺失等影响故障诊断准确性的问题。传统的方法一般会丢弃缺失的样本,或者直接生成缺失数据,前者浪费了大量的真实数据,后者则很难验证生成数据的真实性。针对这种情况,本文提出了融合位置信息的调整权重注意力（Modified-Pos-MHA）神经网络故障诊断方法。该方法首先针对多头注意力神经网络对数据方向性不敏感的问题,融入了更多数据的位置信息,增强了神经网络数据特征的提取能力。其次,利用注意权重矩阵的可解释性,为生成的数据提供额外的可学习参数,使神经网络有针对性的对生成数据进行训练,通过实验与其他机器学习方法对比,该方法可以有效的降低缺失值对故障诊断结果的影响,使故障诊断结果更加准确。2.在实际生产过程中,由传感器采集的信号一般是以时间为序列的向量,故障信号序列越长,注意力权重矩阵的计算量越大。作为一种可实施在工业实际应用中的故障诊断算法,它的计算复杂度又不能太高。针对这个问题,有必要设计一种方法,在保证故障诊断准确度的同时,尽量减小其计算复杂度。本文提出了交互式多头注意力神经网络（Interactive Multi-head Attention,IMHA）,首先将过长样本的特征图划分为若干个窗口,分别计算注意力再合并,减小了计算复杂度,然后用滚动数据特征图的方法建立起各窗口与各注意力之间的联系,最后随着网络的加深,使用更多头数的注意力,提高神经网络的性能。通过实验仿真对方法进行验证,并和其他机器学习方法进行比较,证明了该方法的有效性。3.在实际工业生产中,更容易出现多个故障并发的情况。与单一故障相比,复合故障由于其自身特点,难以实现准确的故障诊断。针对旋转机械复合故障的信号复杂且难以提取有效故障特征,本章提出了一类基于集成学习深度神经网络的复合故障诊断方法。首先设计了双向线性注意力机制（Bi-LMHA）与双向连接注意力机制（Bi-C-MHA）,然后基于这两种注意力机制设计了一种基于集成模型的多头注意力深度神经网络的复合故障诊断方法。由于复合故障具有更高的非线性,耦合性特点,本方法采取集成学习的方法,通过软投票法集成多个二分类模型,得到一类基于集成模型的复合故障诊断方法,提高了复合故障的诊断精度。通过实验仿真将其与其他单模型的机器学习方法进行比较,证明了该方法的有效性。