唇语识别作为一种具有广阔应用前景但实现难度较高的技术,近年来一直受到计算机视觉领域受到极大的关注。但是目前的基于深度学习的唇语识别算法受限于卷积神经网络和循环神经网络先天的结构缺陷,虽然在字词级别能够得到较高的准确度,但在短语和句子等长结构文本场景中的表现仍然不是非常理想,有很大的进步空间。为在汉语条件下实现短语级别的唇语识别,本文基于注意力机制,结合卷积神经网络和循环神经网络,针对唇语识别场景的特点,提出了两种新的注意力机制:时空耦合注意力和多头自注意。在时空耦合注意力部分,主要针对三维卷积神经网络无法有效捕捉唇部细小动作变化以及卷积核学习特征显著性不强的缺点,在时间域和空间域中分别使用注意力机制,并将两者耦合后上采样计算出注意力分数在整个视频中的时空分布,以此提升网络提取唇部运动特征的能力。在多头自注意力部分,主要针对seq2seq结构无法有效建立汉语之间字词的关联性以及易过拟合的缺点,通过合并多个隐状态以及重新设计注意力分数的计算方式,极大地提升了在序列建模部分将特征转换为正确文本的概率。由于缺乏公开的中文短语数据集,本文设计建立了一个中文短语的自建数据集,并在该数据集上训练及验证了上述两种注意力的性能,同时针对整个算法的特性设计了合适的训练策略。最终算法获得了最优85.5%的正确率,相较于目前学术界句级别效果最优的算法提升了5.8%的准确度。在本文的最后,使用了可视化的方法对算法进行了定性的分析,深入分析了注意力机制的机理并给出了下一步可行的改进方案。