人脸姿态估计是计算机视觉领域中的一个重要课题,它在人们的生活中有着广泛的应用,比如协助凝视估计、人机交互、疲劳驾驶检测等,具有重要的现实意义。然而,人脸姿态角度标注的难度较大,可用于细粒度人脸姿态估计的训练样本较少,模型的精确性和泛化性能都无法得到保证。此外,很多人脸姿态估计方法缺乏三维监督信息,直接从二维人脸图像中学习人脸在三维空间中的姿态参数,模型的准确性还有待提高。本文以当前较为先进的人脸姿态估计方法——端到端的细粒度人脸姿态估计方法HopeNet作为基线模型,并针对缺乏训练样本和缺乏三维监督信息的问题提出了两种改进方法:1)为了增加训练数据的数量和多样性,本文提出了 3DAug-HopeNet。它不同于传统的翻转、放缩、裁切等数据增广的方法,而是采用基于三维人脸形变模型(3DMM)的三维人脸重建的方法生成具有细粒度角度标注的大角度人脸图像,这是一种通用的多姿态人脸图像的生成方法,也可以用于其他人脸姿态估计方法的研究。更丰富的训练数据可以减小模型的人脸姿态估计误差,增强模型的泛化性能。该方法在公开数据集AFLW2000和BIWI上的平均绝对误差分别比HopeNet 降低了 9.1%和4.4%。2)为了引入三维监督信息,本文提出了 AT-HopeNet的方法,即在模型的中间层引入基于人脸深度图的注意力监督机制,把人脸深度图作为注意力图来引导网络的训练过程,它既能引入三维监督信息,又能起到空间注意力的作用,可以引导网络关注任务相关的重要区域,忽略无关区域。传统的空间和通道注意力方法通常从特征图中学习注意力信息,而该方法利用人脸深度图直接加强了网络对目标区域的关注,这比传统的注意力方法更接近人的注意力机制。该方法在公开数据集AFLW2000和BIWI上的平均绝对误差分别比HopeNet降低了15.1%和 15.0%。