随着信息技术的发展,计算机视觉在人机交互领域发挥着越来越重要的作用。准确的手部姿态估计能够更好地实现人机交互,传统的方法通过数据手套等可穿戴设备实现了较为准确的人的手部姿态的估计,但是对用户约束较大,难以大规模推广并在一些项目上难以实施,且设备成本较高。随着图像采集设备的小型化和廉价化,基于计算机视觉的手部姿态估计的应用前景越来越广泛。本课题在计算机视觉的基础上基于深度学习实现手部姿态的估计。传统的基于深度学习的三维手部姿态估计的方法大多利用深度图像,与彩色图像相比,深度图像采集设备成本高、消耗大,对用户有一定的约束性。实现基于单幅彩色图像估计手部姿态能够降低使用成本并使姿态估计更加方便,但是彩色图像缺少深度信息,难以估计三维手部姿态。为了解决上述问题,本文设计了基于卷积神经网络的三维姿态估计框架,主要包括三方面:首先,本文通过改进的SegNet实现了手部区域追踪,实现了从图像中裁剪出手部区域。本课题对传统图像分割网络SegNet进行改进,通过网络裁剪加快运行速度,利用特征图金字塔优化网络连接方式,提出层级注意力机制实现不同层级的权重分配。本课题中利用热图表示手部区域位置,根据热图中的置信度分割手部区域并实现手部区域裁剪。分割出的手部区能够用于手部追踪,裁剪出的矩形手部图像能够用于之后的手部姿态估计。然后,在CPM算法的基础上,本文提出了基于变尺度高斯核的二维关节点估计网络——Pose Net,实现了基于单幅彩色图像的二维关节点估计。本文使用了类似于CPM算法的深层网络,通过多层监督避免深层网络出现梯度消失的问题以及在初步估计后不断优化,针对手部区域的自我遮挡问题,通过增大卷积核大小来增大特征图的感受野,减少自我遮挡问题对准确度的影响。针对直接回归关节点位置不够准确的问题,将该任务转化为目标检测任务,将每个关节点视为加入高斯噪声的score map,神经网络的任务即为输出每个关节点对应的score map。针对不同高斯噪声会对score map产生不同影响,本章提出变尺度高斯噪声,确定合适的高斯噪声值得到最佳结果。最后,本课题提出了CFAM模型完成三维手部姿态估计。以往基于单幅彩色图像的方法估计三维手部姿态的过程中,只利用了二维关节点信息还原三维姿态,忽略了彩色图像中存在的手部纹理特征和隐含的空间信息,导致手部姿态估计的准确率存在可提升空间。为了解决这个问题,本课题提出了CFAM,将二维关节点和彩色图像的特征在通道层面中相融合,将彩色图像和二维score map特征级联后重新规划权重,合理规划和利用各个部分特征。引入通道注意力机制提高了不同类型特征图融合的效果。