论文部分内容阅读
人脸表情识别技术随着研究人员对表情研究的关注,逐渐变成一个研究热点。现有表情数据集,普遍特点是表情库图像数量不够、表情信息单一;而且大部分数据集都是在实验室条件下采集的表情图像。为了配合现在表情研究,2016年实验室自建了一个图像数量更多(26848张图像)和表情类别更丰富(十种表情)的一个在自然条件下的数据集——自然场景下带标签的人脸表情数据集(FELW)。由于FELW数据集识别率不高,本文将原数据集进行改进,构建新数据集FELW2.0。并在传统识别方法和深度学习识别方法中应用研究。改进数据集。首先,将五个部件改成眉毛、眼睛、嘴巴三个部件再加上人脸角度方向;其次,在表情标签下添加一个置信度,该系数表示标注者对表情图像分类的判断;最后,每张表情图像的标注者由一个人变成三个人。标注的三组信息经过Kappa一致性检验进行融合成一组标注信息,该标注信息和图像构成了FELW2.0。为了验证Kappa一致性检验是否起到作用,将标注的三组信息不通过Kappa一致性检验融合成一组标签,该标签和图像构成FELW2.0-1。采用传统方法和深度学习的方法来验证FELW2.0的效果。分别采用硬标签,软标签,软标签加人脸部件标签应用在传统实验和深度学习的实验。采用传统的人脸表情识别方法对FELW、FELW2.0和FELW2.0-1分别实验并对比实验结果。实验可知采用两类标签时FELW2.0数据集的识别率最高,识别率可以达到69.09%;为了提高识别率,筛选出正脸表情图像进行实验,结果表明筛选出正脸的表情图像识别率更高,识别率可以达到74.91%。然后,设计三个深度卷积神经网络模型对三个数据集的人脸表情识别。同一模型分别对三个数据集进行实验,结果表明FELW2.0数据集识别率最高;三个模型对同一数据集进行实验,结果表明模型2对识别率最高;相同数据集在相同模型下实验,筛选正脸表情图像在实验可知采用两类标签时FELW2.0数据集的识别率最高,识别率可达78.22%。由于FELW2.0数据集图像是未经过图像配准的归一化操作,而且图像不是在实验室采集而是在网络上采集的自然场景下的图像,图像的质量远远比不上现在成熟的表情数据集图像质量,但是在传统方法和深度学习方法的识别率依然达到了70%以上的效果。