人脸属性分类任务是对给定的人脸图像提取特征,并进行特定属性的多标签分类。人脸属性是人类可理解的直观语义特征,比如眼睛、胡须、皱纹等,表情也是人脸属性的细分,比如微笑、愤怒等,由此看来人脸属性对于人脸特征的语义级别表述非常重要。现有的人脸属性识别方法包括两类,一类是针对每个属性单独训练二分类器,最后综合多个分类器完成多属性识别,这类方法可控性好,但是没有考虑到属性之间的关联;还有一类是多任务学习,特征共享,通过语义特征的分组学习来建模属性之间的联系,很显然这种端到端的学习方式更符合人类逻辑,但是也面临两个重要的问题,第一个是如何合理的对属性进行分组,第二个是数据集的不均衡问题对训练有很大的影响。针对这些问题,本文主要做了如下工作:一,创新性的提出传统卷积神经网络与图卷积模块级联的结构,在卷积神经网络提取到面部特征后,首先将特征约束到属性类别的维度上,然后利用图神经网络对属性特征在非欧式空间的传递过程进行拟合,图的每个节点对应于不同的属性,图的边对应于属性之间的联系,把属性分类问题转化为图上节点的分类问题;二,考虑到数据集的不均衡问题,提出了损失函数的动态加权方法,每一类属性的损失都对应一个权重,该权值在每一轮训练后基于统计信息得到更新,对于分布较少的类别将会获得较大的权值,进而提高反向传播的梯度。本文还对上述模型应用到了媒体领域,目前市场上的视频播放平台都有动态图截取功能,但是都需要靠用户手动去机械地截取。本文利用上述方法训练的人脸表情识别模型对用户选取时间节点邻域内的人脸表情片段进行截取,同时生成表情描述符,并从构建好的文案库中匹配到契合的文案,最终合成表情包推荐给用户。