论文部分内容阅读
自古以来,人类就意识到人脸美丽吸引力的存在。由于其对人们生活的重大影响,人脸美丽吸引力的研究受到了来自哲学、生物学和认知心理学等不同领域学者的关注。尽管这些领域的研究者们对人脸美丽进行了多年的研究工作,但目前利用图像处理、机器学习以及人工智能等方法来进行自动的人脸美丽预测的研究并不深入。传统机器学习方法下的人脸美丽预测主要利用手工设计的几何特征或表观特征,其对人脸五官比例或纹理的不同侧重容易导致人脸美丽信息的丢失。作为机器学习领域中一个新的研究方向,深度学习可以在数据驱动的模式下自动学习数据特征,其多层次的组织结构能得到对数据更具表征性的高层抽象,并在图像分类和语音识别领域取得了突破性进展。本文希望在人脸美丽吸引力预测问题中引入深度学习这种新的方法,通过多层次神经网络架构自动地学习人脸吸引力特征,同时结合人脸吸引力的先验知识来高预测效果。针对这一课题,本文以认知心理学知识为指导,以深度学习为工具,从特征表达和模型学习两方面展开了研究,主要工作和创新点包括:(1)将深度学习方法中的多层感知器(Multi-Layer Perceptron,MLP)、卷积神经网络(Convolutional Neural Network,CNN)和主成分分析网络(Principle Component Analysis Network,PCANet)等网络结构应用到人脸美丽吸引力的自动预测。设计了多个在图像输入质量、卷积核大小和网络深度上各自不同的卷积神经网络CNN-K,K={3,5,6}。研究了不同的网络结构对表征人脸美丽的影响。(2)受到认知心理学知识的启发,出了一种新的表征人脸美丽的表观特征:光滑度图层。光滑度图层是利用人脸图层分解方法和WLS(Weighted Least Square)滤波器取出的表征人脸皮肤光滑度的有效特征。实验发现其在表征人脸美丽的能力上优于传统的特征脸、Gabor纹理和LBP纹理等表观特征。(3)结合认知心理学和卷积神经网络设计了两种人脸美丽吸引力预测模型:MC-CNN(Multi-Column CNN)和CF-CNN(Cascaded Fine-tuning CNN)。在预测性能上两种模型的机器预测得分都与人工打分有较高的相关性,MC-CNN稍优于CF-CNN,而CF-CNN的结构更为简单,是一个端到端的人脸吸引力预测模型。(4)在不同的数据集上对本文出的人脸美丽吸引力预测模型和其他模型算法进行性能对比实验。测试模型对于人脸姿态和表情变化的鲁棒性,同时对卷积神经网络学习到的特征进行可视化。