新生儿疼痛表情识别属于人脸表情识别的一种特殊应用,研究的是刚出生的新生儿在疼痛时的面部表情状态。传统的机器学习方法在研究人脸表情识别问题依赖于人工的特征设计和特征提取,不仅没有完全表征人脸表情的本质,同时在实现过程中具有一定的复杂性。近些年,以卷积神经网络(Convolutional Neural Network,CNN)算法为代表的深度学习方法,在图像分析方面特别是图像分类工作上取得了巨大的进步。因此,本文将卷积神经网络算法引入到新生儿疼痛表情识别中,以实现临床上新生儿疼痛的自动评估。本文的主要研究工作和相关成果总结如下:(1)研究基于Adaboost算法的新生儿人脸检测。研究使用Haar特征的Adaboost算法在新生儿人脸检测上的基本理论和实验,通过实验迭代学习生成级联分类器,实现新生儿脸部正面检测76.8%的正确成功率,通过新生儿人脸检测完成(2)中新生儿疼痛表情图像库的建立过程,同时为(4)中新生儿疼痛表情识别系统提供人脸检测功能。(2)建立新生儿疼痛表情视频库和新生儿疼痛表情图像库。在医院儿科采集新生儿在不同状态下的视频资料,并根据医护人员的科学评估分类,建立包含509个样本的新生儿疼痛表情视频库;同时,根据视频库建立包含11000个样本的新生儿疼痛表情图像库,视频库和图像库中均包含平静、哭、轻度疼痛和重度疼痛四种基本状态。(3)研究基于CNN算法的新生儿疼痛表情识别。概述CNN算法基本理论和网络结构,利用CNN算法对图像进行多核卷积和池化采样,实现疼痛表情图像从低层特征到高层特征的映射,并利用Softmax分类器进行特征分类。本文通过在AlexNet、简化AlexNet及VGGNet网络结构上进行多次实验得到:在新生儿疼痛表情图像库上取得平静与非平静状态98.72%的识别率;疼痛与非疼痛二分类82.80%的识别率;三分类(平静/哭/疼痛)89.85%的识别率;四分类(平静/哭/轻度疼痛/重度疼痛)71.27%的识别率。在相同的数据集上,对比LBP+SVM算法,CNN算法识别率分别提高了4.51%、-2.3%、8.45%和5.31%;对比HOG+SVM算法,CNN算法识别率分别提高了3.12%、-3.31%、6.35%、2.41%;对比LBP+HOG+SVM算法,CNN算法识别率分别提高了2.62%、-4.6%、5.15%、1.51%。(4)实现基于CNN算法的新生儿疼痛表情识别系统。在整合(1)和(3)两点的研究成果的基础上,设计一个基于CNN算法的新生儿疼痛表情识别系统,该系统实现对输入视频中的新生儿疼痛表情状态检测,并在系统中实时输出评估结果。