论文部分内容阅读
疲劳驾驶已经成为引发交通事故的重要原因，对驾驶疲劳的检测是人机交互、计算机视觉等领域的重要研究内容。基于面部视频的疲劳状态分析与理解的目的就是要赋予计算机一定程度的对人类疲劳状态分析与理解的能力。
多数已有的疲劳识别方法本质上利用疲劳的单个面部图像中的视觉特征进行识别，是基于空间信息的方法。这些方法没有建模疲劳的运动特性，对视频中一帧一帧的图像进行识别没有利用时间上的信息。论文在总结分析已有方法的基础上，在基于面部视频的疲劳分析和理解的几个方面提出了若干创新性想法，并给出了令人满意的实验结果。本文的主要贡献和创新点包括：
(1)在基于面部图像的疲劳分析中，针对疲劳时面部的3类表现特征，分别提出了新的分析理解方法。
眼部的闭合、打哈欠和整脸的一些表现是疲劳最主要的表现信息，论文结合相应疲劳表现的特点分别提出了新的分析方法。嘴部的高度、宽度等几何特征是打哈欠分析常用的特征。针对几何特征使用的部分特征点难于定位，考虑到嘴角的纹理同样包含丰富的打哈欠信息，论文提出了一种利用嘴角的纹理特征检测打哈欠的新方法。眼部张开的程度是现有眼睛闭合分析中比较常用的特征，它要求比较精确的眼部特征点定位，事实上此时眼部的纹理也有明显的变化。结合纹理描述算子Local Binary Pattern(LBP)，论文提出了一种基于眼部纹理特征AdaBoosted LBP判定眼睛闭合的方法。多数疲劳检测提取面部的局部特征来分析，但疲劳的一些表现如面无表情等很难用局部的特征进行刻画。论文提出了一种基于脸部全局特征AdaBoosted PCA判定驾驶员疲劳的方法。实验结果表明，论文提出的几种算法以较小的计算代价获得了较高的识别性能。
(2)在基于面部图像的疲劳分析中，针对单个视觉线索存在的不确定性，提出了两种融合多个面部疲劳视觉线索的方法。
Bayesian Networks(BNs)是处理不确定信息的一个有效工具，论文在决策层采用基于BNs的概率模型融合嘴部和眼部的视觉线索来判定驾驶员是否疲劳。由于BNs融合的多个视觉线索，要求这些视觉线索是条件独立的，在有些条件下不满足这样的条件，或者比较难于判定多个视觉线索是否条件独立，因此论文进一步考虑利用Linear Discriminant Analysis(LDA)融合眼部、嘴部和脸部的视觉线索来判别疲劳。试验结果显示BNs和LDA融合的方法较单个的视觉线索都获得了更加鲁棒、可靠和准确的疲劳指标。
(3)在基于视频图像序列的疲劳分析中。为了表现疲劳的动态特性，提出了两种面部动态疲劳特征。
疲劳表现出的动态信息是疲劳最本质、最重要的信息。为了表现驾驶员疲劳的动态特性，论文从面部图像序列中提取了两种动态疲劳特征进行分析。考虑到单个面部图像具有较高的维数，图像序列的维数会增加更多。因此要提取图像序列的特征，首先要得到单个图像的低维表示。论文采用PrincipalComponent Analysis(PCA)方法获得图像序列中每个图像的低维表示，在面部图像序列的低维表示的基础上通过组合、编码等操作获得面部疲劳的动态特征。试验结果显示论文提出的动态特征较对比的静态特征取得了更好的识别效果。
(4)在基于面部视频图像序列的疲劳分析中，为了表示疲劳的多尺度特性，提出了两类面部多尺度动态疲劳特征：多尺度的动态LBP特征、多尺度的动态Gabor特征。
疲劳时不同的面部表现具有不同的尺度，疲劳分析的现有研究中还没有关注疲劳的多尺度特性。为了表现驾驶员面部疲劳动态和多尺度的特性，论文提出了一种疲劳的面部多尺度动态LBP特征。这种特征对原始的LBP进行了两个方面的扩展：利用Gabor小波处理，对LBP进行多尺度上的扩展：通过构建动态单元对LBP进行动态上的扩展。进一步，论文基于Gabor小波和特征融合从面部图像序列中提取了两种面部多尺度动态Gabor特征用于检测疲劳。这两种特征在提取的过程中不仅考虑了疲劳的动态、多尺度的特性，而且在对特征处理的过程中考虑了原始的疲劳特征在方向上的关系特性。对面部视频图像序列中的疲劳，两类面部多尺度动态特征均取得了令人满意的识别性能。
进一步的研究需要在面部动态特征的提取和多个特征的融合理解方面做出努力，还可以将相关算法推广到基于视频的面部表情识别中。