为了解决由于驾驶员面部早期疲劳特征难以检测,导致汽车驾驶辅助系统无法及时识别驾驶员准确疲劳状态的难题,论文综合运用行驶过程中驾驶员面部状态的光学信息和其心率的光电信息,研究基于面部和心率特征融合的驾驶员疲劳状态识别原理及其方法。这对于提高驾驶员疲劳状态实时智能识别水平,促进先进汽车驾驶辅助系统的发展具有重要作用与实际意义。研究工作得到了2016年广州市产学研协同创新重大专项(产学研协同创新联盟专题)(201604046006)的支持。首先,论文分别讨论了基于主观评价、面部特征、生理特征、操作行为及车辆状态特征的驾驶员疲劳状态识别方法和相关产品的应用情况,总结了其中的部分不足和一些发展趋势;然后,在对驾驶疲劳定义、影响因素、表征指标及研究方法进行讨论的基础上,进行了驾驶员疲劳状态模拟实验设计,提出了综合驾驶员自我评价和专家评价的驾驶员疲劳状态模拟实验方案,构建了以低侵扰性的摄像头和智能手表为主的驾驶员疲劳状态实验平台,并进行了驾驶员疲劳状态模拟实验,获取了不同驾驶疲劳状态下的驾驶员面部图像信息、心率光电信息和其驾驶疲劳状态的主观评价等级信息。随后,提出了基于Open Face的驾驶员多面部特征提取方法,利用该方法从不同驾驶疲劳状态下的驾驶员面部图像信息中获取了驾驶员头部姿态、视线方向、面部微表情、眼睛开度和嘴部开度等5大类共51维面部特征;提出了基于智能手表的驾驶员多心率特征提取方法,运用该方法从不同驾驶疲劳状态下的驾驶员心率光电信息中获取了驾驶员瞬时心率、心率均值、SDNN、RMSSD、LFP、HFP、LFP/HFP等7维心率及心率变异性特征;然后,分析了驾驶员多面部和多心率特征与其驾驶疲劳状态主观评价等级之间的相关性,研究了驾驶员多面部和多心率特征的统计量差异及其差异的显著性,讨论了驾驶员多面部特征与多心率特征的信息融合关系。接着,提出了基于面部和心率特征融合的驾驶员疲劳状态识别原理及方法研究,分析了基于特征层信息融合的驾驶员多面部及多心率的融合信息特征,建立了以该融合信息特征为输入的基于LSTM网络的驾驶员疲劳状态识别模型。最后,构建了用于实验验证的驾驶疲劳面部及心率融合特征数据集,以其训练集和测试集来对驾驶员疲劳状态识别模型进行了训练和测试,并从方法内对比和方法间对比两方面对其模型识别结果进行了对比和分析。实验结果表明,基于面部和心率特征融合的驾驶员疲劳状态识别方法对“清醒-中度-重度”三级驾驶员疲劳状态的识别准确率可达到91.0%、81.9%和87.5%,平均识别准确率可达到86.8%,其中在对“清醒”和“中度疲劳”的识别准确率比仅基于面部特征的方法分别可提高4.3%和6.7%,可实现较准确的“清醒-中度-重度”三级驾驶员疲劳状态的识别。