随着经济的发展和城市现代化进程的不断推进,汽车已经走进了千家万户并成为了每个家庭不可缺少的代步工具。由于机动车保有量的不断增加,交通事故发生率急剧上升,道路安全已经成为社会关注的热点问题。据调查,80%以上的交通事故与驾驶员不安全驾驶有关,因此利用智能设备对驾驶员进行实时监控并自动分析出驾驶员的行为和状态是十分必要的。本文以监控视频中的驾驶员作为研究对象,分别针对驾驶员行为识别和驾驶员疲劳识别这两个方面中的关键问题展开研究。围绕驾驶员行为识别问题,本文提出了一种基于多尺度卷积网络的驾驶员行为识别方法可应用于嵌入式平台;同时又提出了一种基于时空卷积网络的驾驶员行为识别方法可应用于通用计算机平台,且识别精度更好。这两种驾驶与行为识别方法在白天可见光场景和夜间红外光场景下都表现出良好的光照鲁棒性能。相比于驾驶员的行为动作特征,驾驶员面部表征更容易受到光照变化影响。围绕复杂光照条件下的驾驶员疲劳识别问题,本文提出了一种基于生成对抗网络的驾驶员人脸光照处理方法用于实现面部阴影去除和细节信息恢复;以此为基础,提出了一种基于双频时空卷积网络的驾驶员人脸疲劳识别方法,可以满足白天及夜间各种复杂光照场景下的应用需求。论文主要研究内容和创新点如下:（1）提出了一种基于多尺度卷积网络的驾驶员行为识别方法。驾驶员行为识别属于模式识别领域中的细粒度分类范畴。现存的驾驶员行为识别方法在细粒度特征学习能力上存在不足,且无法兼顾识别精度和计算效率,难以应用于嵌入式平台。针对上述问题,本文设计了一种多尺度注意力卷积神经网络模型,该模型对多尺度卷积运算做了相应的轻量化处理,也通过视觉注意力机制实现了自适应的特征引导学习。实验表明,所提出的驾驶员行为识别方法在保证了较高精度的同时,减小了模型参数量并降低了计算复杂程度,适用于嵌入式平台。（2）提出了一种基于时空卷积网络的驾驶员行为识别方法。在满足较高硬件配置的前提下,时空卷积比空间卷积更适用于对行为识别问题进行建模。现存的时空特征提取模型难以有效地感知细微而缓慢的动作线索,且没有充分利用空间和时间显著性信息,将这些模型应用到实际驾驶场景中则存在局限性。为了解决这个问题,本文设计了一种混合时空卷积网络模型,它集成了卷积神经网络和递归神经网络,借助两阶段网络训练方式实现长期时空特征融合;此外,该模型也通过多任务学习策略和视觉注意力机制实现了驾驶员相关动作线索的有效提炼。相比于多尺度卷积网络模型,所提出的时空卷积网络模型显著地提升了驾驶员行为识别精度,但是计算复杂度随之增加,适用于通用计算机平台。（3）提出了一种基于生成对抗网络的驾驶员人脸光照处理方法。复杂光照是影响面部特征提取的关键因素之一,人脸图像光照处理也是识别面部疲劳状态的基础。现有的人脸光照处理模型没有充分利用人脸本征信息,且难以自适应的对图像光照分量进行增强。基于此,本文设计了一种新颖的人脸光照处理方法,该方法将人脸光照处理任务分成了图像分解和光照增强两个阶段,结合了自监督学习与生成对抗学习,通过先验知识和条件约束引导模型生成光照归一化的人脸图像。实验结果表明,所提出的人脸光照处理模型能够有效地去除光照的影响并较为完整地修复轮廓细节和表情信息,这也为疲劳识别算法的研究打下了基础。（4）提出了一种基于双频时空卷积网络的驾驶员疲劳识别方法。面部特征提取是驾驶员疲劳识别的关键。现有的驾驶员疲劳识别方法大多没有考虑到复杂光照环境的影响。另一方面,这些方法通常只是单一的挖掘全局时空线索或者面部细节线索,缺乏对疲劳状态的整体表征。针对上述问题,本文提出了一种新颖的驾驶员疲劳识别方法。就模型结构而言,设计了一种双频时空卷积网络模型,采用高频时空网络分支提取全局时空线索,通过低频空间网络挖掘面部细节线索,并引入了侧边连接机制进行疲劳特征融合;就数据处理而言,本章所提出的方法将原始人脸序列和光照处理后的人脸序列作为两种输入数据流,通过融合实现光照鲁棒的人脸疲劳表征。实验结果表明,所提方法有效地提升了驾驶员疲劳识别精度,检测率高、误报率低、满足复杂光照环境的应用需求。