近年来由于道路交通事故而导致的人员伤亡数量逐年上升,交通事故对人类生命财产安全的威胁不容小觑。导致交通事故发生的原因有很多,人为因素是其中最主要、最复杂以及最不确定的因素,而疲劳驾驶又是最主要的人为因素之一。因此,如何利用现代科技准确且有效地识别驾驶员的驾驶状态,并据此构建实时稳定的辅助驾驶系统是当下交通安全研究中的重要课题,具有重要的研究意义和应用价值。当前疲劳驾驶研究面临两个问题:一是当光照条件较差或目标受到遮挡时,疲劳驾驶检测的精度不足,二是检测模型的参数量和计算量过大、导致疲劳驾驶检测算法难以部署且实时性不足。针对上述两个问题,本文在深度学习目标检测模型SSD（Single Shot Multibox Detector,单发多边框检测器）上开展了基于多模态和轻量化的疲劳驾驶检测算法研究,为驾驶员的驾驶状态提供了切实可行的智能感知方法,具体工作如下:1、针对SSD模型在光照条件不佳的环境下检测精度不足的问题,本文将多模态和注意力机制的概念相结合,提出了基于注意力机制ECA-Net的多模态特征融合算法。该算法通过在SSD模型上对可见光模态和红外模态的特征进行前期融合,并将前期融合后的特征送入后续的模型进行分类与检测实现多模态改进。改进后的多模态疲劳驾驶检测模型相较于单模态疲劳驾驶检测模型,能够有效地提升模型在不同光照环境下的检测精度和鲁棒性。实验结果表明,该算法在本文的数据集上能提升了22.64%的精确度、降低了10.59%的漏检率。2、为了进一步满足疲劳驾驶模型的实时性与轻量化部署要求,本文通过将SSD模型的主干网络替换为Shuffle Net来实现模型的轻量化,通过在SSD的Conv4＿3层和前两个有效特征层上替换空洞-深度可分离卷积和添加混合域注意力机制SA-Net来提升模型对小目标物体的检测能力并进一步轻量化。实验结果表明,替换Shuffle Net后模型的参数量由100.27Mb下降到29.23Mb;替换空洞-深度可分离卷积和添加SA-Net注意力机制后模型的参数量从29.23Mb增加到45.69Mb,但与此同时,对眼睛进行检测的平均精确度从84.58%提升到了92.37%。说明此改进方法能够在提升检测精度的同时降低模型参数量,满足了检测的实时性与部署需求。3、基于上述研究本文设计完成了一套疲劳驾驶检测系统,该系统中规定车辆行驶时驾驶员连续闭眼时间大于3秒或PERCLOS值大于0.3时为疲劳状态。在设计系统软件时,通过本文改进的轻量化多模态SSD算法直接对驾驶员的眼睛进行睁眼和闭眼的分类,再根据分类结果和上述疲劳判定方式来进行实时驾驶状态的判定。系统硬件部分选择NVIDIA的Jetson TX2嵌入式开发板为系统的硬件平台,通过高性能深度学习推理加速框架Tensor RT对模型进行融合和加速,并针对不同的环境与场景完成了测试实验,最终实现了在嵌入式开发板上的疲劳驾驶检测系统的设计与应用开发工作。