在交通运输部办公厅发布的115号文件[1]中指出,驾驶员在行驶过程中存在的接打手持电话,长时间不目视前方以及疲劳驾驶等行为会极大影响行驶的安全性。目前,针对驾驶员的驾驶行为检测研究还比较少。现有的方法一般采用手机信号监测驾驶员打电话行为,深度学习算法进行头部姿态估计,进而监测驾驶员是否长时间目视前方以及通过记录行车时长的方式监测疲劳驾驶。由于基于手机信号检测很难分辨是否是驾驶员在拨打电话,基于深度学习的方法对硬件检测设备要求高,模型训练时间长以及基于行车时间检测疲劳的方式存在检测不准确等弊端。本文提出了基于机器视觉的上述三个方面行为监测方法与实现,并针对不同环境场景下进行分类检测。在实现全天候监测的同时,提高检测的准确性。首先,本文通过HSV颜色空间算法对驾驶环境场景进行区分。并针对白天和夜晚驾驶场景,分别采用普通彩色摄像头以及850nm的近红外摄像头完成对驾驶员的图像采集和分析工作。其次,在典型驾驶工况场景下,本文采用了基于卷积神经网络（MTCNN）框架的驾驶员人脸检测。针对驾驶员接打手持电话的检测,通过对驾驶员的耳部区域定位,采用了YCb Cr肤色分割的方法与连续时间监测的方式完成在日间驾驶工况下的相关检测。由于近红外图像肤色分割效果不理想,为了完成在夜间驾驶工况下的相关检测,本文采用了连续时间内耳部最大轮廓查找的方法完成。针对驾驶员长时间不目视前方的监测。在检测的人脸特征点基础上,通过三维仿射变换,获取驾驶员头部的姿态估计,采用连续时间内的异常头部姿态估计完成对驾驶员不目视前方的监测。针对驾驶员疲劳驾驶的检测,提取了驾驶员面部的眼部和嘴部,作为驾驶疲劳的特征。建立了相关的眼口图像数据集,利用caffe框架设计了简单的卷积神经网络（CNN）对其闭合状态进行分类。根据分类结果,结合PERCLOS和打呵欠频率,每30秒计算一次驾驶员的疲劳系数。对KSS主观量表进行疲劳程度划分,每10分钟进行一次驾驶员主观评级。并通过SVM分类器,根据其疲劳系数预测其10分钟内的疲劳程度,进行疲劳监测的准确性验证。最后,在模拟驾驶平台中进行了相关实验论证。实验结果表明所提出的检测方法可以取得较高的检测准确性,对光照和环境变化具有一定的鲁棒性。