作为一种直观自然的交互方式,手势日渐从人际日常交流向新型人机交互发展,尤其是在车载控制系统上,不少高端车型已将手势识别技术应用于搭载的车载影音娱乐系统。在众多技术实现路线中,基于单目彩色摄像头的机器视觉方案因为所需的传感器简单便宜,越来越被研究者们所注意。为解决手势图片背景复杂、自遮挡、易形变等识别困难,本文利用深度学习技术提高其识别准确率。为了解决上述问题,本文设计了基于单目彩图的深度学习手势识别解决方案。该方案由以下三部分构成:首先是针对车载场景复杂背景下的手势分割算法。对于现有的手势分割方法在复杂背景下难以从图像中准确地分割出静态手势的问题,提出改进的背景差分法,将原本用于动态目标轨迹检测的背景差分法应用于静态手势分割。即通过背景建模,图片与背景模型在特定阈值上做差分,最后通过连通域及形态学处理分割出手势图像。与以往使用的基于肤色的分割方法和基于肤色及轮廓的分割方法相比,通过对不同场景下分割效果的验证,发现该算法的手势分割效果更好,鲁棒性更强。其次是详细对比了三种经典的分类卷积网络模型。在前述的手势分割算法基础上,选择模型配置以及分类器训练方法。分别使用VGG16、Res Net50和Inception V1在ASL权威手势数据集上进行识别实验并对比实验结果。实验结果说明,仅仅使用彩色图像,使用经典高算力卷积神经网络已能取得不错的识别效果,远胜传统机器学习方法,其中Res Net的网络结构最适用手势识别任务,准确率最高达到87.3%。最后是为了移动端部署而进行的网络模型轻量化改造。对于经典CNN网络模型参数量大、难以部署在移动端使用的问题,本文先详细介绍了经典轻量级网络Mobile Net的网络结构及其轻量化原理,并在ASL数据集上测试其手势识别任务的表现,最后提出一种基于Mobile Net网络改进的轻量级手势识别模型。对网络中的深度可分离卷积用残差模块相互连接,以减少信息的逐层丢失,沟通前后卷积层的特征信息,提高最终的识别准确率。这些连接包括输出与输入尺寸相同时的简单恒等连接,以及输出与输出尺寸不同时的带有1*1卷积的跳跃连接。实验结果表明,新的网络结构很适合手势识别任务,与基础网络MobileNet相比,在计算量不变的情况下,精度提高1.7个百分点。