机器人智能抓取问题是目前国内外研究的一个重要领域。由于待抓取物体种类繁多、位姿摆放散乱,机器人对场景的感知和判断能力明显不足,是智能抓取自动分类和定位技术研究的瓶颈问题。目前,深度学习技术已在不同领域成功应用,大规模数据的使用带来了研究方法性能的大幅提升。本文在散乱工件识别与定位方法研究上,应用深度学习技术,融合多模态传感数据,分别建立工件识别分类器和抓取位姿检测器。主要工作有:研究建立工件识别分类器。本文对公共数据集进行预处理和扩充操作,得到待分类数据集。针对数据集中图片数量较少的问题,采用迁移学习的方法,分别训练VGG16和Inception-v3两种神经网络模型。分析和对比两种分类模型在测试集上的测试结果,最终选取Inception-v3神经网络模型作为本文的工件分类模型。研究建立抓取位姿检测器。由于单纯地使用RGB图像来获取物体的抓取框,抓取框的正确率容易受到被抓取物体颜色和背景图案的影响。因此本文针对RGB-D数据,构建多模态数据融合模式处理RGB-D信息。首先,在图像数据和深度数据上,分别使用卷积神经网络训练两个抓取检测器。将两个抓取检测器作为特征提取器,分别提取抓取框的图像抓取特征和深度抓取特征。在模型末端融合两种抓取特征,再添加一个输出分类层,实现多模态抓取矩形检测器的构建。在线识别分类与抓取检测的实验验证。以Kinect v2相机为主要传感器,获取目标工件的场景数据,完成相机与机器人的标定。采用随机采样一致算法实现目标工件的分割,检测获得最优抓取框。Top-1抓取框并不一定是最优抓取框,本文增加一个比较重心的算法,以检测最优抓取框。制定规则将最优抓取框映射到实际的抓取参数。搭建实验平台,将四种不同的工件分别以五种姿态放置在桌面上,进行识别分类和抓取位姿的检测研究。实验研究结果表明,本文的识别分类与抓取检测系统是有效的。