抓取操作是机器人技术的常见任务,当前大多数机器人抓取系统都是在结构化环境下工作,一旦环境、抓取任务、目标状况发生变化,就需要重新设置,缺乏鲁棒性和灵活性。但是在非结构化环境下,面临抓取目标的不可预测性、抓取目标的位姿随机性、多个抓取目标存在堆叠等问题时,机器人的抓取变得困难。本课题深入研究机器人抓取场景理解、抓取位姿估计等内容,实现一种用于多目标抓取任务的方法,并通过实物抓取实验进行验证。主要内容如下:(1)构建了整个机器人抓取系统框架。其中深度相机和机械臂是系统的基础。并对深度相机的深度图缺失以及三维点重建进行了研究。在视觉引导机械臂技术中,手眼标定是实现抓取的重要前提,本文采用Eye-to-Hand手眼模型,利用HALCON视觉软件实现了相机与机械臂的手眼标定。(2)研究了基于全卷积网络的多目标像素级语义分割。针对多目标抓取场景的特殊性,建立多目标抓取数据集来训练分割网络。提出改进DeepLabV3+的分割算法,相较于原始算法,对小目标有更好的分割效果,网络空间感知能力更强,对堆叠场景有着更好的分割。通过对比实验,验证了所提算法的性能。(3)研究了基于深度卷积网络的机器人抓取位姿估计方法。描述了机器人抓取检测问题。采用RG-D信息作为输入,以Faster R-CNN作为基础框架,通过融合FPN网络获取多尺度特征图以提高小目标的抓取检测,采用ROI Align替换ROI Pooling以提高抓取框的定位精度。通过对比实验进行了验证,并且所提算法在康奈尔抓取数据集上达到了96.9%的精度。(4)塔建了基于Kinect深度相机和Kinova机械臂的机器人抓取系统,在ROS框架下,实现了各个子模块的信息传递,并驱动机械臂完成不同抓取任务。本文提出了一种基于深度学习的多目标抓取方法,实现了抓取场景中多目标分割和抓取位姿估计,机器人抓取系统对单目标的抓取成功率为91%,而对于散乱放置的多目标的抓取成功率为88%,堆叠放置的多目标抓取成功率为78%。