机器人抓取三维物体是机器人最常用的基本动作之一,研究机器人抓取技术是智能服务型机器人大规模应用于日常生活的关键。机器人对目标物体的识别是抓取的基础,现有的主动式目标物体识别算法普遍存在识别损失函数相对于识别位置不可导的问题;同时,现有的机器人抓取规划算法多数只适用于低自由度抓取器,而少数针对高自由度抓取器的规划算法却无法快速而有效地生成高质量的抓取姿态;在利用平面连杆结构做机器人设计时,存在无法联合优化拓扑和轨迹的问题。针对以上问题,本文分别从神经网络结构设计、损失函数设计、优化算法设计等方面研究解决的方案,主要创新点总结如下:1.主动式视觉本质上是注意力驱动的:机器人为了更加快速地完成任务,会主动选择视角,并不断地更新机器人对于所观察环境的内部表达。注意力模型算法已经在基于RGB图像的二维视觉领域取得了很大的成功。受此启发,本文提出一种新的基于循环神经网络端到端的注意力模型,该模型可以解决基于多视角深度图的目标物体识别问题。该模型利用循环神经网络的优点,主动地变换视角并更新机器人对于所观测环境的内部表达。通过在已有的三维数据集上进行训练,该模型能够针对一个待识别的目标物体,不断地寻找该物体的下一个最佳视角,并最终达到识别该物体的目的。为了实现三维视角的自主选择,本文提出一种新的三维空间变换网络,该网络模块是完全可导的,能够实现端到端的训练,因此它比现在通用的深度强化学习收敛更快。实验表明,针对下一个最佳视角问题,该算法在仅有深度图的情况下,实现了最高的物体识别率和最好的时间效率。2.本文提出一种利用神经网络来表征高自由度抓取器抓取姿态的方法。高自由度抓取器的抓取姿态具有冗余性,也就是说,对于给定的一个目标物体,存在大量同样合理而有效的抓取姿态。这使得神经网络学习一致性的抓取姿态变得很困难。本文首先构建一个数据集,该数据集中的目标物体囊括了已有的四个公开数据集中的物体,同时每个目标物体都有很多有效的抓取姿态;然后,对该数据集进行增强,这将使得神经网络的训练更加有效;其次,利用该数据集和一致性损失函数来训练一个神经网络,该神经网络可以建立从目标物体到抓取姿态的一对一的关系,以此来解决抓取的一致性问题。同时,通过一个碰撞损失函数来防止抓取器穿透物体,以进一步提高生成的抓取姿态的质量。抓取质量是衡量一个抓取姿态好坏的标准,抓取质量越高,则机器人抓取物体时,抵抗外力扰动的能力越强。相比较作为基线方法的监督学习而言,该方法能够为高自由度抓取器生成更高质量的抓取姿态。生成的抓取姿态的质量与数据集中作为标注数据的抓取姿态的质量相近。同时,对于从多视角深度图重建出来的、带噪声的物体模型,该方法具有足够的鲁棒性为其生成高自由度抓取姿态。这种鲁棒性使得该方法可以在24自由度的Shadow Hand真实机器人平台上实现。3.为了使机器人成功抓取未知的目标物体,本文提出一种端到端的算法来训练神经网络。该算法基于前向反向自动求导方法实现了抓取规划器所涉及的基本模块,包括抓取器的前向运动学、抓取器和物体之间的碰撞处理以及抓取物体时的抓取质量。一个典型的机器人抓取姿态包括抓取器腕部的位置和朝向（外部自由度）,以及抓取器夹爪的闭合程度或者手指的关节角度（内部自由度）。特别地,本文提出了一种通用的Q1抓取质量,该抓取质量的计算是可导的。因此,即使在抓取器与物体并没有发生接触的情况下,也可以利用该抓取质量来针对神经网络直接输出的抓取姿态进行优化。这与传统的抓取质量必须要求抓取器接触目标物体不同。同时,该抓取质量的偏微分可以通过相关优化问题中的灵敏度分析来计算。本文通过分析认为,在抓取过程中产生的碰撞（即抓取器与物体之间的碰撞以及抓取器内部夹爪或者手指的自碰撞）损失函数的偏微分,可以通过一个低质量的闭合三角网格来计算。该算法可以在没有抓取训练数据的无监督训练模式下,为高自由度抓取器规划出针对已知目标物体的抓取姿态,同时也可以在有监督训练模式下,通过利用小规模数据集来提高抓取规划的有效性,并且针对未知目标物体也具有良好的泛化能力。在基于学习的抓取规划算法中,该算法可以极大地简化准备训练数据的过程。同时,针对已有的三维模型数据库,该算法相对于基线算法提高了0.12的Q1抓取质量和22%的真实机器人抓取成功率。4.本文提出一种上下两层的分支定界算法,在一个约束的搜索空间中计算最优的抓取器姿态,并最大化抓取质量。该方法考虑了抓取器的运动学约束,以确保在有解的情况下,一个给定的抓取器能够顺利抵达预定的抓取点而不与物体发生碰撞;或者在有限的时间内证明,预定的抓取点不存在与之对应的合理的抓取姿态。主要的技术贡献在于,针对抓取器的逆向运动学约束,提出了一种新颖的基于混合整数凸规划的算法,该算法仅涉及少量的二元整数变量和紧致的约束条件。同时该算法可以利用分支定界算法来有效地求解。实验表明,在一台桌面级计算机平台上,该方法可以在20分钟到80分钟之内为不同目标物体规划出最优抓取姿态,同时所规划抓取姿态的Q1抓取质量,比以往基于采样的抓取规划方法要更好。5.本文提出一种新的算法来联合计算平面连杆结构全局最优的拓扑和轨迹。平面连杆结构能够在只有一个可旋转驱动器的情况下,生成复杂的末端执行器轨迹,这对于生产低成本机器人是非常有用的。针对求解这些结构的全局最优拓扑结构和几何特征,本文提出了一种新的优化方法,该方法解决了拓扑变化的不光滑和不可导的问题。本文将该问题形式化成一个混合整数凸规划问题,并利用分支定界算法来求解全局最优解。从结果上看,该方法能在有限的时间内,生成一个平面连杆结构以使得其末端执行器的轨迹与用户提出的目标轨迹尽量重合。通过测试,该方法能够自动生成带有57个刚性连接杆的平面连杆结构。与基于采样的方法或者模拟退火算法比较,该方法将解的质量提高了最多7倍。同时,优化过的平面连杆结构在四足行走机器人和机器人抓取器上得到了验证。