目前机器人为实现精细操作通常配有多种传感器,如果各类传感器只对不同模态采用独立的应用方式感知周围的环境,例如,感知形状、颜色等信息的视觉传感器以及感知粗糙度、硬度、温度等信息的触觉传感器,就会割断多模态信息之间的内在联系,从而严重降低感知动作的智能化程度。为了能够准确提供操作装置本身的状态、操作对象的位置、属性等信息,需要研究视觉、触觉多模态融合的理论与方法,从不同的角度对操作物体进行感知。视触融合感知问题目前已经引起机器人领域研究学者的高度重视。根据机器人的操作方式可以分为自主式机器人和遥操作机器人。因此本文主要从这两个方面对基于视触觉融合的机械手臂目标抓取进行了研究。在自主式机器人方面,本文针对基于视觉的机械手臂目标抓取过程中会出现的如下问题:(1)摄像头能观察到的范围有限或被机械手臂遮挡等原因造成的无法及时感知机械手臂操作对象位置的移动;(2)在抓取过程中无法判断操作对象是否发生丢失。本文提出了触觉辅助视觉的机械手臂自主抓取策略。首先通过视觉信息定位目标位置以及抓取主方向估计,再通过大量抓取实验,利用机械手臂反馈的触觉信息设定相应阈值,来辅助机械手臂判断灵巧手上是否抓到物体以及物体是否发生掉落,从而可以及时的重新定位物体位置进行再次抓取,使得机械手臂在抓取时更有效率且具备实时性。在遥操作机器人方面,本文主要研究了基于触觉手套的视触觉融合目标抓取。建立了 15个日常物体的视觉图像-触觉数据集。用协方差描述子表征图像特征,用动态时间规划模型表达触觉序列,并将视觉图像特征和触觉序列特征进行特征融合,再用极限学习机来建立视触融合分类模型。最后将基于触觉手套的视触融合目标识别与单独使用视觉或触觉的目标识别结果进行对比。最后,本文还研究了基于数据手套的控制动作识别,因为在遥操作中,一组特定的控制动作序列所表达的含义在机械手臂操作时是可以被预定义的,这样控制动作的含义就有了更为具体的表达,一些简单的动作就能让机械手臂执行一系列复杂的操作。所以在这一部分,我们用核极限学习机(kernel ELM)的方法分别进行静态和动态控制手势识别,实验结果表明,核极限学习机的分类效果优于极限学习机(ELM)和支持向量机(SVM)。