视觉伺服是一种以视觉信息作为反馈信号进行控制的伺服系统,相比传统的基于视觉的控制具备更高的灵活性。混合视觉伺服结合了基于位置的视觉伺服与基于图像的视觉伺服的优势,既可以对图像空间进行控制,也可以用于调整姿态的偏离,因此适用于拥有复杂任务目标和较高自由度的对象。机械臂作为目前最热门的机器人之一,可以执行多种任务,但在视觉伺服领域其运动自由度却受到严重限制。本文将混合视觉伺服与机械臂结合,拓展机械臂完成伺服任务的工作空间,并检验混合视觉伺服理论在受控对象为机械臂时的表现。伺服系统中机器人采取“眼在手上”的结构,相机安装在七自由度机械臂末端,借助相机在当前和期望位置得到的目标图像,本文通过单应性矩阵的分解实现对深度的估计与旋转平移方向的解耦,从而控制相机运动。目标静止的情况下,本文分析了混合视觉伺服方法在不同类型任务中的性能表现,并与传统的IBVS进行比较。为了提高增益对运动状态的适应性,建立了用于增益调节的强化学习模型。该模型以Q学习为基础,通过与环境的交互进行训练得到值函数,伺服过程中机器人可在每一步根据当前状态自主选择合适的伺服增益。实验结果表明,相比伺服增益固定的传统方案,文中提出的方法能够令伺服过程具有更快的收敛速度与更强的稳定性。对于运动目标的跟踪,伺服系统由机器人雅可比矩阵得到末端笛卡尔空间到关节空间的速度映射,通过闭环反馈控制姿态,实现了分解速率控制。在闭环中引入卡尔曼滤波器为速度提供前馈补偿,可提升系统的跟踪性能。针对卡尔曼滤波器在运动状态突变下存在的误差发散问题,提供了适用于不同情况的两种改进策略。在仿真实验中,伺服系统对运动目标的跟踪性能得到了验证,对于系统的缺陷,本文也进行了分析。为了进行观察,分析与效果验证,基于ROS操作系统和Gazebo模拟器搭建了可视化仿真平台。