机器人技术作为当今工业自动化领域的核心技术，引领着工业生产发展的浪潮。在机器人技术领域中，机器人视觉正成为其智能化进程中的核心环节。相比其它感官信息，视觉有着更大的信息量和更广泛的应用前景。机器人视觉伺服技术将视觉信息引入控制系统，提高了机器人运动的自动化水平和智能性，有着重要的意义。本课题以三菱公司出品的RM-501机械臂作为控制本体构建机器人视觉伺服系统，实现其对二维运动物体进行跟踪的目的。首先，在机械臂运动控制部分中，建立了机械臂的连杆坐标系并采用改进的D-H方法推导出机械臂末端位置同各关节转过角度的关系。在此基础上，根据机械臂的几何关系建立了逆运动学模型，并利用MATLAB Robotics Toolbox验证了所建立模型的准确性和合理性。然后，通过实验确定了各关节电机模型参数，选取了光电码盘作为关节位置以及速率的反馈装置，在RTW环境下完成了多关节双闭环控制系统的构建与测试，各控制回路响应指标均满足系统要求。接下来，在图像处理部分中，使用CCD摄像机对运动目标的视频图像进行采集。在DM6437图像处理平台中对采集到的图像进行预处理，突出了图像特征并降低了噪声的影响。选取sobel算子对黑白图片的边缘特征进行提取，实现了运动目标中心定位，并将中心点坐标引入到控制系统中，作为总控制系统的输入。最后，本课题搭建了模糊神经网络视觉控制器，经过学习得到良好的训练效果。之后在MATLAB环境下对总视觉伺服系统进行了测试，在分析系统性能的过程中，也验证了课题设计的合理性。