近年来由于机器视觉技术的推广，逐渐延伸出新的研究邻域——视觉伺服。本文中主要研究讨论了视觉伺服是如何应用视觉的反馈信息对二自由度旋转云台进行伺服控制，使其跟踪一个运动目标。本文首先分析对比了图像滤波、图像的分割、目标检测和目标跟踪的基本算法，并由此建立了自己的跟踪算法，具体过程包括：建立基于帧间差分法的目标检测算法，利用改进的最大类间方差法（OSTU）选取最优阈值进行目标分割，并采用数学形态学处理二值化运动目标中的干扰信息，从而获得运动目标的质心位置与图像主点的位置偏差。其次根据提出的跟踪算法，我们搭建了摄像机-云台伺服控制模型，其目的是通过实时控制云台的旋转角度，使运动目标始终保持在摄像机的中心位置。将先前计算得到的运动目标质心与图像主点的偏差值根据小孔成像原理，转换为云台旋转角度，将角度值反馈到云台的控制程序中，从而驱动云台，使摄像机实现目标的跟踪定位。同时根据设计要求，实验中通过C++二次开发设计出操作界面，方便对图像进行操作。实验结果表明，本文提出的摄像机-云台控制模型在能很好的跟踪运动的目标小球。最后，我们对全文的工作进行了总结和思考，指出了本文的算法稳定性、实时性等方面还有待改进；并对工作进行了展望，提出本文的摄像机-云台模型可以使用到智能制造中的刀具在线检测、工件实时监控等。