随着Android操作系统的异军突起，Android平台智能电视的市场占有量也逐年递增，传统遥控器的人机交互方式已很难满足人们的交互需求，基于视觉的手势识别技术已成为新一代人机交互的研究方向，并将打破人们对于电视操作模式的传统理念。本文立足于智能电视平台，对基于视觉的手势识别系统进行了比较深入的研究，主要包括以下几个方面内容：(1)手势图像采集。本文通过分析彩色图像采集过程中易受光照变化影响的缺陷，提出基于深度图像的手势识别，在研究了目前Android平台驱动开发技术的基础上，采用libusb技术完成了深度摄像头驱动的移植工作。(2)人手检测与分割。本文根据人手运动特点及人手深度图像的特征信息，提出了基于深度图像的人手检测分割、跟踪和识别方法。在人手检测与分割方面，本文提出了利用差帧法检测运动轮廓与人手轮廓粗识别相结合的方法来确定初始人手信息，此方法的算法复杂度低且达到了较好的检测效果。(3)人手跟踪与手势识别。本文利用从深度图像中得到的人手表面深度数据近似模拟人手固有特征信息，提出了基于深度概率模型的均值漂移算法与人手轮廓模型相结合的跟踪方法，有效克服了传统均值漂移算法不能适应追踪目标尺寸变化的缺陷，实现了有效的人手运动跟踪和手势的识别。在研究了Android开发平台相关特性的基础上，本文设计并实现了智能电视终端的手势识别系统。该系统利用摄像头进行图像采集，通过用户手势输入达到浏览并操作本地图片的功能需求，达到了预期的识别效果。