随着视频的爆炸式增长,视频的智能分析处理越来越受到人们的重视。智能视频分析处理的自动化和智能化,将大大减少工作人员的工作量。本文就视频智能分析处理的两个重要领域,基于视频的场景智能分析、基于视频的人机交互技术的关键算法作了研究。本文透过分析基于视频的场景智能分析——智能视频监控系统中的软件算法,提取出了其中的关键算法,并对其作设计和研究：本文的前景检测算法,为了解决许多前景检测算法中出现的前景断裂和空洞问题,提出了一种基于白适应双阈值的前景检测方法。利用高阈值,能将一些置信度高的前景点检测出来,同时低阈值和分级图像能起到连接前景的效果。为了鲁棒地进行目标跟踪,本文的跟踪算法采用团块跟踪和颜色直方图跟踪相结合的两级跟踪方法。它首先利用团块跟踪进行第一级的跟踪,对于其中不能区分的团块,采用颜色直方图的方法进行辨别,很好地完成了多目标跟踪。我们将前景检测算法与跟踪算法应用于智能视频监控中,开发了核心的三个应用：人数统计、车辆变道检测和物体失窃检测。实验结果表明,本文的算法具有良好的鲁棒性与实用性,符合实际应用的需要。另一方面,本文关注基于视频的人机交互技术,将视频中的手势作为交互的输入。本文提出了一种基于单摄像机的二维手势识别算法,它利用基于权值特征流与肤色模型的双模式的手追踪方法对人手进行跟踪,并且结合贝叶斯肤色模型分割人手,抵抗了复杂背景的干扰。同时,利用密度分布特征对手势进行识别,具有旋转和放缩不变性。实验结果表明,此算法能够抵抗复杂背景尤其是大面积肤色区域的干扰,达到实时鲁棒。