进入二十一世纪后,社会公共安全事在全球频繁发生。对人民的生活与心理造成严重的影响,促使社会上下加强了对公共安全环境的关注。很多国家开始研究智能视频监控系统,解放人工劳动,同时提供准确,实时的预警信息。同样随着机器人技术的迅速普及,机器人如何正确识别目标,避开行进中的障碍物,都是值得深入研究的技术。运动目标检测是机器视觉系统应用中的重要模块,在上面的两种系统中提供关键服务。而背景建模算法就是一种可以用来实现运动目标检测的技术。本文分析了背景建模算法在颜色空间中的常见问题:外部光照变化导致场景亮度变化;运动目标的颜色与背景区域相似;目标的阴影造成背景亮度改变。这些光学性质上的问题均可以通过其他传感器的数据去解决,本文采用了深度数据。而在深度数据的使用同时引入了新的问题:ADO区域。针对上述问题,本文融合了深度数据与颜色数据去构建背景模型。首先改进了原有的混合高斯背景模型,建立了基于颜色和基于深度的双背景模型。并且针对深度图中的ADO区域进行了优化处理,降低了数值突变对模型的干扰,导致模型不能收敛产生错误。根据融合结果更新背景模型,采用强弱两种更新率数值,增强了模型的稳定性,同时提高了适应背景变化能力。然后使用新的决策算法融合处理双背景模型的输出结果。最后与其它算法的实验进行对比,结果表面本文算法的检测率有所提高。为了提高双背景模型的融合结果的准确率,避免简单的二进制运算,本文提出了基于分类器的融合算法框架。从标注的RGB-D数据集中,提取基于颜色和基于深度的基本特征。本文采用的候选特征有:HSV数值,边缘特征,LBP特征等。利用这些数据完成分类器的训练,在本文的算法中使用的分类器是随机森林。将双背景模型的输出结果划分成不同的区域,使用分类器重新计算新的结果。这个框架可以推广应用于多种背景建模算法,MOG算法,AdaptiveMedian算法,FuzzySOM算法,StaticFramDifference算法。最后量化分析了融合结果,同时对比了其他的实验,结果表明该框架确实可以提高前景目标的检测率。