论文部分内容阅读
摘要：运动目标检测是固定摄像机智能视频监控的重要研究内容，针对现有方法难以均衡时间复杂性与检测效果的不足，提出一种新方法：利用视频背景信息划分目标出现区域，在小范围目标出现区域内采用Canny算子检测运动目标，在目标出现区域外，根据目标运动的连续性，结合前一帧检测出的运动目标，自适应检测当前帧的运动目标。实验结果证明，该方法不仅具有较高的准确性，而且能够满足实时性要求。
关键词：智能视频监控 运动目标检测 区域划分 视频背景信息 固定摄像机
1 概述
目前，基于减背景（如时间差分法、运行期均值法和混合高斯模型）和基于目标特征（如颜色特征、边缘特征和运动特征）是固定摄像机监控视频中运动目标检测的常用方法。但现有方法通常在时间复杂性和检测效果之间难以达到较好的均衡。
为满足实时性，针对10帧/秒的视频序列，每帧图像的处理时间不超过100毫秒，并需为目标跟踪和事件检测等预留时间。因此，在实时性的约束下，运动目标检测的处理时间十分有限。运行期均值法RA（Running Average）[2]是目前在实时性约束下的常用方法，但其对减背景阈值的设定和光照条件的变化比较敏感。
为了弥补RA的不足，本文提出ODBAP（Object Detection Based on Area Partition）检测方法，该方法是一种基于区域划分对运动目标进行检测的方法。其基本思路为：在处理监控视频的过程中，对视频背景的地形、道路等信息进行充分的利用，在视频背景中通过手工操作的方式对目标出现的区域进行锁定，即锁定视频背景中运动目标所在的区域，同视频背景区域相比，目标出现的区域要小很多。因此，对目标出现区域内的运动目标进行检测，通过Canny算子对边缘信息进行提取，时间效率受到的影响微乎其微；基于视频序列中帧率的快速性，在相邻的两帧之间运动目标大同小异，如果运动目标移出目标出现区域，可以在减背景获得的差异图像上，利用目标运动的连续性，根据运动目标在前一帧被检测出的区域，自适应检测运动目标在当前帧的区域。ODBAP对输入参数和光照条件变化不敏感，时间复杂性低，并能更有效地抑制噪声和检测出完整的运动目标。
2 基于区域划分的运动目标检测ODBAP
2.1 目标出现区域的划分及背景图像的获取
在指定位置装设固定摄像机后，那么相应的监控区域也就固定。所以，基于视频背景划定的目标出现区域，在一定时间段内是固定不变的。由于建筑布局、地形等因素对实际监控造成的影响和制约，运动目标只能从监控区域的边界等特定区域进入视频背景。在图1（a）（b）中目标出现区域是监控区域边界处的闭框。在实际监控过程中，若监控区域存在遮挡物，目标出现区域也可以是遮挡物的边界。监控视频图像的实例如图1（a）所示，对目标出现区域内（外）运动目标的检测步骤进行设计。
■
（a） （b）
图1 目标出现区域的划分
本文采用RA获取背景图像，也就是采用Bt+1（x，y）=λIt（x，y）+（1-λ）Bt（x，y）的更新方式，It（x，y）为t时刻当前图像（x，y）处的像素亮度，Bt（x，y）为t时刻背景图像中（x，y）处的像素亮度，Bt+1（x，y）为t+1时刻背景图像中（x，y）处的像素亮度，λ表示背景学习率，取值一般是0.03。
2.2 目标出现区域内运动目标的检测
图2（a）的图像与图1（a）中的实例相对应，其中存在目标进入目标出现区域，图2（b）中的背景图像与图2（a）相对应。图2（a）中实际场景的背景纹理较为平滑，背景图像中的边缘信息很少。因此，可将图2中的（a）、（b）两帧图像作对比来检测目标出现区域内的运动目标。将“0-255”二值图像I中像素x的值用I（x）表示，检测流程分为三步：
①借助Canny算子提取目标出现区域内（a）、（b）两帧图像的边缘信息，并用二值图像I1、I2分别作标示，如图2（d）（e），通过3×3结构元素的膨胀算子对I2进行一次处理后得到I3，进而取得二值图像I4，即去除背景边缘的运动目标边缘（参见图2（f））（对？坌像素x，如果I1（x）=255、I3（x）=0，那么I4（x）=255，否则I4（x）=0）。设定阈值T，若I4（x）=255的像素个数稀少，即像素个数比阈值T小，则判定目标出现区域内不存在运动目标，随即进入下一道检测流程。
■
②若I4中的运动目标边缘呈完整闭环，可通过图像填充手段来确定完整的运动目标，I4中图像边缘未呈闭环状是因为受到了噪声及I3（背景边缘）的影响。一系列1个像素宽的连通曲线以8邻接的形式构成了I4中的闭环图像；图3（a）属于图2（f）中的一条连通曲线，从图3（a）中可以看出，它的红色连通域有三个，三个连通域都与连通曲线的端点相对应，图3（b）、（c）、（d）中的红色正方形是基于图3（a）连通曲线中某一像素为中心的3×3结构元素，将这三帧红色正方向图像放大得出如图4（a）、（b）、（c）所示的图像：当连通曲线中除绿色像素以外同红色正方形相邻的像素处于同一连通域，可判定绿色像素为端点像素。基于这一判断就能找出I4中如图2（g）红色像素所示的全部的连通曲线的端点，只有消除这些端点才能得到闭环状的运动目标边缘。从图2（g）中截取一段连通曲线L（参见图4（d）所示），围绕此段连通曲线中的某一端点为中心向外寻找相邻的像素，图4（d）中深灰色与浅灰色的闭环相互交叠，直至其与L以外的连通曲线交互（交互部位用图4（d）中绿色像素标示），再将红、绿两色端点相连得出图4（d）所示的黄色线段，图2（g）中的端点随即消除。在实地检测中，基于噪声等影响因素的考量，设定阈值D，当图4（d）中深灰与浅灰的相互交叠的闭环数量大于D尚未与除曲线L之外的连通曲线交互，则其相应的端点也不与L之外的连通曲线交互。将图3（g）中的端点连接得出的结果参见图3（h）。 ■
③运动目标被内部边缘划分为若干个区域，因此拟用图像填充的手段来完善运动目标外部图像，填充部分即为图2（i）所示的灰色区域，而运动目标区域即为图2（j）所示的非填充部分。为排除噪声干扰，分别对图2（j）进行3×3结构元素的腐蚀与膨胀算子进行处理来获取一个完整的运动目标（参见图2（k）），在图2（a）划定的目标出现区域中检测出运动目标2（c）。
2.3 目标出现区域外运动目标的检测
在目标出现区域内划定有指示方向的红色越界线（参见图5（a）），基于运动目标检测方法得出图5（b）所示的结果。图5（b）中目标中心点超出红色越界线，因而图5（d）拟用目标出现区域外的方式来检测运动目标。图5中由于（a）与（d）之间只有0.1s的间隔时间，因而不存在大的差异。目标出现区域外检测运动目标分两步：
①基于当前图像与背景图像之差构造出差异图像F，如图5（e）所示，其像素x的亮度值用F（x）表示。设N4（x）= {x1，x2，x3，x4}（参见图5（f）），其中N4（x）b表示像素x的4邻接，然后将F中的像素逐一归类标记：按照上下左右的顺序对F进行扫描，设扫描至像素为x，则：
xk=argymin{y∈N4（x）}|F（x）-F（y）|
式中，N4（x）中的像素已被归类标记。如果|F（x）-F（y）|<3，那么x被标记为与xk被归为同一类，否则就会出现一个新类并且x被标记为此类；F中像素归类标记的最终结果参见图5（g）。假设C是归类标记后所有类的集合，即C={c1，c2，…，cm}，得出ci（1≤i≤m）中像素属同一连通域且在差异图像F中的亮度值差异较小。
②用M、■分别表示前一帧测得的运动目标区域和非运动目标区域（参见图5（b）），用F′表示前一帧测得的差异图像，如图5（c）；设IC={ci|ci∈C，ci？哿M}，BC={ci|ci∈C，ci∩M≠Φ，ci∩■≠Φ}（参见如图5（h）、（i））；如果当前帧和上一帧运动目标区域的差异区域用BC表示，则BC={b1，b2，…，bn}，对？坌1≤j≤n：计算当前帧的差异图像F′中bj∩M的平均亮度值gMj、bj∩■的平均亮度值g■ j，以及差异图像F中bj的平均亮度值gbj；设SC={bj|bj∈BC，1≤j≤n， |gbj-gMj|<|gbj-g■ j|}（参见图5（j）），集合IC∪SC如图5（k），最终得出当前帧所测得的运动目标区域 IC∪SC，即图5（l）所示的白色区域。
3 算法实验结果及其讨论
为了证明所提方法ODBAP的正确性，本文通过图6（a）～（c）所对应的监控视频（320×240帧率10帧/秒）进行实验。实验所用计算机为Pentium（R）4、CPU为2.40 GHz、内存为512MB，配置的软件环境为Microsoft Windows XP，采用VC6.0编写算法。
■
图6 ODBAP与自适应阈值RA的实验结果与对比
采用文献的自适应阈值Th获取方法确定运行期均值法RA[2]的减背景阈值：
①Th的初始估计值采用平均亮度值。
②通过Th分割法生成两组像素，一组亮度值大于Th的像素组成G1，另一组是亮度值小于等于Th的像素组成G2。
③对G1和G2中像素的平均亮度值μ1和μ2进行计算。
④对新阈值Th（μ1+μ1）/2进行计算。
⑤通过迭代的方法重复Step2～Step4，直到Th值之差稳定。
本文通过对比ODBAP与RA[2]，ODBAP的实验结果如图6（d）～（f）所示，自适应阈值RA的实验结果如图6（g）～（i）所示。经比对后得知，运动目标可以通过ODBAP进行完整的检测，相较于自适应阈值RA，它对光照的敏感性稍差。实验表明，无论阈值T取值为100～260，还是阈值D为8～16，ODBAP对输入参数始终不敏感。阈值T的最佳取值空间在整个图像空间的1/500，当阈值D在整个图像空间的1/4000进行取值时效果最好。所以，本实验阈值T为150，阈值D为10。ODBAP不需要构造精细的背景模型，采用clock（）函数的100帧均值对CPU的执行时间进行测试，结果显示ODBAP对每帧图像的平均处理时间为0.026秒，进而解决了运动目标实时检测的问题。
4 结束语
为了弥补运行期均值法RA[2]的不足，本文对时间复杂性和检测效果进行考虑，进而提出ODBAP的检测方法，该方法对输入参数和光照条件的变化不敏感，时间复杂性低，借助背景特征信息检测运动目标，并且该方法能够抑制噪声，以及对完整的运动目标进行检测。
参考文献：
[1]Jager M，KnollC，Hamprecht F A.Weakly Supervised Learning of a Classifier for Unusual Event Detection [J].IEEE Transactions on Image Processing， 2008， 17（9）： 1700～1708.
[2]Martin Ulmke，Wolfgang Koch.Road-Map Assisted Ground Moving Target Tracking [J].IEEE Transactions on Aerospace and Electronic Systems，2006，42（4）：1264～1274.
[3]Canny J.A Computational Approach to Edge Detection [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1986，8（6）：679～698.
[4]Gonzalez R C，Woods R E.Digital Image Processing， Second Edition [M].New Jersey： Prentice Hall，Upper Saddle River，2002.
[5]李利杰.一种改进的运动目标检测算法研究与实现[J].中小企业管理与科技（下旬刊），2012/09.
[6]陈静，杨文飞，谢方方，杨素敏，成城.基于SSE指令集的运动目标模板匹配算法设计[J].价值工程，2012（29）.
[7]喻钧，陈娜，胡志毅，陈宏书.边缘处理在仿真迷彩设计中的研究与应用[J].计算机仿真，2011（06）.
[8]范亚男，葛卫丽.智能视频监控系统发展及应用[J].价值工程，2010（17）.
[9]郭旭，张丽杰.运动目标检测视频监控软件的设计与实现[J].计算机技术与发展，2010（08）.
关键词：智能视频监控 运动目标检测 区域划分 视频背景信息 固定摄像机
1 概述
目前，基于减背景（如时间差分法、运行期均值法和混合高斯模型）和基于目标特征（如颜色特征、边缘特征和运动特征）是固定摄像机监控视频中运动目标检测的常用方法。但现有方法通常在时间复杂性和检测效果之间难以达到较好的均衡。
为满足实时性，针对10帧/秒的视频序列，每帧图像的处理时间不超过100毫秒，并需为目标跟踪和事件检测等预留时间。因此，在实时性的约束下，运动目标检测的处理时间十分有限。运行期均值法RA（Running Average）[2]是目前在实时性约束下的常用方法，但其对减背景阈值的设定和光照条件的变化比较敏感。
为了弥补RA的不足，本文提出ODBAP（Object Detection Based on Area Partition）检测方法，该方法是一种基于区域划分对运动目标进行检测的方法。其基本思路为：在处理监控视频的过程中，对视频背景的地形、道路等信息进行充分的利用，在视频背景中通过手工操作的方式对目标出现的区域进行锁定，即锁定视频背景中运动目标所在的区域，同视频背景区域相比，目标出现的区域要小很多。因此，对目标出现区域内的运动目标进行检测，通过Canny算子对边缘信息进行提取，时间效率受到的影响微乎其微；基于视频序列中帧率的快速性，在相邻的两帧之间运动目标大同小异，如果运动目标移出目标出现区域，可以在减背景获得的差异图像上，利用目标运动的连续性，根据运动目标在前一帧被检测出的区域，自适应检测运动目标在当前帧的区域。ODBAP对输入参数和光照条件变化不敏感，时间复杂性低，并能更有效地抑制噪声和检测出完整的运动目标。
2 基于区域划分的运动目标检测ODBAP
2.1 目标出现区域的划分及背景图像的获取
在指定位置装设固定摄像机后，那么相应的监控区域也就固定。所以，基于视频背景划定的目标出现区域，在一定时间段内是固定不变的。由于建筑布局、地形等因素对实际监控造成的影响和制约，运动目标只能从监控区域的边界等特定区域进入视频背景。在图1（a）（b）中目标出现区域是监控区域边界处的闭框。在实际监控过程中，若监控区域存在遮挡物，目标出现区域也可以是遮挡物的边界。监控视频图像的实例如图1（a）所示，对目标出现区域内（外）运动目标的检测步骤进行设计。
■
（a） （b）
图1 目标出现区域的划分
本文采用RA获取背景图像，也就是采用Bt+1（x，y）=λIt（x，y）+（1-λ）Bt（x，y）的更新方式，It（x，y）为t时刻当前图像（x，y）处的像素亮度，Bt（x，y）为t时刻背景图像中（x，y）处的像素亮度，Bt+1（x，y）为t+1时刻背景图像中（x，y）处的像素亮度，λ表示背景学习率，取值一般是0.03。
2.2 目标出现区域内运动目标的检测
图2（a）的图像与图1（a）中的实例相对应，其中存在目标进入目标出现区域，图2（b）中的背景图像与图2（a）相对应。图2（a）中实际场景的背景纹理较为平滑，背景图像中的边缘信息很少。因此，可将图2中的（a）、（b）两帧图像作对比来检测目标出现区域内的运动目标。将“0-255”二值图像I中像素x的值用I（x）表示，检测流程分为三步：
①借助Canny算子提取目标出现区域内（a）、（b）两帧图像的边缘信息，并用二值图像I1、I2分别作标示，如图2（d）（e），通过3×3结构元素的膨胀算子对I2进行一次处理后得到I3，进而取得二值图像I4，即去除背景边缘的运动目标边缘（参见图2（f））（对？坌像素x，如果I1（x）=255、I3（x）=0，那么I4（x）=255，否则I4（x）=0）。设定阈值T，若I4（x）=255的像素个数稀少，即像素个数比阈值T小，则判定目标出现区域内不存在运动目标，随即进入下一道检测流程。
■
②若I4中的运动目标边缘呈完整闭环，可通过图像填充手段来确定完整的运动目标，I4中图像边缘未呈闭环状是因为受到了噪声及I3（背景边缘）的影响。一系列1个像素宽的连通曲线以8邻接的形式构成了I4中的闭环图像；图3（a）属于图2（f）中的一条连通曲线，从图3（a）中可以看出，它的红色连通域有三个，三个连通域都与连通曲线的端点相对应，图3（b）、（c）、（d）中的红色正方形是基于图3（a）连通曲线中某一像素为中心的3×3结构元素，将这三帧红色正方向图像放大得出如图4（a）、（b）、（c）所示的图像：当连通曲线中除绿色像素以外同红色正方形相邻的像素处于同一连通域，可判定绿色像素为端点像素。基于这一判断就能找出I4中如图2（g）红色像素所示的全部的连通曲线的端点，只有消除这些端点才能得到闭环状的运动目标边缘。从图2（g）中截取一段连通曲线L（参见图4（d）所示），围绕此段连通曲线中的某一端点为中心向外寻找相邻的像素，图4（d）中深灰色与浅灰色的闭环相互交叠，直至其与L以外的连通曲线交互（交互部位用图4（d）中绿色像素标示），再将红、绿两色端点相连得出图4（d）所示的黄色线段，图2（g）中的端点随即消除。在实地检测中，基于噪声等影响因素的考量，设定阈值D，当图4（d）中深灰与浅灰的相互交叠的闭环数量大于D尚未与除曲线L之外的连通曲线交互，则其相应的端点也不与L之外的连通曲线交互。将图3（g）中的端点连接得出的结果参见图3（h）。 ■
③运动目标被内部边缘划分为若干个区域，因此拟用图像填充的手段来完善运动目标外部图像，填充部分即为图2（i）所示的灰色区域，而运动目标区域即为图2（j）所示的非填充部分。为排除噪声干扰，分别对图2（j）进行3×3结构元素的腐蚀与膨胀算子进行处理来获取一个完整的运动目标（参见图2（k）），在图2（a）划定的目标出现区域中检测出运动目标2（c）。
2.3 目标出现区域外运动目标的检测
在目标出现区域内划定有指示方向的红色越界线（参见图5（a）），基于运动目标检测方法得出图5（b）所示的结果。图5（b）中目标中心点超出红色越界线，因而图5（d）拟用目标出现区域外的方式来检测运动目标。图5中由于（a）与（d）之间只有0.1s的间隔时间，因而不存在大的差异。目标出现区域外检测运动目标分两步：
①基于当前图像与背景图像之差构造出差异图像F，如图5（e）所示，其像素x的亮度值用F（x）表示。设N4（x）= {x1，x2，x3，x4}（参见图5（f）），其中N4（x）b表示像素x的4邻接，然后将F中的像素逐一归类标记：按照上下左右的顺序对F进行扫描，设扫描至像素为x，则：
xk=argymin{y∈N4（x）}|F（x）-F（y）|
式中，N4（x）中的像素已被归类标记。如果|F（x）-F（y）|<3，那么x被标记为与xk被归为同一类，否则就会出现一个新类并且x被标记为此类；F中像素归类标记的最终结果参见图5（g）。假设C是归类标记后所有类的集合，即C={c1，c2，…，cm}，得出ci（1≤i≤m）中像素属同一连通域且在差异图像F中的亮度值差异较小。
②用M、■分别表示前一帧测得的运动目标区域和非运动目标区域（参见图5（b）），用F′表示前一帧测得的差异图像，如图5（c）；设IC={ci|ci∈C，ci？哿M}，BC={ci|ci∈C，ci∩M≠Φ，ci∩■≠Φ}（参见如图5（h）、（i））；如果当前帧和上一帧运动目标区域的差异区域用BC表示，则BC={b1，b2，…，bn}，对？坌1≤j≤n：计算当前帧的差异图像F′中bj∩M的平均亮度值gMj、bj∩■的平均亮度值g■ j，以及差异图像F中bj的平均亮度值gbj；设SC={bj|bj∈BC，1≤j≤n， |gbj-gMj|<|gbj-g■ j|}（参见图5（j）），集合IC∪SC如图5（k），最终得出当前帧所测得的运动目标区域 IC∪SC，即图5（l）所示的白色区域。
3 算法实验结果及其讨论
为了证明所提方法ODBAP的正确性，本文通过图6（a）～（c）所对应的监控视频（320×240帧率10帧/秒）进行实验。实验所用计算机为Pentium（R）4、CPU为2.40 GHz、内存为512MB，配置的软件环境为Microsoft Windows XP，采用VC6.0编写算法。
■
图6 ODBAP与自适应阈值RA的实验结果与对比
采用文献的自适应阈值Th获取方法确定运行期均值法RA[2]的减背景阈值：
①Th的初始估计值采用平均亮度值。
②通过Th分割法生成两组像素，一组亮度值大于Th的像素组成G1，另一组是亮度值小于等于Th的像素组成G2。
③对G1和G2中像素的平均亮度值μ1和μ2进行计算。
④对新阈值Th（μ1+μ1）/2进行计算。
⑤通过迭代的方法重复Step2～Step4，直到Th值之差稳定。
本文通过对比ODBAP与RA[2]，ODBAP的实验结果如图6（d）～（f）所示，自适应阈值RA的实验结果如图6（g）～（i）所示。经比对后得知，运动目标可以通过ODBAP进行完整的检测，相较于自适应阈值RA，它对光照的敏感性稍差。实验表明，无论阈值T取值为100～260，还是阈值D为8～16，ODBAP对输入参数始终不敏感。阈值T的最佳取值空间在整个图像空间的1/500，当阈值D在整个图像空间的1/4000进行取值时效果最好。所以，本实验阈值T为150，阈值D为10。ODBAP不需要构造精细的背景模型，采用clock（）函数的100帧均值对CPU的执行时间进行测试，结果显示ODBAP对每帧图像的平均处理时间为0.026秒，进而解决了运动目标实时检测的问题。
4 结束语
为了弥补运行期均值法RA[2]的不足，本文对时间复杂性和检测效果进行考虑，进而提出ODBAP的检测方法，该方法对输入参数和光照条件的变化不敏感，时间复杂性低，借助背景特征信息检测运动目标，并且该方法能够抑制噪声，以及对完整的运动目标进行检测。
参考文献：
[1]Jager M，KnollC，Hamprecht F A.Weakly Supervised Learning of a Classifier for Unusual Event Detection [J].IEEE Transactions on Image Processing， 2008， 17（9）： 1700～1708.
[2]Martin Ulmke，Wolfgang Koch.Road-Map Assisted Ground Moving Target Tracking [J].IEEE Transactions on Aerospace and Electronic Systems，2006，42（4）：1264～1274.
[3]Canny J.A Computational Approach to Edge Detection [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1986，8（6）：679～698.
[4]Gonzalez R C，Woods R E.Digital Image Processing， Second Edition [M].New Jersey： Prentice Hall，Upper Saddle River，2002.
[5]李利杰.一种改进的运动目标检测算法研究与实现[J].中小企业管理与科技（下旬刊），2012/09.
[6]陈静，杨文飞，谢方方，杨素敏，成城.基于SSE指令集的运动目标模板匹配算法设计[J].价值工程，2012（29）.
[7]喻钧，陈娜，胡志毅，陈宏书.边缘处理在仿真迷彩设计中的研究与应用[J].计算机仿真，2011（06）.
[8]范亚男，葛卫丽.智能视频监控系统发展及应用[J].价值工程，2010（17）.
[9]郭旭，张丽杰.运动目标检测视频监控软件的设计与实现[J].计算机技术与发展，2010（08）.