论文部分内容阅读
摘 要：本文首先介绍了数字图像处理技术，并分析了户外视觉系统在雨雪天气下的弱点，最后阐述了雨雪天下图像清晰化的发展历程。
关键字：数字图像 去雨雪技术 概述
引言
图像是一种传递信息的载体，与其它载体相比更直接，更有效。一幅图像中可以包含大量的信息，其丰富程度是其它载体难以媲美的，根据统计人们获取的信息中有75%是从图像中得到的。在信息时代很大一部分图像是通过计算机或者数字电路存储并处理的，这样的图像叫做数字图像，数字图像是图像中的一个重要组成部分。虽然数字图像的出现较晚，但是对于数字图像的研究发展很快，也就是数字图象处理技术。在20世纪50年代，随着计算机技术的飞速发展，人们开始使用计算机存储并处理图像信息，数字图像处理也就是从那时发展起来的。在20世纪60年代初，数字图像处理逐渐成为了一门系统的学科。它在1964年首次取得了实际的应用价值，美国喷气推进实验室对航天探测器发回的几千张月球照片采用了图像处理技术，使这些图像能更好的再现月球的表面，为人类登月提供了有利的条件，这也促进了数字图像处理这门学科的飞速发展。随后在医学上数字图像处理得到了重要应用并获得了巨大的成就，1972年英国人Hounsfield发明了CT技术，他使用计算机对人脑部截面的投影图像进行处理来重建截面图像。这项诊断技术也凭借数字图像处理一举获得了诺贝尔奖。70年代以后，许多发达国家把更多的精力投入到研发数字图像处理技术中，这项技术也得到了广泛的应用。尤其是在户外计算机视觉系统中的应用较多，因为人们对户外视觉系统的依赖越来越多，其在室外监控、交通管理、卫星遥感监测甚至军事侦查等领域都发挥着关键的作用。但是户外视觉系统对天气是十分敏感的，在雨雪天气条件下系统获取的图像产生了严重的退化。图像对比度低，模糊不清并且颜色失真，使其使用价值受到很大影响，从而降低了视觉系统的鲁棒性和适用性，不利于之后的特征提取和目标识别等操作。因此在雨雪天气条件下利用数字图像处理技术提高户外视觉系统获取的图像的清晰度就成了必然。
雨雪天下图像清晰化概述
目前雨雪图像的清晰化方法也有两大类：一类是基于硬件的方法：2005年Garg等人利用设置摄像机的相关参数来减少视频里雨雪的程度，这种方法难以应用于户外视觉系统，并且在雨雪程度較大的情况下，清晰化效果不理想，所以对于硬件法的研究较少，应用也不广泛。另一类是基于软件的方法：通过适当的数字图象处理算法对一幅或者多幅退化图像进行处理，以达到去雨雪的目的，其中包括基于图像空间域的方法和基于图像频率域的方法。前者起步较早，研究也较深入：1999年Hase等人提出了一种能够实时降低视频中雪花可见性的方法，对每个像素在时间轴方向做中值滤波处理，用这些像素的平均值来代替相应位置某一帧的像素值以达到弱化雪花的目的，该方法对于大雪效果不理想。2004年Garg等人通过研究雨滴的光学与运动特性，构造出雨滴的光学模型与动力学模型来检测并去除雨滴，称之为帧差法。该算法假设同一坐标像素不可能被连续两帧的不同雨滴所覆盖并且所有雨线方向一致。对同一坐标的连续三帧像素进行检测，如果第一帧和第三帧像素灰度值相等，第二帧像素灰度值超过前后帧像素灰度值的数值超过了所设定的阈值，并且符合雨线方向这一约束条件，那么就判定第二帧像素被雨滴所覆盖并用前后帧像素值的平均值来代替第二帧的像素值以实现去雨的目的。算法对中雨、小雨处理效果较好，对于大雨结果不理想并且如果场景风力较大也不利于对雨滴的约束。2006年Zhang等人对在视频中时间轴方向上的具有相同坐标的所有像素进行K.means聚类来检测并去除雨滴，称之为聚类法。该算法假设视频中同一坐标的像素不可能每一帧都被雨滴所覆盖。算法通过聚类把像素值分成两类，一类表示被雨滴覆盖的像素，另一类表示不被雨滴覆盖的背景像素，然后用背景类像素灰度值的均值代替雨滴类所有像素的灰度值来达到去雨的目的。与帧差法不同聚类法对大雨同样有效，但是只适用于摄像机固定的情况，并且对于有快速运动目标的场景去雨效果不理想，另外由于K.means聚类的复杂性，算法的运算量大耗时长。之后基于图像空间域去雨雪的方法基本上是对帧差法或聚类法的改进。2008年，Brewer等人通过连续5帧图像来检测雨滴，并且构造了一种新的替换雨滴像素的方法。该算法与原始帧差法相比，对于大雨的情况也能取得比较好的结果，但是对于风力较大的雨天处理结果同样不理想。2008年，赵旭东等人对Zhang的聚类进行改进，研究了雨滴的亮度分布范围，并利用其来判定某个像素点是否被雨滴所覆盖，虽然算法时间代价减小了，但是处理效果不及原始聚类法。基于图像频率域的方法起步较晚，2009年Barnum等人构建了雨滴的频域模型并通过其识别雨滴，然后进行滤波操作实现去雨，但是构建雨滴的频域模型的过程比较复杂。2011年，Fu等人对单幅退化图像进行稀疏编码分解，同样通过滤波操作实现去雨。由于是对单幅图像进行清晰化处理，这就不可避免的造成了图像细节的丢失。■
参考文献
[1] N. Brewer， N. J. Liu. Using the shape characteristics of rain to identify and remove rain from video. Lecture Notes in Computer Science， 2008， 5342：451-458P.
[2] X. D. Zhao， P. Liu， J. F. Liu， etal. The application of histogram on rain detection in video. The 11th Joint Conference on Information Science， 2008.345-353P.
[3] P. Barnum， T. Kanade， S. Narasimhan. Spatio-temporal frequency analysis for removing rain and snow from videos. Workshop on Photometric Analysis For Computer Vision， 2007.
[4] P. Barnum， T. Kanade， S. Narasimhan. Analysis of rain and snow infrequency Space. Internal Journal of Computer Vision， 2009， 86 （2）：256-274P.
[5] Yu-Hsiang Fu， Li-Wei Kang， Chia-Wen Lin， etal. Single-frame-based rain removal via image decomposition. IEEE International Conference on Acoustics， Speech， and Signal Processing， 2011. 178-186P.
关键字：数字图像 去雨雪技术 概述
引言
图像是一种传递信息的载体，与其它载体相比更直接，更有效。一幅图像中可以包含大量的信息，其丰富程度是其它载体难以媲美的，根据统计人们获取的信息中有75%是从图像中得到的。在信息时代很大一部分图像是通过计算机或者数字电路存储并处理的，这样的图像叫做数字图像，数字图像是图像中的一个重要组成部分。虽然数字图像的出现较晚，但是对于数字图像的研究发展很快，也就是数字图象处理技术。在20世纪50年代，随着计算机技术的飞速发展，人们开始使用计算机存储并处理图像信息，数字图像处理也就是从那时发展起来的。在20世纪60年代初，数字图像处理逐渐成为了一门系统的学科。它在1964年首次取得了实际的应用价值，美国喷气推进实验室对航天探测器发回的几千张月球照片采用了图像处理技术，使这些图像能更好的再现月球的表面，为人类登月提供了有利的条件，这也促进了数字图像处理这门学科的飞速发展。随后在医学上数字图像处理得到了重要应用并获得了巨大的成就，1972年英国人Hounsfield发明了CT技术，他使用计算机对人脑部截面的投影图像进行处理来重建截面图像。这项诊断技术也凭借数字图像处理一举获得了诺贝尔奖。70年代以后，许多发达国家把更多的精力投入到研发数字图像处理技术中，这项技术也得到了广泛的应用。尤其是在户外计算机视觉系统中的应用较多，因为人们对户外视觉系统的依赖越来越多，其在室外监控、交通管理、卫星遥感监测甚至军事侦查等领域都发挥着关键的作用。但是户外视觉系统对天气是十分敏感的，在雨雪天气条件下系统获取的图像产生了严重的退化。图像对比度低，模糊不清并且颜色失真，使其使用价值受到很大影响，从而降低了视觉系统的鲁棒性和适用性，不利于之后的特征提取和目标识别等操作。因此在雨雪天气条件下利用数字图像处理技术提高户外视觉系统获取的图像的清晰度就成了必然。
雨雪天下图像清晰化概述
目前雨雪图像的清晰化方法也有两大类：一类是基于硬件的方法：2005年Garg等人利用设置摄像机的相关参数来减少视频里雨雪的程度，这种方法难以应用于户外视觉系统，并且在雨雪程度較大的情况下，清晰化效果不理想，所以对于硬件法的研究较少，应用也不广泛。另一类是基于软件的方法：通过适当的数字图象处理算法对一幅或者多幅退化图像进行处理，以达到去雨雪的目的，其中包括基于图像空间域的方法和基于图像频率域的方法。前者起步较早，研究也较深入：1999年Hase等人提出了一种能够实时降低视频中雪花可见性的方法，对每个像素在时间轴方向做中值滤波处理，用这些像素的平均值来代替相应位置某一帧的像素值以达到弱化雪花的目的，该方法对于大雪效果不理想。2004年Garg等人通过研究雨滴的光学与运动特性，构造出雨滴的光学模型与动力学模型来检测并去除雨滴，称之为帧差法。该算法假设同一坐标像素不可能被连续两帧的不同雨滴所覆盖并且所有雨线方向一致。对同一坐标的连续三帧像素进行检测，如果第一帧和第三帧像素灰度值相等，第二帧像素灰度值超过前后帧像素灰度值的数值超过了所设定的阈值，并且符合雨线方向这一约束条件，那么就判定第二帧像素被雨滴所覆盖并用前后帧像素值的平均值来代替第二帧的像素值以实现去雨的目的。算法对中雨、小雨处理效果较好，对于大雨结果不理想并且如果场景风力较大也不利于对雨滴的约束。2006年Zhang等人对在视频中时间轴方向上的具有相同坐标的所有像素进行K.means聚类来检测并去除雨滴，称之为聚类法。该算法假设视频中同一坐标的像素不可能每一帧都被雨滴所覆盖。算法通过聚类把像素值分成两类，一类表示被雨滴覆盖的像素，另一类表示不被雨滴覆盖的背景像素，然后用背景类像素灰度值的均值代替雨滴类所有像素的灰度值来达到去雨的目的。与帧差法不同聚类法对大雨同样有效，但是只适用于摄像机固定的情况，并且对于有快速运动目标的场景去雨效果不理想，另外由于K.means聚类的复杂性，算法的运算量大耗时长。之后基于图像空间域去雨雪的方法基本上是对帧差法或聚类法的改进。2008年，Brewer等人通过连续5帧图像来检测雨滴，并且构造了一种新的替换雨滴像素的方法。该算法与原始帧差法相比，对于大雨的情况也能取得比较好的结果，但是对于风力较大的雨天处理结果同样不理想。2008年，赵旭东等人对Zhang的聚类进行改进，研究了雨滴的亮度分布范围，并利用其来判定某个像素点是否被雨滴所覆盖，虽然算法时间代价减小了，但是处理效果不及原始聚类法。基于图像频率域的方法起步较晚，2009年Barnum等人构建了雨滴的频域模型并通过其识别雨滴，然后进行滤波操作实现去雨，但是构建雨滴的频域模型的过程比较复杂。2011年，Fu等人对单幅退化图像进行稀疏编码分解，同样通过滤波操作实现去雨。由于是对单幅图像进行清晰化处理，这就不可避免的造成了图像细节的丢失。■
参考文献
[1] N. Brewer， N. J. Liu. Using the shape characteristics of rain to identify and remove rain from video. Lecture Notes in Computer Science， 2008， 5342：451-458P.
[2] X. D. Zhao， P. Liu， J. F. Liu， etal. The application of histogram on rain detection in video. The 11th Joint Conference on Information Science， 2008.345-353P.
[3] P. Barnum， T. Kanade， S. Narasimhan. Spatio-temporal frequency analysis for removing rain and snow from videos. Workshop on Photometric Analysis For Computer Vision， 2007.
[4] P. Barnum， T. Kanade， S. Narasimhan. Analysis of rain and snow infrequency Space. Internal Journal of Computer Vision， 2009， 86 （2）：256-274P.
[5] Yu-Hsiang Fu， Li-Wei Kang， Chia-Wen Lin， etal. Single-frame-based rain removal via image decomposition. IEEE International Conference on Acoustics， Speech， and Signal Processing， 2011. 178-186P.