论文部分内容阅读
大部分基于卷积神经网络的低照度图像增强方法需要相互配对的数据进行训练,在现实世界中获取大量同一场景下的低照度图像和正常光图像是非常耗时的。低照度场景下拍摄得到的图像存在着低对比度、颜色失真和大量噪声等问题,图像增强任务需要在保留图像细节的同时,进行正确的颜色恢复,提升图像视觉质量。图像增强算法可以为目标检测、目标跟踪、语义分割等计算机高级视觉任务提供更为有力的支持和帮助。行人检测在计算机视觉领域中是一个非常具有较高难度的研究方向,由于人体在时刻运动,因此会有各种姿态和形状,而且还非常大地受到行人外观穿着、人体姿态、监控视角等影响,另外还面临着光照、遮挡等因素的影响。尤其在低照度情况下,无论在室内还是户外,背景问题对行人检测算法来说都非常复杂,环境与人体更融为一体,肉眼难以辨别出背景还是行人,因此低照度下行人检测的难度显著增大,这对检测算法提出了更高的要求。低照度图像增强方法虽然通过提高低照度图像的对比度和亮度等,提升了人眼对低照度图像的感官感受,然而可能并无法对检测算法在低照度情况下的检测提供任何可靠性帮助,甚至可能减弱了图像中目标物体的特征,造成了检测算法的检测精度的降低。为了解决大部分基于CNN的低照度图像增强方法对配对数据的依赖,边缘模糊、噪声抑制不足等问题,本文使用生成对抗网络,整体模型由一个生成器,两个判别器(全局判别器和局部判别器)组成。在生成器上引入双分支结构,可在低照度图像和正常光图像无配对的情况下,进行端到端训练。第一个分支使用类U-Net网络的编码器-解码器体系结构的特征提取网络(Feature Extraction Network,FEN),该分支网络可以学习低照度图像到正常光图像的上下文特征映射,第二个分支网络为全分辨率的轻量级的细节保留网络(Detail Preservation Network,DPN),以低照度图像的全分辨率来保留原图的细节,加入空间注意力和通道注意力机制,由于光照受到物体反射、吸收等情况,物体表面的光照分布强度不同,该分支网络可以学习正常光图像的光照空间分布和通道之间关联。最后通过一个融合层融合两个分支的结果,获得最终增亮后的图像,同时加入了Total Variation Loss来抑制图像噪声。在七个公开数据集(MEF、LIME、NPE、VV、Ex Dark、LOL、LLVIP)上进行了定性比较和定量实验。相比于其他对比算法,本文方法在基于BRISQUE和NIQE两种基准测试的客观评价中,均取得了平均值第一名,平均值分别为18.98和3.71。实验结果表明本文方法减弱了图像噪声,增强后的图像边缘细节清晰,通过端到端的学习,无需人工提供先验信息,能够学习到正常光图像的光照分布,从非配对的低照度图像映射到正常光图像的分布,提高对比度和亮度,减少颜色失真、噪声等问题的影响,轻量化的结构设计避免模型过于庞大,减少模型过拟合问题,双分支结构有效提高了图像增强质量。本文将生成器作为增强网络,提出了融合高斯滤波的低照度下行人检测算法。通过在LLVIP行人检测公共数据集上使用YOLO检测算法的实验表明只使用本文的生成对抗网络低照度图像增强算法相比与原始低照度图像组行人检测在TP(True Positive)指标上没有太大变化,但是降低了FP(False Positive)值,从而使检测精度有略微提升,相比于原始低照度图像组行人检测精度AP值提高了0.03%。通过去噪(如BM3D去噪、高斯滤波)、提高对比度(Gamma校正)等传统图像增强方法与生成对抗网络融合的多组实验,实验结果表明通过生成器和高斯滤波的融合,极大降低了FP值,取得了对比实验中的最高精度,行人检测精度AP值达到了94.69%,相比于原始低照度图像组AP值提高了0.92%,相比于只使用生成对抗网络增强低照度图像AP值提高了0.89%。在无本文生成器增强情况下,只使用传统增强算法,行人检测精度AP值相比于原始低照度图像组都有所下降。对比实验证明了生成对抗网络技术与高斯滤波传统图像增强算法的有效融合,可以大大降低FP值。高斯滤波去噪比Gamma校正更能够减少噪声干扰,将行人与背景之间更加有效区分,从而对行人检测能够提供更加高效的检测特征,降低对背景物体错误识别成行人,减少误检率、漏检率。