论文部分内容阅读
虽然数码相机拍摄画质日益提升,在低光照或者高感光(ISO)模式下拍摄图像仍会不可避免的引入噪声。而且在很多情况下,需要调高相机的ISO进行拍摄,例如夜间拍摄或者捕捉快速运动的物体。该类实际噪声在空间分布和颜色通道上具有相关性,远比高斯噪声复杂,所以传统的高斯去噪算法难以有效去除该类噪声。鉴于此,本文从盲去噪的角度分析,充分利用卷积神经网络(Convolutional Neural Network, CNN)的特征学习能力,提出基于CNN的联合噪声估计与去除算法。本论文的主要工作与创新点如下:
1.由于色彩滤波矩阵(Color Filter Array, CFA)的影响,采集的原始(Raw)图像呈现拜耳模式(Bayer Pattern)的排列方式。经过去马赛克插值后,插值处的噪声方差会小于周围的噪声方差,因此噪声分布同样呈现拜耳排列模式。因此,本文在噪声估计阶段,将Bayer先验知识嵌入噪声估计网络。相较于不考虑拜耳模式的估计方式,所提出的方法不仅提高了噪声估计的准确性,而且显著减少了所占用内存。
2.在噪声去除网络中,考虑到实际噪声具有空间和通道相关性,因此本文结合扩张卷积(Dilated Convolution)和挤压激发模块(Squeeze and Excitation Block, SE Block)的优势,提出了残差通道加权与扩张卷积(RSD)模块,以充分利用不同通道以及空间区域的信息。同时考虑到噪声方差图与图像结构的相似性,本文将噪声估计与带噪图像进行加权级联,输入去噪网络,以进一步提升去噪效果。
3.由于成对的带噪图像与干净图像很难采集,因此本文通过模拟相机成像过程来合成成对的数据集。在训练过程中,先用仿真数据集进行训练,然后用少量的实际数据进行修正,大幅度减少了对实际数据集的需求。实验结果表明,在噪声估计和去噪效果上,本文所提出的算法均可以达到或者超越目前最先进的算法。
1.由于色彩滤波矩阵(Color Filter Array, CFA)的影响,采集的原始(Raw)图像呈现拜耳模式(Bayer Pattern)的排列方式。经过去马赛克插值后,插值处的噪声方差会小于周围的噪声方差,因此噪声分布同样呈现拜耳排列模式。因此,本文在噪声估计阶段,将Bayer先验知识嵌入噪声估计网络。相较于不考虑拜耳模式的估计方式,所提出的方法不仅提高了噪声估计的准确性,而且显著减少了所占用内存。
2.在噪声去除网络中,考虑到实际噪声具有空间和通道相关性,因此本文结合扩张卷积(Dilated Convolution)和挤压激发模块(Squeeze and Excitation Block, SE Block)的优势,提出了残差通道加权与扩张卷积(RSD)模块,以充分利用不同通道以及空间区域的信息。同时考虑到噪声方差图与图像结构的相似性,本文将噪声估计与带噪图像进行加权级联,输入去噪网络,以进一步提升去噪效果。
3.由于成对的带噪图像与干净图像很难采集,因此本文通过模拟相机成像过程来合成成对的数据集。在训练过程中,先用仿真数据集进行训练,然后用少量的实际数据进行修正,大幅度减少了对实际数据集的需求。实验结果表明,在噪声估计和去噪效果上,本文所提出的算法均可以达到或者超越目前最先进的算法。