在计算机视觉领域,单帧图像去雨的任务是非常具有挑战性的课题。在阴雨或者其他恶劣(如雪,霾,雾)的天气条件下,我们获取到的图像或视频内容变得不清晰或者被雨线遮挡,导致重要的影像资料不能被有效使用。因此,对图像进行雨线去除的工作有着重要的意义,去雨算法可以对这些损坏的图像进行修复处理,应用于图像搜索和匹配,目标检测与跟踪,无人车的自动驾驶系统等工作中,能够有效地提升这些算法的性能。传统的图像处理中,单帧图像的去雨方法假定雨线存在于图像的高频结构中,主要依靠图像的高频信息分离。在高频段,这些方法将图像真实的内容和雨线内容分别看作是有雨和无雨字典的稀疏表示结果。然而,这些对于图像底层特征的提取和图像重建的方法并不能精确地将雨水从图像中分离,从而导致最后的结果图中会有雨水的残留或者造成图像细节的模糊。近年来,随着深度学习的不断发展,图像处理任务中的特征提取和图像生成任务在深度学习的基础上有了迅速的性能提升。学者们通过利用构建深度神经网络来学习雨水层的特征,得到了优良的结果。目前主流的基于深度学习的去雨算法基本上都采用通过分析处理图像得到雨水层,再与原图相减的方法。由于这些方法采用L1/L2范数约束且往往考虑单尺度处理结果,易导致图像模糊以及平均的现象,这时常会造成图像全局色彩的失真、细节纹理的丢失。其次,对于大雨或是雨水形状多变的场景,目前的主流方法并不能很好地应对这些情形,雨水不能被干净地清除。针对这些问题,本文提出一种基于多尺度的特征融合去雨生成模型。首先,我们采取生成对抗网络的训练方法:通过一个生成网络直接生成去雨图片,而非对雨水层学习再与雨水原图叠加,这样可以减少图片细节的模糊,生成与原图色彩、纹理更加一致的去雨图片。进一步地,我们注意到在同一幅有雨图片中,雨水的形态和雨线的长度是多变的。针对这一物理特征,我们认为不能仅仅从一个尺度分析雨水图片,需要从不同尺度对于雨水图片进行观测与处理。因此,我们提出了在去雨图片的生成网络框架中构建多尺度的编码解码模型以取得最佳的去雨结果。在编码器中,我们输入有雨的图像,通过多尺度的卷积核对图片并行进行特征的提取。在解码器中,我们将编码器中得到的特征通过反卷积神经网络,生成由粗尺度到细尺度的三张不同尺度下的无雨图像。其中,粗尺度的特征被用于添加至细尺度的高层特征中,通过引入top-down自上而下的引导机制促进细尺度图像的精确生成结果。此外,在模型训练时,我们在对抗损失函数的基础上加入了L2损失函数与感知损失函数构建了新的误差函数,提升了模型的训练效果。最后,对于各个尺度的去雨结果输出采用了多任务的决策机制,保证在训练过程中每一个尺度的去雨结果与无雨原图的一致性,更大程度地提高了去雨模型的精确度。本文所提出的多尺度特征融合的单帧图像去雨模型,无需先验知识和对于图像的预处理。经过训练后的模型可以对任意雨水图片进行去雨的操作,实时地处理每张图片。本文提出的去雨模型在多个测试集上同前沿的去雨算法结果相比,都有更加优异的表现,例如在峰值信噪PSNR指标上,能够比其他算法平均提升1-4 dB。