面向多尺度雨痕清除和细节保留的图像去雨研究

来源 :南昌航空大学 | 被引量 : 0次 | 上传用户:majinrao
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在室外场景拍摄图像容易受到降雨因素的干扰,导致成像设备获取的图像中存在雨痕,进而影响其他计算机视觉任务的后续执行。图像去雨的目标就是清除有雨图像中的雨痕,复原清晰的无雨图像,所以对图像去雨展开研究具有实际的应用价值。目前许多研究者利用深度学习,设计基于卷积神经网络的算法去除雨痕并重建无雨图像。但是这些算法仍然存在两个问题,一是图像中有多种尺度的雨痕,难以将其彻底清除,二是图像细节容易丢失,导致背景比较模糊。本文针对这两个问题展开研究工作,具体内容如下:(1)针对雨痕难以被彻底清除的问题,提出了一种基于多尺度特征融合网络(Multi-scale Features Fusion Network,MFFN)的图像去雨算法。由于雨痕具有不同尺度,利用提出的多尺度特征融合模块逐步提取不同尺度的雨痕特征,再将提取到的特征信息通过两种方式进行融合,提升网络对多尺度信息的学习能力。随后,使用提出的双重注意力模块对特征的通道信息和空间信息进行加权处理,提高重要特征通道和雨痕所在区域的权重,使得网络更加关注不同尺度的雨痕特征和雨痕存在的位置。最后,采用混合损失函数在像素差异和结构相似上共同约束网络。将MFFN在合成数据集和真实数据集上进行了测试,结果表明MFFN能够有效地清除图像中不同尺度的雨痕。(2)针对背景细节容易丢失的问题,提出了一种基于雨痕清除与细节保留双分支网络(detail-preserving image deraining via Dual-branch Rain Removal Network,DRR-Net)的图像去算法。网络由两个分支组成,分别称为上分支和下分支。首先在上分支提出了雨痕注意力残差模块,该模块先提取雨痕的深层特征,再对特征进行自适应权重分配,避免背景细节被错误地去除,特别是一些与雨痕相似的物体。其次在下分支提出多尺度雨痕聚合模块用于扩大感受野,捕获更多有用的上下文信息,增强网络对不同尺度雨痕的关注。然后合并两个分支,利用精炼模块进一步提高输出图像的质量。最后,采用混合损失函数最小化输出图像和无雨图像之间的差异。实验结果表明,DRR-Net能够有效清除多种尺度的雨痕并显著减少图像细节的丢失,该算法的去雨结果在视觉效果和整体评价指标数值方面均优于其他几种先进的去雨算法。
其他文献
生物流体力学研究生物心血管系统、消化呼吸系统、内分泌以及游泳、飞行等与水动力学、空气动力学、边界层理论和流变学有关的力学问题。浸入边界方法(IBM)是近年来为解决生物流动力学问题而迅速发展的重要、有效的方法,在动脉和人工心脏瓣膜中的血液流动、飞行和游泳等涉及复杂几何形状和无规律的较大变形的流固耦合问题中得到了广泛的应用,其核心思想是利用外加的等效体积力代替浸入物体边界对流场的作用力。该方法能够在界
学位
纯音噪声是一种典型的气动噪声,比背景宽频噪声声压级大20-30d B,其常会出现在中等雷诺数(10~4≤≤10~6)层流翼型设备中,如小型无人飞行器、微小型风力机等。纯音噪声现象及其形成机理十分复杂,目前还需要进一步理解和研究,涉及到翼型边界层流动分离和再附的复杂流动过程、以及声涡非线性的相互作用等复杂的物理过程。因此研究中等雷诺数层流翼型纯音噪声声源特性,对了解纯音噪声生成机理和抑制噪声有重要意
学位
减少飞行颠簸、保持机身稳定,无论是对于提高载人飞机的舒适性还是无人机的作业稳定性都是很有必要的。当空速变化时,传统机翼升力必将随之变化而导致升降变化,而且由于其与机身是刚性连接,必然带动机身跟随上下俯仰变化,给乘坐舒适和作业稳定性带来影响。为此,有必要继续积极探寻减少颠簸、保持机身飞行稳定的技术方案。在广泛查阅国内外相关文献资料、对比分析研究各类飞行器设计特点的基础上,本文创新性的提出了一种通过跟
学位
微型轴流涡轮作为微型涡喷发动机的核心部件,其流通能力强、高能量密度及结构相对简单等优点,被广泛应用于航空、军舰等领域。由于微型轴流涡轮在高压、高温等恶劣工况中高效运行,其气动性能直接影响到整个发动机的动力性能,因此对微型涡轮的气动设计及气动性能优化是研究重点。本文根据某微型涡喷发动机的涡轮总体设计指标完成了微型轴流涡轮的气动设计,并应用数值模拟及理论分析相结合的方法,深入研究了静子根部弯曲及非轴对
学位
无人机近些年发展迅猛,以其隐蔽能力、生存能力、造价低廉、不惧伤亡的特点受到了军事和边境的青睐。被广泛应用于提供情报,监视,目标获取和侦察等任务,除此之外,无人机也在建筑,基础设施和农业等其他飞行任务中获得了大量的运用。本课题系江西省中等航时无人机技术和设备开发创新能力建设项目(235000232080),论文将针对项目中研制的G15长航时无人巡防机,设计相应的无人机发射和回收系统。根据G15无人机
学位
近年来,飞机数字化装配技术发展迅速,主要有并行产品数字化定义与数据管理、装配工艺规划与仿真、可视化文件的编写等技术,若将其应用到航空发动机的传统装配中,可以提前发现并改进装配工艺存在的问题、有效缩短制造周期与提高工人的装配效率。为此本文开展了基于模型定义的航空发动机装配仿真技术的研究,其包括MBD技术、虚拟装配仿真技术与三维工艺可视化技术,为现代航空发动机数字化装配方向提供一些新的理论参考和思路。
学位
以螺旋桨为推进装置的高空长航时无人机高速前飞时,桨叶的桨尖区域受空气压缩效应影响严重,另外,低雷诺数环境下桨叶表面易产生分离泡,使螺旋桨气动性能受到很大影响。为了改善螺旋桨在低雷诺数下的气动性能,本文从减弱桨尖压缩效应的影响和改善桨叶表面气流流动状况两方面出发,分别提出了对原始桨叶的桨尖区域进行不同角度切角和在桨叶表面加装涡流发生器两种设计方案。论文主要工作内容如下:首先,选取合适的高空螺旋桨,根
学位
图像风格迁移是指在保持图像内容不变的情况下,将图像的风格转换为另一种风格。近些年发现深度学习在风格迁移任务上取得了良好的效果。与传统风格迁移方法相比,深度神经网络可以避免对每种风格均需进行特征设计的问题。在对风格迁移的研究过程中,出现了生成图像的内容丢失、转换的风格不够充分和生成的图像会出现伪影等问题。本文针对这些问题展开研究,主要内容如下:(1)大多数现有风格迁移方法生成的图像存在产生伪影和丢失
学位
在航空发动机工作的过程中,涡轮盘有时可能会发生超转现象,此时涡轮盘的实际转速超过了最大工作转速,轮盘可能发生破裂。因此,能够准确预测轮盘的破裂转速具有十分重要的意义。另外,在保证轮盘的安全性的前提下,可以对涡轮盘进行结构优化,以寻求更合理的应力分布和更低的重量。本文针对航空发动机涡轮盘的强度问题,利用有限元仿真分析,开展了轮盘破裂转速预测方法的研究。论文主要的工作和结论如下:1.对某发动机涡轮盘进
学位
雨天拍摄的图像由于雨痕或者雨雾的遮挡,容易造成图像成像质量的退化,导致图像中大量背景细节信息丢失和模糊,严重影响计算机视觉算法的精度。目前,从有雨图像中分离出干净无雨的背景层,主要采用基于图像先验的传统算法和卷积神经网络算法两个方向。然而,传统去雨算法无法处理场景复杂、雨痕分布不规则的有雨图像,并且耗费大量的人工成本。卷积神经网络算法缺乏考虑增加网络的深度容易造成梯度消失,雨条纹具有不同尺度、方向
学位