基于深度学习的图像复原关键技术研究

来源 :东北大学 | 被引量 : 0次 | 上传用户:kylinbin
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前,视频监控系统广泛应用,但其中由于监控摄像头距离目标较远、视频需要压缩处理,视频中目标存在部分遮挡,导致监控视频图像质量变差,无法完全获取图像中的有效信息。目前,深度学习在图像处理和计算机视觉领域得到了广泛的应用,基于深度学习实现图像超分辨率复原和图像去遮挡复原来提升图像质量,已成为当前工业界和学术界的研究热点。本文围绕着基于深度学习的图像超分辨率和图像去遮挡复原开展研究工作,主要研究内容和成果体现在以下几个方面。针对远距离小目标人脸图像超分辨率复原问题,本文提出了基于改进的条件Wasserstein Generative Adversarial Networks(WGAN)的人脸图像超分辨率复原方法。首先,引入生成对抗网络保留复原后图像丰富细节,并提出一种具有梯度惩罚和权重谱归一化的改进WGAN方法,来提高WGAN训练稳定性;其次,对人脸图像进行对齐预处理,并构建渐进式亚像素上采样结构,简化高度结构化的小尺寸人脸图像超分辨率复原学习过程复杂性;最后,采用改进的具有特征重复利用的残差稠密连接适用于人脸图像的网络结构,构建像素级损失、特征级损失和对抗损失多约束目标融合的损失函数,保留图像的细节特征。通过在CelebA人脸数据集和CNBC人脸数据集大量实验证明,本文提出方法可对小尺寸人脸图像进行八倍上采样因子超分辨率复原,得到了较好图像复原结果。针对解决带有视频压缩退化的自然场景图像超分辨率复原问题,本文提出了基于去视频压缩伪影的超分辨率自然图像轻量级复原方法。首先,将视频压缩退化过程分解为频域编码压缩和下采样降质两部分,因此将上述问题转化为去视频压缩伪影和图像超分辨率两个子问题,并构建去伪影的超分辨率复原方法整体框架;其次,采用改进的去视频压缩伪影Artifacts Reduction CNN(AR-CNN)方法解决去视频压缩伪影问题,采用本文第三章提出的网络模型解决图像超分辨率复原问题;最后,采用深度可分离卷积对提出模型进行压缩,减少视频压缩图像复原的参数量和计算量。此外,在生成模型中采用实例归一化,提升模型在处理数据分布不均匀的自然图像复原效果。在YOUKU-VSRE 2019数据集中的实验结果表明,本文提出的方法在经视频压缩退化的自然场景图像超分辨率复原上具有较好效果。针对图像中目标存在部分遮挡的问题,本文提出了基于特征融合的图像修复去遮挡方法。首先,构建了融合边缘特征和深度特征的图像修复去遮挡模型,改善了现有方法中缺少边缘细节或生成边缘伪影问题,提高复原图像质量;其次,在网络模型构建中,结合了在图像生成方面表现突出的自编码器和WGAN网络,WGAN网络弥补了自编码器生成图像缺少细节缺点,自编码器弥补了 WGAN网络生成图像有偏差缺点,在损失函数构建上,融合了图像像素级损失、特征级损失、图像风格损失及对抗损失,丰富生成图像细节特征。通过在CelebA-256和Place数据集上的大量实验验证了本文提出的基于特征融合的图像修复去遮挡方法的先进性和有效性。
其他文献
仿人机器人能模拟人类形态和运动特征,并且能代替人类完成很多工作,在服务业、工业等领域均有广泛的应用前景。目前仿人机器人腿部的柔性仍存在不足,导致了机器人运动时存在冲击较大、难以适应各种复杂地形等问题,因此针对机器人腿部柔顺性方面的研究具有重要的意义。首先,通过分析人体腿部的变刚度机理,将变刚度膝关节引入机器人腿中,使机器人下肢具备柔性。然后,分别从能量守恒和力矩相等的角度,建立含有变刚度膝关节的机
目前建模方法主要为机理建模、知识模型和数据驱动建模方法,机理建模的模型准确度较高,但是建模的周期特别长,难度较大,并且模型内的参数比较难辨识。知识模型建模方法的模型形式简单,容易实现,但是精度较低,对于知识比较难获取。而且这两种建模方法对于自由度较多、动力系统本身或环境发生改变,现有运动方式无法满足运动的情况是难以建模的。对于一个机器人系统,不需要过程结构信息、利用输入输出数据建立的模型,能够更好
随着国六排放标准政策的实施,各汽车生产厂商相继推出自己的混动或者纯电动汽车车型,随着未来排放标准的越来越严格,新的能源燃料推出之前,纯电动汽车肯定是汽车企业主打车型。而驱动电机作为纯电动汽车动力源,它的动力特性,控制策略也会研究的越来越深入。现在主流驱动电机是永磁同步电机,它相对于其他类型的电机有很多优越性,功率因数大,调速范围宽等。矢量控制是现在比较成熟的控制策略,由于它是双闭环控制,为了调高电
随着科学技术的进步和制造水平的提高,轨道交通行业发展迅速。虽然我国在高速动车组列车方面的研究相对较晚,但通过科研人员的不断努力,使得设计水平和制造技术得到了很大的提高,已逐渐走到了世界的前列。车体是动车组的重要承载结构,在车身结构设计中十分重要。由于加工工艺、焊接工艺、服役载荷和环境等方面的影响,车体服役一段时间后会在局部区域出现裂纹等损伤。本文主要针对某型号动车组中间车体,围绕含损伤动车组车体结
即时定位与地图构建(Simultaneous Localization and Mapping,SLAM)是指机器人在陌生环境中仅通过自身携带的传感器估计自身位姿与构建环境地图的过程,它是很多机器人应用场景的先决条件,比如路径规划、无碰撞导航、环境感知等。视觉SLAM则是指以摄像头为主要数据采集传感器的定位建图方法,相比于激光等其他传感器,摄像头具有成本低,体积小等许多优点,而且视觉为机器人处理场
随着信息技术的不断发展,智慧平安城市和公共安全问题等需求日益增加,视频监控分析技术在其中发挥着越来越重要的作用,尤其随着城市摄像头及其他监控终端不断增多,每天都会产生大量的视频图像数据亟需处理。传统人工监控分析的方式存在着诸多漏报、误报及其他错误分析的情况,执行效率相对较低,智能视频监控分析和理解(检测、识别、跟踪)技术的研究因此具有十分重要的研究意义和实际应用价值。多目标跟踪是其中的一个重要的研
随着经济的发展,家庭的私人汽车拥有率逐渐提高。汽车已经从百年前贵族才拥有的奢侈品逐渐成为每个家庭的必需品。随着科技的进步,消费者对汽车驾驶舒适性要求逐渐提高。汽车悬架作为汽车的主体部分之一,其性能影响着汽车驾驶的平顺性。电控空气悬架能够根据车辆行驶状态调整空气悬架模式。其优越性能受到了众多消费者青睐。本课题设计了一种电控空气悬架控制系统,主要研究内容包括:(1)研究了空气弹簧的特性。通过建立空气弹
危险品收纳车是应对危险品道路运输泄漏事故处置而生的多功能收纳车,主要处理事故泄漏的液体与颗粒危险品。而采用真空负压收集上来的颗粒危险品属于气固混合物,事故处置装置对这种混合物处理不慎就会导致危险品颗粒重新泄漏于大气中,导致二次污染。为了减少这种现象,将旋风分离器和滤筒式过滤器进行组装成一种新的过滤设备,利用其各自的优点达到对固体颗粒的有效分离。所以研究这种事故处置装置(高效率气固分离器)具有重要的
套索传动机构中套管与柔索接触面间存在的摩擦力会导致传动过程产生间隙、迟滞和死区等现象,是套索传动应用的难题。尤其是在需要频繁换向的情况,很难实现高精度的跟踪控制,所以要将套索传动机构应用于机械臂传动系统,对其滞后效应以及补偿控制的研究具有重要意义。本文以双套索驱动仿人机械臂为研究对象,在单套索传动特性分析的基础上,建立了无输出端反馈的控制补偿方案,有效的提高了传动精度。同时针对机械臂关节的运动方式
随着人类计算机水平以及人工智能技术的飞速发展,人脸识别技术已经成为社会的热点问题,从日常支付功能到智能监控,已经渗透到了人们的日常生活中,给人们带来便利,政府、社会、商业领域都已离不开人脸识别技术。人脸识别技术是一门交叉学科,发展至今,以人类面部生物特征为基础的人脸识别与表情识别技术已经融合了计算机视觉、人工智能、人机交互、深度学习等等很多的科学知识,涉及了很多当今热门的前沿科学技术知识。在另一方