基于注意力机制与生成对抗网络的图像修复算法

来源 :陕西科技大学 | 被引量 : 0次 | 上传用户:mayi2800
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
由于数字图像获取过程的损坏、遮挡等问题,人们获得的图像存在不定损失,需要修复才能获得完整图像信息,图像修复技术成为了研究热点。生成对抗网络的应用,使得图像修复技术有了长足进步。但现有图像修复技术仍存在修复区域结构模糊、交界处融合效果不佳、特征信息还原不准确等问题。为此,本文对图像修复问题开展研究,主要研究工作如下:(1)针对双判别器图像修复算法(Dual Discriminator,DD)中存在的修复边缘模糊,特征还原性较差,纹理细节属性未有效还原的问题,设计一种融合通道、像素注意力机制和多损失约束的改进双判别器图像修复算法(Multi-Loss and Attention GAN,MLAGAN)。首先,加入跳跃连接、空洞卷积重新设计生成器模型结构,保证多尺度信息融合;其次,利用通道注意力块获取高关联通道特征图,通过像素注意力块对高关联通道特征图上所有像素进行打分,从而获取与缺损区域关联性更高的图像未缺损区域信息;最后,通过添加VGG16特征提取模型向生成器的优化函数中引入内容、风格损失项,以多损失融合的方式提高图像的修复效果。通过两组在CelebA人脸数据集和SVNH街景门牌号码数据集上设计的对比实验验证,表明与基于深度卷积生成式对抗网络的语义图像修复算法DCGAN、上下文编码器图像修复算法CE和DD三种主流算法相比,MLAGAN的修复结果中图像边缘融合性更佳、精细特征内容还原性较好、图像纹理清晰,且PSNR、SSIM指标均高于DCGAN、CE、DD算法。(2)针对上下文编码器图像修复算法(Context Encoders,CE)存在修复区域中整体内容模糊、修复痕迹明显、模型训练不稳定的问题,设计一种结合密集注意力连接块DCAB、粗略修复网络、精细修复网络和风格损失、内容损失的双生成器图像修复算法(Densely Connected Attention GAN,DCAGAN)。首先,DCAGAN引入二阶段修复网络,由粗略修复网络和精细修复网络提升整体修复效果;其次,使用四个通道注意力块设计密集注意力连接块可防止前后层特征丢失且确保重要特征信息未被忽略,避免注意力机制的无效性;另外,增设VGG16特征提取模型作为辅助,提供风格损失提高修复结果清晰度,提供内容损失增加修复图像相似程度;最后,引入WGAN-GP作为判别器损失函数使模型可学到更复杂的分布,避免生成样本单一,提高模型收敛速度。通过两组在CelebA、SVNH数据集上设计的对比实验验证,DCAGAN在主客观指标上均优于DCGAN、CE和DD三种主流算法。DCAGAN修复结果清晰度更高、修复痕迹自然、模型运行更加稳定。DCAGAN在PSNR、SSIM指标上,相比DCGAN、CE、DD均有提升。
其他文献
某轻卡车型在可靠性坏路路面负荷试验中发生发动机ECU支架断裂问题,经查为ECU支架未按照设计要求进行焊接,导致一阶模态与整车怠速频率较为接近,支架发生振动疲劳失效。调件换装满足设计要求的支架进行路试再次发生振动疲劳失效,针对发生的支架开裂问题进行详细解析,并通过仿真分析制定优化方案并在台架试验上进行验证,最终解决支架开裂问题。
期刊
机体异常脂质积累是导致肥胖的明确证据之一。而肥胖是一种多器官特异性变化的疾病,会大大增加患者得心脑血管类病、2型糖尿病、高血压和肿瘤等病的危险性。且随着肥胖发病率的上升,开发潜在的临床疗法和药物以改善肥胖和治疗肥胖相关疾病已经成为重点研究方向。绞股蓝作为传统中药,具有广泛生理活性,其中降脂活性作为绞股蓝主要功效,因此绞股蓝在降脂减肥方面有较高潜在价值。但现存研究还尚未明确绞股蓝降脂减肥的物质基础及
学位
白色念珠菌(Candida albicans),是一种兼性厌氧的真菌,有酵母态与菌丝态两种形态,能够引起口腔、食道与阴道等处的局部粘膜感染。新生隐球菌(Cryptococcus neoformans)是一种担子菌真菌,主要引起脑膜的亚急性和慢性感染。白色念珠菌和新生隐球菌感染是最常见的两种真菌感染,由于治疗真菌感染药物的过度应用,真菌耐药问题愈演愈烈,寻找能有效治疗这两种真菌感染的新型药物具有重要
学位
皮肤是机体的第一道屏障,伤口的产生使得皮肤的屏障功能受到破坏,影响人体正常生理健康。目前临床所使用的大多数是干性敷料,远远不能满足现代湿性愈合理论中对于伤口愈合所需环境的要求。所以用于促进伤口愈合的敷料一直是医学材料领域研究的一个重点。白芨作为止血良药在古代就已开始用于伤口的止血,而在近代研究中,白芨多糖作为白芨中的主要成分不仅具备抗菌止血的特点,还作为多糖类天然高分子物质具有可生物降解、优异的生
学位
图像作为一种信息传递的载体,在人们的生活中发挥着不可或缺的作用。更高分辨率的图像,往往能够传达出更为正确、直观和悦目的信息。然而,受硬件设备的限制和周围环境的影响,成像系统采集的图像分辨率常常达不到人们的需求,尤其是对于要求高清晰度的医学影像、公共安全和卫星遥感成像等领域。因此,利用数字图像处理技术提升图像的分辨率成为了当前研究的热点课题之一。近年来,得益于计算机硬件设备性能的提升和数据的爆炸式增
学位
藏茜草是在藏医中常用的一味药材,它的现行标准为《中华人民共和国卫生部药品标准藏药》第一册(1995年版)WS3-BC-0127-95,基源和药用部位为茜草科植物光茎茜草Rubia wallichiana Decne.和西藏茜草R.tibetica Hook.f.及同属数种植物的干燥根及根茎。因对藏茜草的基础研究较少,企业存在与茜草混用行为,且藏茜草质量标准较简单并有错误,因此本课题开展对藏茜草质量
学位
铝型材具有优良的物理性质,在交通运输业、机械设备制造业、耐用消费品业等行业得到广泛应用。但铝型材在生产、加工和运输过程中,可能产生多种表面缺陷,这些表面缺陷将严重降低铝型材的品质。因此,在大规模生产过程中自动检测铝型材表面缺陷具有重大现实意义,但现有的铝型材表面缺陷检测技术仍存在设计复杂度高、鲁棒性差、检测精度低、实时性差等问题。为此,本文基于具有设计优化简单、鲁棒性强等特点的卷积神经网络,综合运
学位
三维人体建模技术在影视制作、游戏开发、虚拟试衣等领域有着广泛的应用。由于人体结构复杂且表面的非刚体运动较多,目前高精度的三维人体建模方法主要依赖于复杂且昂贵的多视角相机系统或激光扫描仪得以实现。随着2015年SMPL形变模型的提出,用参数控制模型变化以模拟人体变化的技术得到了长足的发展,该技术可将复杂的人体三维重建问题转化为模型参数的优化求解问题。基于此模型衍生出大量SMPL系列人体形变模型,如包
学位
雾霾是由于大气中的粒子吸收和散射光而引起的一种自然现象。在雾霾天气下获得的图像能见度和颜色保真度损失较严重,这些图像在计算机视觉应用中造成了重大问题。因此,单图像去雾作为一项基本的视觉任务,在过去的几十年里已经引起了计算机视觉界研究学者们的广泛关注。本论文基于有雾图像的形成原理和大气散射模型研究了基于暗通道先验的去雾算法,设计了基于图像特征量和小波变换的去雾算法。本论文还研究了 条件生成式对抗网络
学位
在生产和生活中,农业扮演着一个极其重要的角色,它是一切生产活动的先决条件。而在农作物的生产活动过程中,最大的危害就是杂草,杂草不但具有旺盛的生命力,而且可以和农作物争夺养分、阳光等。随着科学技术的不断更新和进步,精准农业、智慧农业等新概念被提出,因此,研究准确快速的杂草检测方法变得十分重要。但是现有的有关杂草检测的研究还存在一些不足,如网络模型参数量大,小尺寸作物与杂草漏检误检等问题,这些问题使得
学位