基于卷积自编码生成式对抗网络的高分辨率图像修复方法研究

来源 :河北工业大学 | 被引量 : 0次 | 上传用户:zhongbeiljb
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像是现代生活中信息载体的一种常见形式,完好的图像才能实现信息传输的完整性。但是,经常会出现所需的图像文件破损或被遮挡的现象,例如旧照片的破损以及监控中所需内容的被遮挡等。修复破损图像是一项具有挑战性的任务,其目的是根据破损图像中已知内容对破损区域进行填充。目前关于图像修复的研究很多,可以分为传统方法与深度学习方法两大类。传统方法可以对破损区域较小的图像进行简单的修复,基于深度学习的修复方法相较于传统方法,修复效果有了很大的提升,但是都还存在以下两点不足:1)对于大面积破损的高分辨率图像不能进行很好地修复;2)现有的修复方法都需要提前进行破损区域标注。因此,本文为了解决这些问题进行了如下工作:(1)为实现对破损图像待修复区域的自动标注,提出了基于改进U-net网络的破损区域自动标注模型。本模型是在传统的U-net网络上增加了判别器模块,从而可以利用区域与周围信息的关系来辅助判定是否为破损区域,并进行自动标注;同时在模型中增加了Dropout层,提升网络的泛化能力。(2)为解决大面积破损的高分辨率图像修复效果较差的问题,提出了基于卷积自编码生成式对抗网络(CAE-GAN)的修复模型。该模型先训练生成器学习从高斯噪声到低维特征矩阵的映射关系,再利用卷积自编码网络的解码模块将生成的特征矩阵升维成待搜索的高分辨率图像,然后在其中找出与破损图像匹配度最高的一张,将该图像的对应区域覆盖到破损图像待修复区域,最终实现高分辨率破损图像的修复。通过将学习难度较大的映射关系进行拆分,降低单个映射关系的学习难度,提升了模型训练效果。(3)为验证本文修复模型的有效性,在Celeb A、SVHN、Oxford 102 Flowers和Stanford Cars四个数据集上对不同破损程度的512?512?3高分辨率破损图像进行了修复实验,本文模型成功修复了大面积缺失区域的信息。与Context-Encoders方法和DCGAN方法相比,本文方法在破损面积大的图像上修复效果提升显著。
其他文献
报纸
近年来,遥感对地观测技术迅猛发展,可采集的遥感图像呈现出海量化、多源化、高分辨率的趋势。为加强遥感图像在城市规划、土地覆盖类型判别、自然灾害监测等领域的应用能力,遥感图像场景分类引起人们的广泛关注,其依据遥感图像的内容分配语义标签。传统的基于机器学习的遥感图像场景分类模型一方面需要收集大量的标注样本训练,另一方面要求训练数据与测试数据服从相同的分布,这造成模型难以对多源海量的遥感图像高效利用。域适
学位
近年来,由能源引起的环境污染问题备受关注,大力发展可再生新能源成为当今时代能源大方向,而风能凭借自身的优势进入了高速发展阶段。随着风电机组装机容量与高度的增加,其安全运行问题受到广泛关注。其中,雷电灾害是威胁风机正常工作的重要原因之一。目前风电行业的防雷保护设计发展较为缓慢,尚未有一套成熟有效的防护标准。因此,开展风电机组的雷电暂态效应研究具有重要理论意义和工程价值。本文针对机组关键部件建模并分析
学位
推荐算法能为用户快速并且准确的推荐符合喜好与需求的信息,解决了信息过载问题。近年来推荐算法在研究领域和应用领域都取得了巨大的成功,但是仍然面临着严重的数据稀疏性问题和冷启动问题,使得推荐效果降低。将知识图谱作为附加信息引入推荐系统在一定程度上缓解了数据稀疏性问题和冷启动问题,提高了推荐系统的精确性、多样性和可解释性。现有的基于知识图谱的推荐算法仍存在两点不足,首先现有的基于知识图谱的推荐算法在用户
学位
视频人脸替换是将视频中人脸的身份特征进行替换,同时保持其他特征不变,它是计算机视觉领域中一项非常重要的技术,其广泛应用于影视创作、社交娱乐、虚拟现实和隐私保护等领域。传统的人脸替换技术需要专业人员手动编辑,在人工干预的过程中存在精确度、真实感较差、替换速度较慢等不足。近年来随着人工智能技术的快速发展,运用深度学习的方法进行自动视频人脸替换逐渐成为了国内外的研究热点。本论文将对基于生成对抗网络的视频
学位
近些年,在深度学习理论的推动下,面向遥感智能解译任务的目标检测技术得以迅速发展,并被广泛应用于自然灾害监测、城市规划、军事情报获取等领域。然而,随着遥感数据量急剧增加,遥感图像呈现出背景复杂的特点,这在一定程度上削弱了遥感图像中重要的目标特征。为增强目标特征在遥感图像中的显著性,从而有效地抑制复杂背景对目标检测的影响,当前许多算法基于卷积神经网络去构造多级融合特征,并借助于各种有效的场景辅助信息,
学位
提高空气质量分析的科学性及预测的准确性,可以帮助政府提升对空气质量评价、管理及决策的可靠性,从而及时采取有效的防控措施规避大气污染造成的损害,保障公众健康。同时也可以保证公众享有信息参与和环境监督的权利,配合政府进行管控工作。因此,积极开展空气质量预报工作对于社会发展具有重要的战略意义及价值。影响空气质量的因素繁多且包含时空维度以及复杂的非线性关系信息,而基于现有的预测模型研究主要存在两点问题:一
学位
微表情是一种快速的、无意识的自发式面部表情,它能够揭示人们内心试图隐藏的真实情感。近年来许多人利用计算机视觉技术对微表情识别系统进行研究,使得微表情自动识别的应用范围越来越广,但微表情持续时间非常短,并且微表情引起的面部肌肉运动的强度变化细微,只出现在面部很小的区域,正确理解并识别微表情有着相当的难度,这在一定程度上限制了微表情识别算法的性能。为了解决上述问题,本文提出一种融合时空网络与注意力机制
学位
本文作者为缅甸来华留学生,因此选择了缅甸媒体作为研究对象,对其中关于“一带一路”主题的新闻报道进行框架分析,试图通过研究,发现缅甸媒体对于相关主题的报道特点和倾向。这项研究不仅可以为缅甸媒体的相关报道进行学理性分析,并对新闻实践有所助益;同时也能将缅甸媒体所呈现的对“一带一路”的社会认知进行中文语境书写,这对于未来中国的“一带一路”建设也具有一定的参考价值。在2013年,中国提出了“一带一路”的倡
学位
报纸