基于神经网络与注意力机制的图像修复算法

来源 :中国科学院大学(中国科学院光电技术研究所) | 被引量 : 2次 | 上传用户:h872889544
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像修复最早可以追溯到文艺复兴,当时用来对艺术画作的缺失区域做修补。该技术能广泛地应用在医疗、军事、影视及教育等多个领域,正吸引着越来越多的学者投入到研究之中。但是传统的修复模型无法主动找到待修复区域的位置,且不能修复完全动态的图像,也没有统一的模型能应对时间与空间上都具有随机性的破损问题。而近年来深度学习在图像处理方向的快速发展与出色的表现,给予了研究者们新的思路与启发。首先,本文介绍了深度学习领域的自动编码器、生成对抗网络、深度可分离卷积、注意力与渐进增长机制等,着重论述了其在图像修复领域的良好特性,研究各自的实现机理与内在关联。然后,本文提出了一个改进的图像修复模型,其在充分结合自动编码器和生成对抗网络优势的基础上,为加强对局部细节特征的提取能力,引入了条件信息与注意力机制。为能够稳定地提高生成图像的分辨率,采用了渐进增长的训练机制。为更好地控制图像各级特征的生成,改进了生成器部分的自动编码器隐向量的定义公式,并逐级加入新的随机噪声以保证生成图像细节的多样性。通过本文模型在不同配置下的纵向对比,以及本文模型与其他三种比较主流的图像修复模型CVAE、DCGAN、WGAN的横向对比,主要从视觉效果与数值评价指标两方面,验证了各改进方法对模型性能提高的有效性及本文提出的神经网络的图像修复性能优越性。最后,为降低网络的参数量与计算量,进而提高模型在硬件设备上的运行帧数,采取了如把传统卷积全部替换为深度可分离卷积残差结构、权重初始化、权重剪枝及半精度变换等技巧对模型进行了优化。实验结果表明,本文方法具备更好的修复性能与实用性。
其他文献
随着互联网行业的不断发展,数据安全与历史记录追溯变得越发重要。联盟链作为集去中心化、智能合约、交易记录不可篡改、共识算法机制于一体的底层交易网络,可以有效解决链上
学位
当今不断发展的社会,显著提高的生活水平,都表明科技在我们的日常生活中扮演着越来越重要的角色。此时一些扛着高科技旗帜的生物制药企业纷纷出现。对于现如今急需提高科技发展水平的我国,生物制药企业显然具备非常重要的战略意义,为促进生物制药行业的稳步发展,国家政府因此出台了多项优惠政策。我国以提高科学技术发展水平为目的,加大了对其的关注力度并耗费了海量的资金。在我国政府的极力推广和大力扶持下,越来越多的生物
股东表决权毋庸置疑是股东最重要的权利之一,无论在公司经营管理中抑或是在公司法的理论研究中都具有很高的地位。股东表决权交易是指股东之间或者公司与股东之间就特定表决事项达成协议,一方依照另一方的要求进行表决,以获得特定对价利益的行为。随着经济的不断发展,公司制度的不断创新,股东表决权交易问题逐渐得到了很多学者的关注。但是,目前世界各国对于股东表决权交易普遍持否定态度,笔者通过总结学者们的相关观点,认为
近年来,互联网和物联网的融合与发展,吸引众多学者对复杂网络进行研究。复杂网络的研究在众多领域具有重要的应用价值,例如在生物领域检测蛋白质作用的复合体,在商业领域进行
风云四号闪电成像仪LMI(Lightning Mapping Imager)作为全新的静止卫星闪电探测系统,为我国闪电活动的特征分析以及雷暴活动的监测预警提供了大量的观测资料。目前国家气象卫星数据中心公布的闪电探测数据是L2级事件,并没有物理意义,因此将LMI的探测数据聚类到闪电是卫星闪电数据应用的第一步。在确定LMI的聚类算法时,需要考虑极轨卫星和静止卫星闪电成像仪的差异,即考虑像元空间分辨率对
随着新能源电力的快速发展,以风力发电弃风现象为主的可再生能源电力消纳问题愈加严重。氢储能技术既可以保障风电的平滑输出,又可以提高电源质量,是缓解新能源发电矛盾的有
在大数据时代和信息时代,有着海量的信息,也存在不少冗杂的内容,导致用户有时无法在短时间内发现感兴趣的信息。所以,个性化推荐系统在很多领域都有应用,例如:新闻社交、电子商务、视频媒体等。推荐算法是推荐系统中的重要组成,种类繁多。Slope One是一种基于项目的协同过滤算法,它经典、实用,实现的过程简便、高效,已经得到了广泛应用。不过,它未衡量到用户间的相似性,未考虑到项目间的相似度问题,对预测准确
现实生活中,同一物体往往可以通过不同的视角进行描述,从而产生了大量的多视角数据。尽管通过不同视角的描述,同一个物体可以获得更好的表示,但是同类不同视角的数据之间巨大的差异,也给跨视角数据之间的分类任务造成了很大的挑战。因此,跨视角分类问题具有重大的研究价值。近年来,基于低秩多视角子空间学习(Low-rank Multi-view Subspace Learning,LMvSL)的方法可以有效地解决
车载热成像行人检测系统通过热成像传感器获取场景信息,使用模式识别技术检测道路场景中的行人。现有的方法多将图像行人与背景作为二类分类问题处理。道路场景动态,行人属非