基于CycleGAN的图像翻译算法研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:maoxinlan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像翻译可定义为在充足训练数据的情况下,将场景或目标的一种表示形式转换为另一种形式。图像处理、计算机图形学和计算机视觉的许多问题可以看作是图像翻译问题。图像翻译问题包括但不限于图像着色、图像分割,图像超分辨率。传统上,很多图像翻译任务使用专用模型,随后出现了端到端的统一处理多种图像翻译任务的通用深度学习框架,该方法需要配对数据,而获取配对数据很困难且代价昂贵。无监督的图像翻译算法通过添加约束的方式解决无配对数据集的问题,但它们在处理物体转换任务时没有考虑这类问题的特殊性,在转换前景的时候也以一种不受欢迎的方式影响背景,比如背景颜色失真,在背景区域生成目标纹理模式等。我们认为一个可能的原因是网络瓶颈层使得低级信息丢失,另一个原因是网络本身没有注意力机制检测感兴趣区域。本文主要研究基于CycleGAN的图像翻译算法。针对现有算法在处理物体转换任务时出现的问题,提出了三种改进方案。采用跳越连接的方式,将生成网络的输入与输出连接起来,该方法可将低级信息传递到生成图像,从而解决背景颜色失真的问题;本文在对U-net结构和残差网络理解和研究的基础上,采用在不同分辨率下执行残差转换的方式,充分利用残差网络和U-net结构的优点,补充彼此的缺点,来提高转换效果;本文在对注意力机制理解和研究的基础上,将生成网络分为两个独立的网络,注意力网络用来预测感兴趣的目标,转换网络用来着重物体转换,解决在错误位置产生目标纹理模式以及背景颜色失真的问题。本文用缩放卷积替代反卷积,来抑制棋盘效应。本文在horse2zebra、orange2apple两个数据集上进行验证。与基本模型相比,跳跃连接解决背景颜色失真的问题,并且收敛速度快,但它没有解决在背景区域生成目标模式的问题。U-net结构和残差块结合的方式,既能保留原图背景信息又能减少在背景区域生成目标纹理模式。引入注意力网络的方式在更好地转换前景的同时,保留背景信息,并解决在背景区域生成目标纹理模式的问题,在马到斑马、斑马到马、苹果到橘子,橘子到苹果的转换任务中其平均Fréchet Inception distance(FID)值比基准模型分别降低了14.29、12.73、39.94,44.08,而在斑马到马、苹果到橘子的转换任务中,其平均FID比2018 NIPS上的Attention guided GAN模型高19.8、18.76。
其他文献
建德市大同镇蚕桑专业合作社,位于建德市西南部大同镇徐韩村,全村315农户1158人,有水田面积58.3hm2,旱地33.5hm2.近年来,随着农业结构战略性调整的不断深入,蚕桑已成为该村的
介绍了90年代以来世界上开发的气态CO2浸渍工艺、干冰浸清工艺、转盘浸渍工艺、连续浸工艺等几种CO2膨胀烟丝的新工艺、新技术,其优点是可克服现行P-A法的缺点。
【摘要】随着经济的快速发展,国家越来越重视数字图书馆的发展,这种情况对于全民阅读活动也会起着推动作用。现阶段由于有线电视网络图书馆的建立已经开始不断的优化,数字图书馆的更新换代发展趋势势不可挡。随着广电+概念的引入,现阶段的已经开始不断引导数字网络图书馆的概念。因此,本文主要针对现阶段的有线电视图书馆的现状,背景以及理论进行分析,并提出一些合理化建议。  【关键词】广电+;电视图书馆;生态建设  
本文主要阐述了我国网络高等教育的“缩水”现状,分析了产生这种现状的原因以及针对这种现状所采取的对策,旨在说明网络教育在我国所面临的挑战。
本文在分析流媒体系统的构成、传输协议、文件格式和播放方式的基础之上,主要讨论了流媒体技术在网络教学系统中的几种应用模式.
目的:探讨新斯的明穴位注射足三里合用开塞露纳肛治疗产后尿潴留的效果。方法:将120例产后尿潴留产妇随机分为治疗组与对照组,治疗组采用新斯的明0.5mg穴位注射双侧足三里穴加开
从改革开放到今天,中国的经济在经历了四十多年的变革发展后,发生了巨大的转变。但我国的中小型企业不断壮大,由此可见我国中小型企业能很好地做出调整来适应市场的不断变化。目前,中小型企业在国民经济中所占比例巨大,所起的积极作用越来越明显,越来越多的被国民所重视。但是,我国中小企业普遍存在成本过高、市场需求下行压力加大,产品缺乏竞争力导致企业订单不足等挑战。工信部副部长王江平分析,一方面,中小企业自主创新
目的:观察对比全麻与腰硬联合麻醉应用于髋关节置换术的临床效果,为髋关节置换术选择最合适的麻醉方法,提高手术效果。方法:92例行髋关节置换术患者分为观察组与对照组,观察纽采用