基于生成式对抗学习的单一与多模态图像转换

来源 :大连理工大学 | 被引量 : 1次 | 上传用户:dffder
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来各种有关图像处理的研究得到了广泛的关注与发展,而在计算机图像研究领域中,图像转换作为重要的一项技术,许多图像处理相关的问题都可以归结到此类任务中,例如图像风格迁移、图像降噪、图像超分辨率解析等。图像转换旨在研究数据域之间的关系并解决如何将一个形态的图像转换成另一个形态,因此完成图像转换需要重点研究图像间的相似性和多样性两方面内容,相似性研究内容要求生成图像与输入图像的结构相似性,同时又要求生成图像与目标图像域样本的细节相似性,多样性研究内容要求在处理多模态输出或者输入情况下方法都具有很好的扩展性。现有的图像转换方法按照是否需要成对数据可以将这类方法分为监督方法和无监督方法,按照是否可以生成或者处理多种形态的图像分为单模态方法和多模态方法。成对的训练数据提供了目标图像用以指导数据生成,降低了研究内容中相似性要求的难度,然而成对的数据是很难获得的,因此相比于监督方法,无监督方法更具有普适性。相比于单模态方法,多模态方法具有更好的完备性,但是多模态方法在解决输出图像的多种模态方面更加复杂,最后多模态方法由于可以应用到多个图像转换任务,模型往往更加复杂,如何减少网络参数也是面临的问题之一。针对图像转换方法中无成对训练数据的情况,本文提出了一种基于生成式对抗学习的单模态图像转换方法。该方法借助生成对抗网络用于解决无监督图像转换问题以及提高生成图像质量,同时在生成图像和输入图像以及目标域图像的相似性研究内容下学习隐空间和数据空间的双向映射,引入了互信息机制和感知对抗损失用以指导图像生成。在草稿图生成照片、多个人脸属性转换和人脸修复任务上显示,本文提出的方法既保留了输入图像的关键表征,同时把部分表征转换成了另一形态。在多模态图像转换方法中,一方面针对多模态方法中一张图像可能对应多个输出,如何减少输出图像的不确定性的问题,本文提出了基于生成对抗网络的多模态图像转换方法。该方法采用一个额外的编码器用以生成风格向量,通过不同的风格向量指导图像生成,借助互信息机制、感知损失和循环一致性损失优化风格向量与图像生成,增加了模型的可扩展性。另一方面,针对多模态方法减少训练参数的问题,考虑多模态输入情况下这一问题的解决办法,在模型中为每一模态加入条件向量,结合变分自编码器与生成对抗网络,把推理网络与判别网络合二为一,本文方法通过这样的改进思路减少了训练参数,结构更加简洁,在实验结果中取得了良好的表现。
其他文献
目的探讨细胞外信号调节激酶(ERK)在哮喘大鼠气道中表达变化及其对气道平滑肌细胞增殖的影响。方法18只雄性Wistar大鼠随机分为对照组、哮喘组、地塞米松干预组各6只。采用卵
随着我国经济的持续稳固发展,人们的生活质量和生活水平在不断提升,这一点不仅能够直观体现在酒店行业的快速发展与壮大上,也能够有效体现在客户对于酒店入住体验的要求与感
改革开放以来,我国的经济发展促进了农业机械化的发展,农业生产力得到了快速提高。在此同时,病虫害问题也使农药的使用更加频繁和普遍,由此而带来农药利用率低,环境污染等问
骨肿瘤极大地影响患者的生命健康,同时骨肿瘤本身以及相关治疗手段会造成病灶附近的健康骨组织缺失,且对于肿瘤的二次治疗局限于放射治疗与化学治疗等副作用较大的传统疗法。
丝绸是中国的国粹,是沟通东西方文明的桥梁之一。随着中国“走出去”战略的不断加深,古老神秘的“丝绸文化”逐渐揭开了面纱。电视纪录片《探索发现》栏目之《织造记-纺织的故事》详细介绍了中国三大丝绸之——宋锦的历史起源、传统制作方法、以及旗袍的制作。内容通俗易懂,同时又具有一定的专业性。本实践报告以《织造记-纺织的故事》作为模拟同声传译的语料,以法国释意学派的释意理论为指导。本文将释意理论与口译过程中出现
乡村旅游作为一种新兴的商业旅游业态,上世纪90年代后期第一次在中国大地出现,最早是从中国大陆西北边陲及台湾地区发展起来,并呈现出不错的发展趋势。这种新的旅游模式对农
近年来,随着非富勒烯受体材料的不断开发,非富勒烯有机太阳能电池也得到迅猛的发展,其效率已经突破11%。这与富勒烯的有机太阳能电池效率相当甚至已经超过。在众多非富勒烯受
上海是旧中国最大的对外贸易口岸,江海关是近代海关的第一大关。1946年后,江海关职工在中共江海关总支领导下,建立海关各层级人员参加的统一战线;成立了海关同人进修会、应变
随着海科集团员工以及规模的不断扩大,集团在人员以及信息管理方面出现很多问题,如一线员工无法了解到集团的具体情况、想学习和培训但是缺少途径、无法直接和集团领导沟通参
中国传统印染艺术有着悠久的历史,在不同的历史时期中,中国传统印染艺术都有着不同的应用表现。这些不同的表现反映了各个地区和历史时期人们不同的人文思想、哲学理念和社会