基于GAN的图像生成及图像转换算法研究

来源 :兰州交通大学 | 被引量 : 0次 | 上传用户:wuwu245
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像生成和图像转换是目前计算机图像学和机器视觉领域中的基本问题,在现实生活中具有广泛应用:扩充研究数据集、图像属性转换、人脸图像编辑等。近年来,伴随深度学习发展而兴起的GAN(Generative Adversarial Networks,生成对抗网络)在图像生成和转换问题上取得了非常瞩目的成果。传统生成模型在对图像这种高维度随机变量建模时十分困难,并且泛化生成能力差,而GAN可以通过学习的方式理解图像的特征内容,生成逼真且具有多样性的图像。现有的GAN也存在一些问题:在图像生成方面,很多网络模型生成的样本有较大的随机性,不能按照需求生成指定图像;在图像转换方面,大部分网络模型只能在配对数据集上进行双域转换,高效的多域转换模型还需要进一步研究。本文在现有GAN模型的原理和结构基础上设计两组改进模型,分别用于在限制条件下生成人脸图像和多域间的图像转换。论文主要内容如下:(1)在相关原理和技术方面:首先分析卷积神经网络的架构和原理,对深度神经网络的反向传播算法进行推理,然后详细阐述GAN的基本思想和理论,并推导其数学原理,最后介绍GAN发展过程中两个非常重要的衍生模型,为后续的改进模型提供框架和理论基础。(2)针对按照特定条件生成图像的问题,选择人脸图像作为研究对象,设计改进一种根据部分面部特征生成整张人脸图像的GAN模型。相应改进模型的生成器首先对含有关键面部信息的部分人脸图像使用混合空洞卷积组成的残差网络提取特征,然后根据CGAN(Conditional Generative Adversarial Networks,条件生成对抗网络)的原理,将提取到的特征作为限制条件与随机噪声结合,最后采用先插值再卷积的方式生成完整人脸图像。判别器的输入中添加不匹配项用以指导生成器生成符合条件的图像。对网络训练的损失函数进行改进,并且使用WGAN(Wasserstein Generative Adversarial Networks,瓦瑟施泰因生成对抗网络)的原理稳定网络训练过程。相应实验的测试结果表明改进模型能够生成符合需求条件的逼真图像。(3)针对非配对数据集上的多域图像转换问题,设计改进一种基于循环一致原理的多域图像转换GAN模型。结合Cycle GAN(Cycle-Consistent Adversarial Networks,循环一致性生成对抗网络)中的循环一致原理和Ic GAN(Invertible Conditional Generative Adversarial Networks,可逆条件生成对抗网络)使用特征向量控制生成图像属性的方式对相应模型进行改进。改进模型在生成器中采用深度残差网络加深网络结构,使之有更强的非线性表达能力。在判别器中增加域分类功能,使转换得到的图像符合目标域特征。在网络训练的目标函数中添加循环一致损失和域分类损失,使模型可以按要求完成转换任务。通过在公开数据集上的实验表明,改进模型可以准确高效地进行图像间多域属性的转换,并且转换后的图像在清晰度和真实性上表现优异。
其他文献
近年来,城市交通拥堵问题日益突出,城市轨道交通建设被视为有效解决问题途径之一,担任着越来越重要的角色。基于通信的列车运行控制系统(Communication Based Train Control,CBTC),作为我国现代化城市轨道交通最核心的技术之一,对于提高列车通过能力,保证列车运行安全都起到了重要作用。CBTC系统在投入使用前,必然要进行工程测试,目前各CBTC系统生产厂家在工程测试阶段使用
近年来我国铁路事业不断发展,在运输运营方面作用不可忽视,确保列车的运营安全成为重要课题。目前,我国对于时速超过250km/h的铁路采用的都是CTCS-3(China Train Control System level 3)级列车运行控制系统,也是高铁上运用最多的列车运行控制系统。对于CTCS-3级列车运行控制系统来说,它的核心设备是车载设备,承担着列车运行的主要控制功能,车载设备一旦出现故障会对
自动驾驶技术可有效解决社会面临的交通安全、道路拥堵、能源消耗等问题,以提供更舒适的交通环境。早期的自动驾驶技术主要研究特定场景下的驾驶任务,而在目前的城市交通中自动驾驶系统需要满足L3以上的功能。自动驾驶汽车在各种交通环境下的安全性评估是目前的研究热点和持续被关注的问题。其难点在于不同交通场景的分类、大量时空数据的计算、攻击者恶意攻击的预防、以及各种人工驾驶和自动驾驶混合交通造成的环境不确定性和复
学位
学位
图像描述任务是一种重要的现代智能图像应用技术,它利用精炼而又准确的自然语句对图像内容进行的概括性描述,非常广泛的被研究,融合了“计算机视觉(Computer Vision,CV)”和“自然语言处理(Natural Language Processing,NLP)”的人工智能领域。尤其对于视力缺陷人群在互联网上进行交流、儿童早期教育、智能人机交互以及机器人研究开发中有着非常大的应用前景。随着迅速进步
学位
学位
可信构造是指采用自身可证的全流程方法在系统开发过程中逐步形成系统的可信属性。Tc CBTC(Train-centric CBTC,以车载为核心CBTC)系统是车载设备基于运行计划和实时位置实现自主资源管理、主动间隔防护等功能的新型CBTC(Communication-based Train Control,基于通信的列车控制)系统,实现更安全、更高效、更灵活、更经济、易部署等目标。Tc CBTC系
随着经济的不断发展,城市规模的不断扩大,轨道交通运输的需求也在不断增加。因此,提升轨道交通的运输能力,优化交通运输业的需求日益提升。同时,伴随着通信技术的不断发展,基础设施的不断完善,打造更加安全可靠,运营成本更低的轨道交通系统成为轨道交通行业孜孜以求的目标。基于车车通信的新一代列车控制运行系统,集成了部分地面设备功能到车载设备,以列车为核心,降低了系统的时延,提高了系统吞吐量,进而提升了运行效率