基于深度学习的图像生成与质量评估

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:donglaoshi_imnu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像生成是计算机视觉、计算机图形学领域的重要研究方向。该方向已有70余年的研究历史,早期的生成模型只能生成简单、低质量的图像。近年来,随着深度学习的提出与发展,生成模型取得了巨大的突破。深度图像生成模型能够高质量、可控地生成多样化的结果,因此它被广泛应用在各种实际场景中,例如:图像增强、图像编辑、跨模态图像生成、图像风格化转换、电影游戏特效、艺术设计等。不同的应用场景对生成模型有着不同的要求,因此,面向应用需求设计不同的生成模型至关重要。此外,生成模型难以避免地会产生低质量的生成结果,因此如何客观公正地评估生成图像的质量,筛选出符合要求的图像,也是个非常重要的研究问题。本文对这些问题展开了深入的分析研究,主要创新和贡献包括以下四个方面:第一,针对图像风格迁移任务,本文提出基于优化的深度特征重排列算法。之前的图像风格迁移或者只能迁移全局风格特征,或者只能迁移局部风格特征。本文提出将风格图像的深层语义特征依照内容图像重排列,再通过解码器生成风格迁移后的图像。本文从理论上证明了该算法能同时迁移全局和局部风格,并通过实验证实了该算法对于多样的风格图像均能产生高质量的生成结果。第二,针对肖像编辑问题,本文提出基于条件生成对抗网络的算法。该方法借助人脸分割网络得到的肖像掩模,将掩模和人脸属性分离,通过对人脸不同部件分别编码,实现了高质量、多样化、可控的肖像编辑。同时该算法框架还能完成很多其他应用,如从掩模渲染图像,含头发的换脸,以及将生成图像作为训练分割网络的数据增强等。第三,本文提出一种新的生成模型:量化去噪扩散模型。该方法首先采用量化变分自编码器将自然图像转换成离散编码,再使用离散去噪扩散模型对编码建模。在图像生成阶段,去噪扩散模型将噪声信号恢复成离散编码,再解码得到生成图像。该方法在多种图像生成任务上都能取得非常好的性能。一方面,该算法避免了自回归模型单向偏差、误差累积、生成效率低的缺点;另一方面,与生成对抗网络相比,该模型具有更强的数据拟合能力,能够生成更加复杂场景的图像。第四,本文提出一个新的研究课题:生成图像质量评估。本课题旨在研究如何自动、客观、公正地评估生成图像的质量。本文提出了三种生成图像质量评估算法,并收集了一个生成图像质量评估数据集用于验证算法的合理性。在此基础上,本文进一步探讨了生成图像质量评估的巨大价值,如用于生成模型衡量,提高生成模型性能,筛选高质量图像等。
其他文献
石墨烯在众多领域的优异性质和应用需求不断鼓舞并促进着其制备方法的研究。在探索的众多制备方法中,电化学方法因其温和的条件、可控的操作以及可观的产率被认为是最具工业化前景的途径之一。本论文围绕电化学剥离中的电解液、电压和电极等实验参数展开研究,旨在开发低成本、高产率的电化学方法来制备出不同性质的石墨烯产物,并对石墨烯的储能、电热和光热性能做了研究。在本论文第二章中,首先制备了一种新型绿色溶剂—一三组分
近几十年来,纳米材料以其优异独特的物理化学性质,在发光二极管、太阳能电池、光催化、生物检测等诸多领域展现出了广阔的应用前景,并受到了人们越来越多的关注。然而,由于量子尺寸效应,与块状材料相比,纳米材料中强的库仑相互作用导致激发态弛豫及表界面电荷转移过程更为复杂,相关微观动力学机理方面的认识仍十分匮乏;这不仅影响到纳米材料的设计构筑与调控,也大大阻碍了相关的应用研发。因此,深入理解纳米材料激发态的微
光镊是一种基于光的力学效应捕获和操控颗粒的技术,由于其具备实时操控、非接触、无机械损伤的优势,在微生物分子、分散体系、活体细胞检测等研究领域获得了广泛的应用。然而基于高功率、紧聚焦激光的传统光镊技术的功能单一、操控自由度小,而且难以在大面积范围内同时捕获和组装不同尺寸的微粒或者细胞。为了克服传统光镊的这些应用困境,实验物理学家们扩展了许多新型的光操控方法,其中一种方法是利用激光产生的热效应操控微粒
生命科学与生物医学的发展对光学显微成像有了越来越高的要求,但光学系统的成像性能一直受限于阿贝衍射极限。虽然近数十年,科研工作者发展出各种超分辨显微成像技术以适应不同应用场景的需求,但是已有的光学显微成像技术尚存在许多不足。在高/超分辨光学显微镜中,点扩散函数直接反映了光学显微技术的分辨率,通过对点扩散函数进行调制整型,为实现高/超分辨显微成像提供了一种较为直接的、有效的技术手段。本论文基于点扩散函
放疗一直是临床癌症治疗的主要手段之一。癌症放射治疗的理论基础是恶性肿瘤比正常组织对射线更为敏感。放疗的目的是杀死肿瘤细胞,但同时需尽量减少对非癌细胞的损伤,这对放疗研究始终是一个挑战。射线作用于细胞会产生氧化性自由基(reactive oxygen species,ROS),这也是放疗发挥作用的重要介导物。ROS可损伤生物大分子,增加氧化胁迫引发各种信号通路甚至导致细胞死亡等。一定程度上,射线产生
玻璃幕墙因为具有较好的透明性和美观性近年来被广泛的作为建筑外墙使用,然而玻璃材料的抗火性能较低,幕墙玻璃通常是外墙结构中最脆弱的部分,因此大规模的应用带来了火灾风险。火灾中玻璃板极易发生破裂形成纵横交错的多条裂纹,当裂纹围合成“岛屿”时,在诸如风荷载等外界环境和火灾耦合作用下玻璃板通常会从框架上脱落形成新的通风口。新的通风口加速以通风控制型的室内火灾发展,造成灾难性的回燃甚至轰燃发生。室内火灾产生
三维目标检测能为智能感知系统提供丰富的目标位置和姿态等信息,有助于提高系统对环境的理解和决策能力。激光雷达凭借其高精度和远距离的测距能力在三维目标检测任务中获得了广泛关注。利用点云等数据进行三维目标检测的技术逐渐成为研究热点,并在无人驾驶和智能交通中发挥着重要作用。交通场景下的三维目标检测研究在近些年取得了诸多成果,检测效果也在持续提升,但目前在数据和检测算法等方面仍然存在着一些问题。在基于真实场
钙钛矿氧化物因其丰富多样的物理性质,例如金属-绝缘体转变,相分离,庞磁阻,自旋轨道耦合等,一直是材料物理领域研究的热门方向。由于对称性破缺和维度效应,以及小型化电子器件的需求,钙钛矿氧化物薄膜越来越受到关注。而锰氧化物薄膜作为磁性钙钛矿氧化物薄膜中研究最广泛的材料之一,其结构和物理性质的研究有助于深入理解钙钛矿氧化物中多种自由度之间的耦合,以及探索更多新奇的物理性质和拓宽其应用价值。与传统的外延锰
星系形成和演化是星系天文学研究的重要领域。星系形成和演化过程中,星系的形态结构、恒星质量、金属丰度和气体含量等物理量都随着相关物理过程而改变。近邻星系拥有的多波段观测数据,能为我们研究这些物理量之间的关系提供良好的数据基础。本文通过研究近邻宇宙中的一些与星系形成演化活动相关的物理量之间标度关系,进一步研究星系的形成和演化。论文第二章研究了从SDSS DR8中选择的1,479个红移z(?)0.33的
为了研究固液两相流双流体模型的控制方程进行封闭时,采用不同方法进行模化产生的不同双流体湍流模型对固液两相流的计算结果产生的影响.研究了3种双流体湍流模型在不同固相条件和不同进口液相速度时对圆管内固相浓度和速度计算结果的影响,并与试验值进行对比.结果表明,不同工况时,3种双流体湍流模型的固相浓度计算结果在壁面附近的误差较大,都更适合计算流速大、含沙浓度高的固液两相流场;3种模型会显著影响含大粒径颗粒