基于感知损失的人脸素描图合成研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:qqllql
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术尤其是社交网络的发展,人们对不同风格人脸图像的需求越来越多。消费者经常希望将现实拍摄到的人脸图像同素描风格人脸图像或卡通风格人脸图像进行转换。因此,研究人脸图像风格自动转换技术具有重要的理论意义和应用价值。本文通过设计不同的神经网络结构以解决目前传统方法存在的视觉效果不理想以及识别精度不高的问题。  本文首先介绍了基于全卷积网络的人脸素描图合成方法,并且针对该方法使用的基于像素级损失存在的问题,对网络结构进行了改进,提出了生成-描述网络结构。该网络结构使用生成网络来进行图像的转换,并且使用描述网络来在图像特征上定义感知损失。定性的实验评估表明,该方法能够显著锐化图像的轮廓。在此基础上,针对实验评估中发现的面部五官部分细节缺失的问题,提出了两个细节增强算法:颜色直方图匹配和亮度迁移。它们分别将真实素描图的颜色分布和亮度分布转移到人脸图像和合成出来的素描图像上,从而有效地解决面部五官细节在合成上缺失阴影的问题。此外,本文使用了一种特殊的卷积神经网络————散射卷积网络来作为描述网络提取图像的特征。散射卷积网络通过不断级联小波滤波和求模算子来分层提取图像的特征。实验表明该方法合成出来的素描图轮廓清晰,面部五官细节完整,同时识别精度也有提升。  除了人脸素描图转换外,我们还在人脸卡通素描图转换和图像简笔素描画转换上进行了探究。尽管人脸卡通素描图数据库和图像简笔素描画数据库都分别存在着成对的训练样本,但是因为卡通图本身就是对原始人脸图像的一种夸张与变形,而简笔画又是一种利用简单的点、线等绘画要素来表现图像基本特征的绘画形式,这在一定程度上会削弱监督性。针对这一问题,我们创新性地将这两个数据库应用在了循环一致对抗网络(cycleGAN)上。通过GAN损失和循环一致损失来刻画损失函数,从而稳定地学习到图像之间的转化关系。此外,我们还将感知损失再一次应用在这个网络框架下。实验结果表明该方法能够在原始的合成结果的基础上取得进一步的视觉效果提升。最终,我们将本文提出的方法与当前效果较好的其他方法进行对比,归纳出了各个方法的适用情况和优缺点等结论,并针对cycleGAN结构的改进安排下一步的研究工作。
其他文献
女书是世界上最具性别意识的文字,这种由女性创造、女性使用的文字从文化层面上反映了女性的集体智慧。它是唯一尚存的不属于某个民族、不依托某种宗教的按性别划分的女性文
应用层协议识别和还原技术广泛应用在网络安全监控系统、入侵检测及其他网络控制系统中。然而,网络应用的不断发展和新的应用层协议不断产生,对协议的识别和还原技术提出了更
随着硬件制造技术和无线网络技术的不断发展,无线通信在生活中的很多方面都得到了应用,例如无线传感器网络、射频识别RFID等领域。伴随着无线通信的广泛应用,在给人们带来了
高校评教是高校教育教学管理工作的重要组成部分,是对教学活动过程进行考察的有效途径,它不仅对教学起着调节、指导、控制和推动作用,而且是评价教师教学工作成果的重要手段
近年来,人工智能在许多方面取得了突破性的成就,因此越来越受到人们的关注。自动问答系统就是人工智能中的一个很重要的分支,也是自然语言处理领域中的一个值得长期研究的目
牛肉分级体系的建立,是指引市场消费趋势,规范牛肉流通渠道,促进肉牛业健康发展的重要措施。目前,我国制订了牛肉质量分级评定的标准。评定标准包括:牛肉大理石纹理、牛肉色泽
本文研究并设计了一种新型红外瓦斯传感器,应用于煤矿瓦斯监测。采用“非分光红外”(NDIR)技术检测瓦斯具有快速、准确、稳定性高等优点。基于NDIR检测技术设计的瓦斯传感器将
21世纪,我们已经进入了以信息为主体的知识经济时代,信息高速化、便捷化成为各国竞争的焦点之一。在这种形势下,现代国家政务机关不但要加强内部信息资源的有效管理,还应越来越注
随着计算机网络技术的迅速发展,网络攻击手段呈现多元化、复杂化、智能化的趋势,网络的安全问题日益突出,僵尸网络、拒绝式服务攻击(DDos)等安全问题时有爆发。这些安全问题
无线传感器网络是目前受关注的研究领域之一,它涉及无线通信技术、传感器技术、分布式信息处理和微电子技术等学科的综合应用。由于无线传感器网络是一种能源极其受限的网络,