基于多特征联合学习的图像美学视觉提升研究

来源 :南京大学 | 被引量 : 0次 | 上传用户:jsnjwh
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
计算机视觉的美学研究工作,可看作对人类审美意识进行可靠的物化处理过程。利用图像、模型等众多视觉媒介丰富的颜色外观和几何结构等信息,借助计算机对数据一定程度上的视觉抽象特征提取能力,对相应美学任务进行建模学习。其中,人脸美化作为最热门研究问题一直深受研究者们的广泛关注。除此之外,各类图像美化研究也在不断发展。这些研究被广泛落实到众多工业应用当中。本文第一项工作主要是人脸的几何美化调整任务,即通过对人脸五官等面部比例的调整提升人脸美感。大部分现有的人脸几何结构美化调整多采用传统机器学习方式。本方法提出一种基于深度学习的人脸几何美化调整方法,解决人脸几何美化任务。实际上,人们为得到一张满意的人像照片,除了对图像进行后期编辑,前期拍摄时也会选择性的找最佳拍摄角度。不仅人脸图像需要考虑视点方位,其他图像的拍摄亦是如此。对于建筑物图像而言,视点不同也直接影响着建筑物图像的呈现效果。在另一项工作中,本文提出了一种建筑物图像视点评估推荐方法,从图像获取的源头考虑,探寻不同视点对于图像视觉美感优劣的影响。具体来说,本文工作主要包括以下两个方面:1.针对人脸的几何美化调整方法。本方法提出一种基于深度学习的GAGANs网络,用于人脸几何美化调整任务。该方法以生成对抗网络为框架,对人脸几何美化调整任务进行建模,旨在让网络学习普通人脸几何特征到高颜值人脸几何特征的映射方法,进而提升人脸美感。本方法采用多特征联合学习训练思想,模型内包含两个生成网络分支用于学习多视图特征间的互补信息。在特征选用上,本文选用人脸关键点、其三角化后的几何距离向量这两类特征,送入相应网络分支协同学习,最终GA-GANs两分支可独立进行人脸几何美化调整操作。本文在公开人脸数据集SCUT-FBP5500基础上进行了数据扩充,部分人脸图像取自网络收集。由大量用户标注并去除歧义性样本后得出,保证一定的审美稳定性。与现有基于机器学习的人脸几何调整方法进行对比,实验中展现了本方法的有效性和视觉显著性。2.针对建筑物图像的视点美学推荐方法。本方法提出了一种建筑物图像视点美学推荐方法。本文沿用上一项工作的多特联合学习思想,采用多视图联合学习方法。将常用图像美学规则和专业性经验技巧进行综合考虑,利用同一视点下二维图像特征和三维几何特征的同源异构性,将这两类特征组联合学习,辅助获取建筑物图像的视点美感偏好。最终训练的多视图学习器能有效的给出图像视点推荐。本模型在仅有建筑物的二维图像特征或建筑物模型的三维几何特征的情况下也能使用,符合现实中两类特征很难一并获得的情况。增强了模型的鲁棒性。在多视图学习方法的选择上,本文选用典型相关性分析(CCA)和核典型相关性分析(KCCA)这两种算法进行比较。相较于仅使用单个图像特征、几何特征或不采用多视图学习的特征集进行各项实验,对比结果验证了这两种模型算法的有效性和适用性,其中基于KCCA的方法在各类特征输入下表现最优,均取得了仅逊色于人类真实判断的评判结果。
其他文献
随着智能驾驶、新能源技术的快速发展,业内各大公司也开始关注和重视新能源汽车底盘的研发。悬架性能与影响乘车人员及司机的舒适性体验息息相关,而悬架的K&C特性作为悬架性
菜心是我国华南地区的主要蔬菜作物之一,全年均有种植。但夏秋高温季节,该地区常伴随着较高的降雨,造成高温与涝渍胁迫,严重影响菜心的正常生长发育,导致产质量下降。目前,已
现代信息技术改变着人类社会生活的方方面面,随之兴起的信息技术哲学正在成为哲学研究的一个新视角和新趋势。脑机接口技术作为信息技术中人工智能的一个热点也逐步进入到人
制动抖动是由制动引起的低频振动,其现象是高速缓制动时,转向盘问歇性异常振动。文中通过某款车型制动抖动的整车道路试验研究,详细讨论了制动抖动的发生机理、传递途径放大
近年来,我国社会经济水平得到了大幅提高,人们收入水平显著提升,极大地推动了我国旅游产业发展,作为旅游支柱产业之一的酒店业也获得了快速发展。快捷酒店是酒店业的一种重要类型。快捷酒店的发展对满足游客多元化的消费需求具有重要作用。20世纪90年代以来,我国经济型快捷酒店大量涌现,在我国二、三线城市得到高速发展。然而,当前由于酒店在产品、服务、发展定位等方面日趋同质化,使得快捷酒店行业之间的竞争愈加激烈。
氧化锌(ZnO)是Ⅱ-Ⅵ族直接带隙半导体,室温下禁带宽度约为3.37 eV,激子束缚能为60 meV,热离化能为26 meV。在光催化、太阳能电池、传感器、光电探测器等许多领域都具有非常广泛
近年来,我国加快了高速铁路的建设,高铁设施的迅速发展带来时空压缩、要素流动、人口产业集聚、地方经济增长等一系列有利条件的同时,高铁站区现状建设存在的问题也逐渐显现,
体系贡献率是装备建设发展的一个新的更高标准。在装备规划论证中,为了实现对装备的体系化设计,提出了一种以体系贡献率为标准,以装备项目群为单位的论证方法。首先,针对遂行
前言国内在后续熔融铁水处理上,大都采用传统的铸铁机铸锭方法,铸成尺寸较大的块状;而颗粒的熔融时间较短,因此,对于大多数熔融工序而言,采用颗粒一般都能降低生产成本。采用
会议
哮喘患者血浆及肺组织中腺苷水平升高,吸入腺苷可引起哮喘患者气道反应性增高,腺苷受体反义寡核苷酸能降低哮喘兔气道阻力,改善气道顺应性,提示腺苷是哮喘气道炎症中的一种重要炎