基于多视图约束的建筑物拍摄视点推荐和人脸照片美化研究

来源 :南京大学 | 被引量 : 0次 | 上传用户:xiaoshuishe
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
计算摄影学是一个融合了计算机视觉、图形学等其他学科的研究领域,也因数码拍照越来越普及而备受关注,并在现实生活中被广泛应用于图像融合、图像质量增强、照片风格化等。随着摄影设备的普及,普通民众对高质量照片的需求越来越旺盛,而众多用户拍摄的照片中,建筑物照片和人像照片占据了相当高的比例,尤其是当游客们在著名场景中旅游时,往往会拍一些以建筑物为背景的人像照片留作纪念。本文通过建立多视图约束的学习方法着重研究了计算摄影学领域中的建筑物视点评价推荐和人脸照片美化工作,旨在为用户提供拍照前视点选择的指导和拍照后人脸美化的功能。具体来说,本文主要包含如下几个方面:1.提出了大规模建筑物照片视点标定以及视点偏好性分析的方法。对于同一个建筑物的大量照片,该方法首先通过运动恢复结构(Structure from Motion,Sf M)技术探索照片与照片之间的相对位置关系,并恢复粗糙的点云模型,点云模型和网格模型之间的配准以及变换迁移实现了照片在网格模型下对应视点信息的求解,并且具有较高的准确度。对比单张照片视点标定算法,该方法极大地减轻了视点标定的人工负担,我们以大本钟、凯旋门和巴黎圣母院等15个世界著名场景建筑物为例高效地恢复了这些建筑物照片的视点信息。本文进一步通过定义在李代数空间上的距离实现了视点的聚类,高效地将建筑物照片通过视点加以区分,验证了人们拍照时视点偏好性的存在。同时,这样的视点聚类也为用户提供了一种迅速发掘著名建筑物常见视点的方法。2.提出了多视图学习的建筑物视点评价和推荐方法。建筑物视点的好坏和建筑物照片以及该视点下所呈现出的3D几何特征是相互关联的。该方法提出了一系列包含视点信息和图像质量的2D图像特征以及一系列描述视点好坏的3D几何特征,并通过多视图学习方法中的典型性相关分析(Canonical Correlation Analysis,CCA)、核典型性相关分析(Kernel Canonical Correlation Analysis,KCCA)和SVM-2K建模这两视图特征之间的关系,实现视点的评价和推荐。该方法首先验证了结合两视图特征的有效性,并验证了用多视图学习方法会得到更好的结果。本文通过探索不同视图特征之间的相关性,实现了用其中一个视图的特征表征另一视图的特征,并解决了某一视图特征缺失时依然可以用另一视图特征实现视点的评价和推荐的问题,并且基于多视图学习算法提出了多种建筑物视点相关问题的应用。对于给定的建筑照片,多视图学习可以仅用照片所展现出来的2D图像特征实现视点评价,也可以通过照片恢复出3D模型来实现视点推荐;对于给定的3D模型,该方法可以进行视点采样并结合该视点下渲染的照片,进行视点评价和推荐。对于著名的建筑物场景,用户可以只提供少量照片来获得视点推荐的效果。3.提出了多视图约束下的人脸照片美化方法。该方法借助于生成对抗网络的结构提出了FA-GANs(Facial Attractiveness Enhancement with Generative Adversarial Networks on Frontal Faces)来实现人脸美化。人脸颜值的提升往往包括人脸几何结构的调整和人脸妆容的调整,FA-GANs借助于当前生成对抗网络强大的图像生成能力,通过挖掘高颜值人脸的特征空间,实现了在人脸几何和人脸妆容两方面约束下的颜值提升。具体来说,多视图约束下的人脸照片美化方法包括人脸的几何调整和容貌调整两个分支,每个分支都具有生成对抗网络的结构,并可以分别实现对应的人脸调整。容貌分支中同时嵌入了人脸颜值分类的网络,使得判别器可以从粗粒度到细粒度的判别所生成的人脸是否符合高颜值人脸类别。对于容貌分支所生成的人脸,在几何结构上应与几何分支的调整结果一致,因此FA-GANs引入了多视图约束来实现人脸在几何结构和妆容上的同时调整。充分的实验验证表明,多视图约束下的人脸照片美化方法可以有效的实现人脸美化,取得了非常好的效果。
其他文献
降本增效是企业发展的核心竞争力,财务管控是企业实现公司战略、指导经营活动、优化资源配置,加强过程管理的重要手段。太平养老保险股份有限公司构建了以降本增效为核心、全面预算管理为保障、经营滚动预测为工具、成本管控小组为支撑、成本费用管理为基础的财务管控体系。公司通过财务管控体系的管理创新,为公司效益提升提供了有力的支持和保障。本文介绍“四位一体”的财务管控体系及其在经营管理中的应用及效果,旨在总结财务
2019年,中共中央修订《中国共产党党内法规制定条例》,规定“制定党内法规涉及政府职权范围事项的,可以由党政机关联合制定”,肯认了党政机关共同立规的行为,并赋予联合制定之规以党内法规的属性。文章以“混合性党规”一词指代党政机关共同制定的党内法规文件,以“纯粹性党规”指代党组织单独制定的党内法规。所谓混合性党规,主要指同级党政机关依据《中国共产党党内法规制定条例》及其相关规定,就职权管理范围内的相同
学位
逻辑语义学以实现自然语言的形式化处理为目标,随着计算机与人工智能进入到大数据与大知识双轮驱动时代,当代逻辑语义学面临新的挑战和机遇。由斯蒂德曼、鲍德里奇等人创建的多模态组合范畴语法(Multi-modal combinatory categorial grammar,简称MMCCG)),是应对时代挑战的最新成果。在自然语言处理领域一直以来存在着两种进路:经验主义和理性主义。经验主义是基于统计的大数
随着市场经济的快速发展,商标的经济价值逐渐受到市场经营主体的重视,商标侵权诉讼日益增多,随之而来的是被控侵权人主张的侵权抗辩事由呈多样化趋势。商标侵权抗辩的制度目的在于保护商标权人之外的其他经营者可以自由与公平地参与竞争,防止商标权人利用商标权限制其他市场主体自由与公平地利用与商标有关的资源进行市场竞争。我国《商标法》在立法上对商标侵权抗辩制度已作出了相应规定,但在司法实践中却出现了抗辩难的问题。
打击贪腐,实现清明吏治,是古代国家政权及仁人志士不断为之努力的历史课题。在探索反腐肃贪之策、强化官员约束与监督等方面,古人发挥才智、深谋远虑,由此产生了内涵丰富而具有特色的反腐肃贪思想以及法律制度。在浩瀚的历史长河中,传统中国的反腐败法制设计与实践也通过不断地发展完善,积累了丰富的经验,这是历史留给我们的智慧与资源,对我国当下法治反腐尤其是监察、监督工作仍具有很强的现实意义。对传统中国法制反腐的研
学位
在成为马克思主义者之前,罗章龙一度信奉过工读主义,将工读主义看作是改造世界的唯一利器。在发现工读主义不能解决中国社会问题后,他转而研究马克思主义,初步确立起马克思主义信仰。他运用马克思主义的阶级斗争学说和无产阶级专政理论分析中国革命问题,积极促进马克思主义与中国工人运动相结合,完成了向马克思主义者的转变。在初步确立起马克思主义的信仰后,罗章龙参加了非宗教运动,形成了宗教批判的思想。他强调科学与宗教
格奥尔基·瓦连廷诺维奇·普列汉诺夫(1856-1918)作为最早在俄国和欧洲传播马克思主义的思想家,被誉为“俄国马克思主义之父”,这与他对马克思主义唯物史观的独创性见解有着莫大关系。本研究在广泛梳理普列汉诺夫文献的基础上,在原创性视域下,运用文本研究与问题意识相结合、“史”“论”结合、比较研究等方法,探讨普列汉诺夫如何开启建构其唯物史观理论、在哪些方面对唯物史观理论作出了创造性建构、如何能够作出创
学位