基于双目立体视觉的三维人脸重建算法的研究

来源 :东南大学 | 被引量 : 0次 | 上传用户:huyuexing
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机视觉技术的发展,三维人脸重建技术在许多领域内都具有很大的潜力,基于双目立体视觉的三维重建技术由于成本低廉、操作简便而受到了广泛关注,经过几十年的发展,已经取得了非常不错的成绩,然而仍难以重建精度较高的三维人脸模型。针对传统立体匹配算法对低纹理人脸图像的匹配精度较低的问题,本文展开了深入研究并提出了相应的解决办法。基于本文搭建的实拍图像采集系统以及FRGC v2.0人脸数据库,对本文所提的算法进行了大量的实验证明,结果显示,本文提出的算法有效地提升了人脸图像的匹配准确率,并且能够重建出均方根误差达到毫米级的三维人脸模型。本文的主要工作和创新点如下:1.提出了一种基于种子点优化的区域生长立体匹配算法。首先,根据级联回归树算法提取的人脸关键点将人脸划分为不同的面部区域,并利用人脸关键点在左右两幅图像中一一对应的特性分别限制各面部区域内像素点的视差搜索范围,从而避免在全局范围上查找匹配点;接着,根据人脸的局部形状特性,采用局部曲面拟合的方式在筛除误匹配种子点的同时生成大量的可靠种子点用以区域生长;最终通过区域生长实现整幅人脸图像的立体匹配。实验结果表明,本算法大幅提高了种子点的稠密度与匹配准确率,从而有效地提高了人脸图像的匹配准确率。2.提出一种基于双边权重的动态规划视差校正算法。首先,采用局部曲面拟合算法筛除视差图中的误匹配点;接着以图像的行为单位,计算一行上每个像素点与其邻域窗口内有效点之间的双边权重,将有效点和该行上的正确匹配点分别以视差平滑约束和全局约束的方式引导动态规划寻找能量最小路径,从而校正每一行中误匹配点的视差值;最后通过三角几何关系还原被测人脸的三维点云,并通过点云网格化和纹理映射技术重建三维人脸模型。实验结果表明,经本算法校正后的人脸视差图的匹配准确率有明显提升,有效地解决了一般立体匹配算法对低纹理人脸图像误匹配率较高的问题,且基于校正后的视差图能够重建出精度较高的三维人脸模型。3.构建了一套完整的基于双目立体视觉的三维人脸重建系统。系统实现了摄像机双目标定、极线校正、图像预处理、立体匹配、视差校正、三维人脸重建等功能,在系统中应用本文所提的三维人脸重建算法可以获得效果较好的三维人脸模型。
其他文献
在日常生活中,图像由于受到各种各样的影响比如,失真、模糊、噪音的干扰等,往往会丢失图像重要内容,降低了图像质量。而图像复原作为图像处理中的一个重要研究内容,通常是要进行一类不适定问题的数值求解,求解此问题最常见的方法则是基于原始图像的先验信息,引入相关正则化项,建立正则化模型。本文研究的模型为带有l1罚项的正则化模型,相比于l2正则化模型,前者对于噪音图像的复原,有更好的去噪效果。对带有l1正则化
随着我国大中城市的飞速发展,人们对于土地空间的需求日益增大,深基坑工程的开发利用也随之受到广泛关注。由于深基坑工程的复杂性,理论研究不够健全,因此工程监测成为深基坑工程安全施工的重要保障。本课题应合作单位的要求,利用传感器以及通信技术,并基于SSM框架研究并设计了一套深基坑工程监测系统,研究重点偏向于系统的整体搭建以及功能的实现。首先介绍了课题的研究背景和意义、国内外研究现状以及本课题的主要研究内
视觉多目标跟踪技术作为图像处理最热门的研究方向之一,现已被广泛应用在智慧交通、智能监控等领域。但是考虑到跟踪场景中目标尺度多样性、跟踪对象数目变化、跟踪身份误变换等问题,本文从目标检测、跟踪模型建立、目标轨迹管理、数据关联、关联线索进行深入研究,主要完成了以下工作:首先,完成多尺度行人检测算法设计。对比分析当前常用检测算法存在的不足,选择以YOLOV3为基础的检测算法框架进行改进,依据分类准确度和
近年来,生物识别技术在生活、金融、法律、刑侦等应用场景中的需求越来越高,而人脸识别技术以其特征信息丰富、便于采集和高精度等优点成为最受欢迎的生物识别技术。实际应用场景中的人脸识别系统多为小样本问题,即人脸数据库中的每个人脸类别仅能采集到少数样本,我们统称这一类问题为小样本人脸识别问题(FFR)。通常,人脸图像的采集是建立在非可控自然条件之下,往往带有光照、表情、姿态、遮挡等多种变化,因此,复杂变化
近年来,我国森林防火形势愈发严峻,森林火灾的早期识别和预警对火灾扑救至关重要。本文研究了视频监控场景下的森林烟火识别技术,由于森林烟火监控系统覆盖场景大,通常需要先分割出疑似烟火的区域,再对这些疑似区域进行烟火识别。针对森林烟火监控系统实际应用的部署环境,本文从烟火区域分割和烟火识别两个关键环节,研究了基于低速前端设备和基于高性能后端设备的森林烟火识别技术。论文主要内容如下:(1)基于低速前端设备
随着我国城镇化建设的加速发展,我国建筑业的发展步伐也逐步加快。高空作业吊篮作为建筑施工中的常规作业设备,主要用于高层建筑外墙的装修、清洗、维护等作业,其需求量与日俱增。面对日益庞大的吊篮需求量,吊篮租赁服务行业面临着前所未有的业务压力和竞争压力,传统的项目管理模式已逐渐不能适应多变的租赁市场。在产业互联网的大趋势下,吊篮租赁服务管理的信息化转型是企业提高竞争力的关键。本课题结合企业的实际需求,面向
目标跟踪作为近些年来的热门研究方向,吸引了许多研究者的目光,其在许多方面有着十分广泛的应用如汽车自动驾驶、安防监控系统、人机交互、军事领域。然而在实际的视频跟踪场景中有着非常多的挑战,面对着非常多复杂困难的场景如运动目标快速运动、目标被其他物体遮挡、相似的背景影响等。正是因为在这么多的困难场景下,使得我们获得一个可靠、稳定的跟踪器变得十分的困难,同时这也引起了研究者们的兴趣。在这些众多的研究方向中
随着当前社会机动车数量的不断增长,道路拥堵等交通问题日益严重,智能交通系统作为该问题的解决方案之一,受到各国研究者的广泛关注。对于智能交通系统,实时的交通流量数据不可或缺。在所有的交通流量监测方案中,基于视频的交通流量监测方案具有独特的优势。基于以上信息考虑,设计了基于道路视频的交通流量监测系统,主要贡献包括以下几点内容:(1)针对车辆目标检测问题,对比当前各类方案,选择了基于深度学习的目标检测算
随着导航定位和无线通信技术的发展,超宽带定位技术在管廊中的应用受到了更加广泛的关注。针对管廊内部复杂环境带来的定位精度降低,以及管廊实时监控、人员管理、安全保障等定位服务软件需求,开展了超宽带定位技术研究和软件设计。本文首先分析了管廊定位系统的技术需求和指标。基于到达时间差(time difference of arrival,TDOA)的极大似然估计定位算法在管廊环境的实际测试中,由于锚点数量少
人耳识别技术是利用人耳的纹理特征或结构特征进行身份识别的技术,是生物特征识别领域的新兴研究方向。由于人耳相比人脸的某些独特优势,使其在近几年发展迅速,受到许多研究者的关注。而三维人耳利用了三维处理技术,突破了二维人耳识别技术的瓶颈,对姿态、光照等外部干扰因素具有较强的鲁棒性,成为国内外的研究热点。虽然三维人耳不受化妆、表情、光照等因素的影响,但如何对具有高相似度的人耳进行区分依然是一个难题。本文在