RGB-D重建及多模态特征融合的人脸识别

来源 :西南交通大学 | 被引量 : 0次 | 上传用户:jql
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
得益于深度学习的发展,人脸识别技术取得了显著的进步。但在复杂场景中,二维人脸的识别性能常常达不到要求,三维人脸因携带空间信息,对光照、姿态等变化具有鲁棒性,在一定程度上能解决二维人脸的识别困境。但因三维数据采集设备昂贵,计算量大等原因无法在实际中展开广泛应用。RGB-D识别相对于2D和3D识别,充分结合了两者的优势,在采集成本低的同时,也具有空间信息。然而,受采集设备的影响,RGB-D数据存在深度图缺失的现象,深度信息的丢失将直接影响识别效果。因此,如何对深度图进行重建恢复空间信息是一个急需解决的重要问题。同时,在RGB-D人脸识别中,如何将纹理和空间两种模态信息进行融合仍然是一个研究难点。针对上述问题,本文提出了一套端到端的低精度RG B-D数据向高精度RGB-D数据转化并进行多模态特征自动融合识别的解决方案SDRNet(Share-Depth-Recognition-Networks)。针对RGB-D数据的空间信息缺失问题,本文设计了一个深度图高精度重建网络S D-Net(Share-Depth-Networks)。SD-Net通过学习纹理信息和空间信息的映射转换,对空间信息缺失部分进行修补,完成低精度深度图的高精度重建,从而实现低精度RGB-D人脸数据向高精度RGB-D人脸数据的自动转化。针对如何更好地对纹理特征和空间特征进行融合,本文提出了一种多模态特征间自动融合的方法。相比于常见的融合方法,本文的融合方法在保证纹理特征和空间特征互不干扰的前提下,进行多模态特征的自动融合和学习,从而实现RGB-D人脸的高精度识别。同时,将该融合方法和SD-Net结合起来,形成一套端到端的低精度RGBD人脸数据转高精度RGB-D人脸数据的多模态特征融合识别方案SDR-Net。最后,通过大量实验对本文提出的深度图重建和多模态特征融合识别方法以及整套SDR-Net方案的有效性进行了验证。
其他文献
随着社会市场体制改革的深化,高校的不断扩招,大学生的就业问题已成为社会广泛关注的焦点之一。就业创业教育也成为高等教育的重要内容,而思想政治教育在大学生无论是就业还
目的:描述本中心脑室外引流相关感染的流行病学情况,了解与发掘尚缺乏研究的相关风险因素,确证已有共识的风险因素,并为脑室外引流的管理提供更进一步的循证医学证据。方法:
钻地弹技术的迅猛发展及其在现代战场上的应用对防护工程的抗侵彻性能提出了更高要求,从而也促进了遮弹技术的发展。钢管约束混凝土遮弹结构抗侵彻性能优良,具有广阔的工程应
随着社会不断发展进步,企业要保持健康稳定的发展趋势,不仅靠金字塔顶的决策者,更要依赖广大员工的众口铄金、集思广益。合理化建议征集可理解为"头脑风暴法"的另一途径,这既
老年病人由于其自身生理功能特点,接受静脉输液治疗过程中经常出现液体外渗,轻者引起局部肿胀疼痛,重者引起组织坏死,甚至造成功能障碍.本文对老年病人静脉输液外渗的原因及
生物在数十亿年的进化过程中获得了多种多样的生存技能,动物泌丝算是其中一种。对于泌丝动物来丝说,丝纤维对其生存和繁衍具有至关重要的作用。家蚕(鳞翅目昆虫)是一种泌丝动物
二十一世纪随着社会经济的不断发展,教育也在不断的变革中紧跟时代的发展潮流,在教学过程中坚持以学生为主体,创新教学方式,提出新的教学理念,从各个方面培养和提高学生的综
本文工作主要分为两部分:1.生物电磁成像反演算法的研究;2.磁场聚焦阵列的设计与实现。两部分的研究的寻优工作均主要基于改进的遗传算法。 生物电磁成像中,生物体与电磁
自上世纪六十年代初以来,过渡金属硫化物(transition metal dichalcogenides,TMD)材料开始受到关注。在过去几十年中,过渡金属二硫化物由于其简单的结构及丰富的物理性质吸引
本文分析现有草坪和绿色屋顶的特点以及存在的不足和缺陷,针对地对草坪进行模块化、增添蓄水空间的改进设计,并进行填料的重新选择和配置,使之建设和维护更加方便、快捷,对雨