随着信息化社会的不断发展,信息安全成为社会关注的热点,基于生物特征的身份识别在社会生活中的需求越来越强烈。近年开展的生物特征识别研究工作已经表明,单一模态的生物特征识别在实际应用中的准确性和鲁棒性难以满足需要,多模态识别可以融合多种生物特征体,丰富个体的鉴别信息,提高识别的准确性和鲁棒性。以人脸和人耳两种生物模态进行融合的识别具有友好性和非打扰性等特点,成为多模态生物识别研究的热点之一。受益于三维数据采集技术的发展,生物特征识别领域中的相当一部分研究延伸到使用三维信息进行识别。相对于二维识别,三维识别对光照和姿态变化的鲁棒性有所提高,但仍有受表情变化的影响明显、三维数据存储和计算开销大等不足,另外,三维识别同样面临着遮挡和数据缺失的问题。在非受控识别场景中,姿态、遮挡等带来的影响使得获取的个体生物特征数据在多数情况下是部分的,存在不可控的变化、缺失,因此实际场景下的识别往往是利用部分数据所进行的识别,如何利用部分数据来进行身份识别是生物特征识别要解决的典型核心问题之一。为实现更为鲁棒的身份识别,克服单一模态识别的不足,本文通过球面变换将采集到的人脸人耳三维数据转换为以识别对象为中心进行表达,进而生成多模态人脸人耳球面深度图与球面纹理图(MARS图)。MARS图自然融合了人脸人耳两种模态,包含了更完整的结构信息和纹理信息,有助于克服人脸、人耳单模态识别中姿态、遮挡、表情等问题带来的影响。MARS图消除了平面外旋转,能够实现无需对准的识别,其二维表达形式可减少数据存储开销,降低识别过程的计算复杂度。鉴于非受控场景下中的身份识别往往是利用部分数据所进行的识别,因此本文重点研究非受控场景下基于部分数据来进行识别的方法。在注册阶段,通过多视角三维人脸人耳数据的融合,构建注册时相对更为完整的全景MARS图原型库来表达身份信息;在识别阶段,构建单视角MARS图并提取单视角MARS图的局部特征与原型库中的全景MARS图局部特征匹配,进行多任务稀疏表示识别。本文的主要研究内容和创新点包括：第一,研究把人脸人耳三维数据由以采集设备为中心的表达转换为以识别对象为中心进行表达的方法,提出了MARS图的数据表达方法,降低了存储和计算开销,有助于实现非受控场景下无需数据对准的身份识别。第二,研究三维人脸人耳定位提取方法以及非刚性部分重合的多视角数据融合方法,提出了基于肤色检测的纯人脸人耳提取算法和基于BANICP的点云配准方法,实现人脸人耳的自动提取和非刚性人脸人耳点云的多视角数据配准和融合。第三,针对非受控场景下基于部分数据的身份识别问题,提出了基于MARS图仿射SIFT特征的多任务稀疏表示识别算法(ASMSRC:Affine-Sift based Multitask Sparse Represent Classifica-tion),通过多任务稀疏表示字典的构建和多任务最优稀疏表示系数求解,对测试样本的局部特征进行重构,依据平均重构误差进行分类和识别。本文提出的基于MARS图的人脸人耳多模态识别方法同时融合了结构特征和纹理特征,对光线变化、姿态变化、部分遮挡和表情变化具有较强的鲁棒性,很大程度上解决了非受控场景下基于部分数据匹配的身份识别问题。本文的研究不仅对基于人脸人耳的身份识别,而且对更广泛领域中的应用基础和理论研究都是有意义的。