高光谱传感器在一个连续的包括电磁波谱的紫外到短波红外等数十至数百个波段的光谱区间内获得丰富的地表信息。受空间分辨率和地表混合效应的影响,记录瞬时视场(Instantaneous Field Of View, IFOV)内地物光谱的单个高光谱像素通常覆盖不止一种地物组成成分(端元),这些像素被称为混合像元,它们给地面目标的测量和分析带来较大的困难。因此,高光谱解混已经成为近几十年来高光谱图像处理领域一个备受关注的热点。它通常由两个步骤组成：提取图像中的端元特征光谱,即端元提取,和确定像素中各个端元所占的比例,即丰度估计。由于具有简单的物理解释和低复杂度的求解方案,线性光谱混合模型(Linear Spectral Mixture Model, LSMM)成为当前研究中广泛应用的模型。然而,LSMM只是对于混合过程发生在宏观尺度而且像素内仅存在单反射的情况有效。在实际数据中,这种情况并不总是满足的。为此,一些非线性光谱混合模型(Nonlinear Spectral Mixture Models, NSMMs)被用于表示高光谱图像中的非线性效应和克服LSMM的内在缺陷。本论文的目标是提出有效的基于线性和非线性模型的高光谱解混(Hyperspectral Unmixing, HU)方法以充分提取高光谱图像中蕴含的丰富信息。本论文的主要工作和创新点包括以下几个方面：1.提出一种新的基于Cayley-Menger行列式的端元提取算法。作为一种基于LSMM的几何算法,该算法的目的是确定包含整个高光谱数据云的最大体积的单形体。我们首先采用Cayley-Menger行列式计算和分析高维观测空间内的低维单形体体积。然后,根据Hermite矩阵的特性提出一种新的快速递推关系,以使端元光谱以低复杂度的顺序方式被提取出来。2.提出一种新的基于距离几何理论的全约束丰度估计算法。根据LSMM,HU可以被看作一个凸面几何问题。根据与端元的单形体之间的位置关系,我们将高光谱观测像素被分为三大类：内点、外点Ⅰ和外点Ⅱ。只有内点的重心坐标才能作为丰度输出。为此,我们首先提出一种基于Caylen-Menger矩阵的重心坐标计算方法,它同样是仅涉及观测像素之间的距离。然后,我们利用凸面几何概念和距离几何约束提出两个快速而准确的方法分别确定外点Ⅰ和外点Ⅱ在端元单形体上的最佳估计点,并将它们的重心坐标作为观测像素的估计丰度输出。这些估计点是以距离的形式给出的,而且在计算过程中保持了数据集的几何结构。整个算法采用递归操作,具有较低的运算复杂度。3.提出两种基于约束非线性最小二乘(Constrained Nonlinear Least Squares, CNLS)的解混算法。首先,我们将未知变量分为两类：丰度和非线性参数。由于物理原因,它们满足三个约束条件：丰度和为一约束(Abundance Sum-to-one Constraint, ASC)、丰度非负约束(Abundance Nonnegative Constraint, ANC)和非线性参数的有界约束。通过采用特定的惩罚函数,基于模型的非线性解混问题可以转化为CNLS问题。然后,我们使用两种机制描述混合过程：叠加混合和关联混合。对于前一种形式,我们提出一个交替优化算法解决两个子问题：在已知丰度矢量的前提下最小化关于非线性参数的目标函数求解该参数,反之亦然,如此交替迭代。对于第二种情况,我们采用基于结构总体最小二乘(Structured Total Least Squares, STLS)的关联优化算法同时得到未知的丰度和非线性参数。4.提出一种新的空谱相似性度量,并将其应用于高光谱的分类、降维和端元提取算法中。高光谱图像中,观测像素之间空间相关,可以从光谱和空间域同时获得有意义的特征。基于此,新的度量利用空间邻域有机地整合光谱和空间信息,有效地反应了高光谱图像中像素块之间的差异。它可以有效地利用数据中蕴含的丰富的光谱和空间结构信息,因而可以应用于像素级的处理中,如分类、降维等。另外,它也可以有效地区分亚像元级的地物,可以将其应用于同时考虑数据的光谱、空间和非线性特征的非线性端元提取算法中。