论文部分内容阅读
本文主要研究基于图嵌入理论的线性图嵌入算法,图和流形都可以嵌入到欧氏空间,目前许多流形学习算法及经典的维数缩减、特征提取算法可以使用图的方法表示,从而可以通过图矩阵的谱特征来近似描述流形的内在主要结构,利用特征向量来表示全局低维坐标。与其它研究方法相比,一个显著的优点是基于图嵌入框架的流形学习方法能够发现全局最优解的凸优化问题,不会陷入局部极值。通过数据点之间的流形距离度量构建本征图与惩罚图来表征局部近邻结构与全局结构信息,然后通过解决图嵌入框架下的优化问题来得到低维嵌入坐标。可以有效地发现嵌入高维数据中有意义的低维子流形,揭示隐藏在高维观测数据中的内在几何结构与规律性。图嵌入通过本征图和惩罚图来描述样本点之间的相互关系,并把目前常用的降维算法,如PCA, LDA, ISOMAP, LLE, LE等均统一到了图嵌入的框架下,并在该框架中进行扩展,使其能够线性化、核化及张量化。在图嵌入框架下对流形学习算法进行研究,通过数据点之间的流形距离度量构建本征图与惩罚图来表征局部近邻结构与全局结构信息,然后通过解决图嵌入框架下的优化问题来得到低维嵌入坐标。可以有效地发现嵌入高维数据中有意义的低维子流形,揭示隐藏在高维观测数据中的内在几何结构与规律性。本文进行针对图嵌入算法的线性扩展进行了如下几个方面的研究:(?)直接图嵌入算法:在高维小样本问题应用中,传统的线性图嵌入算法往往包含PCA预处理步骤来避免矩阵奇异问题,在PCA预处理中往往会丢掉一些较小特征值对应的特征向量,从而可能丢掉了一些可分性信息,同时也没有很好地抑制噪声和有限样本造成的影响。我们提出直接图嵌入算法可以直接从数据集中提取特征而无需PCA预处理,在多个数据库的仿真结果表明,直接图嵌入算法的可分性更好,鲁棒性更强。(?)基于局部特征分析的直接线性图嵌入算法:一般来说,图像的局部结构特征往往反映了图像的一些重要内在特征,具备较强的细节刻画能力,包含重要的鉴别信息。为了能够更有效地利用数据集的局部结构信息,我们提出利用LFA特征,结合直接线性图嵌入算法,是一种有效地适用于图像识别的特征提取算法。(?)正交化直接线性图嵌入:线性图嵌入算法得到的变换矩阵往往是非正交的,非正交性使算法不能保持高维数据空间中的测度结构,且不能准确地估计高维数据的内蕴维数,对数据的重建不利,极大地影响了算法的性能,为此本文我们提出了基于最小二乘准则的正交化直接线性图嵌入算法。(?)正则化直接图嵌入算法:我们在直接线性图嵌入算法的基础上,提出了正则化的直接线性图嵌入算法,在不增加算法计算复杂度的同时,提高了算法的性能和泛化能力。(?)基于图像欧氏距离的线性图嵌入算法:我们提出利用图像的欧氏距离代替向量欧氏距离来描述样本点之间的相似性,考虑了图像本身像素间的几何信息,降低了线性图嵌入算法对图像噪声和变化的敏感度。在多个数据库的实验结果验证了我们提出的这些算法的有效性。