随着计算机及计算机网络的飞速发展和广泛应用，对模式识别技术的使用更加广泛，而希望识别的问题也更为复杂(例如字符识别、手写体数字识别、人脸识别、物体识别等图像识别)。为了能更加精确、完整地描述对象，总是尽可能地多采集数据，这就造成了模式空间的“维数灾难”，另一方面，由于对物体检测手段的现代化和多样化，在维数增大的同时，各自变量间的相关性也更为复杂，造成了分类处理时间和费用的巨大消耗，甚至不能直接进行分类，因此，在处理这类高维复杂模式识别问题时，有效的特征提取和选择就显得尤为重要，而对于图像识别，提取有效的图像特征是完成图像识别的关键，它强烈地影响到分类器的设计及其性能。 线性判别分析是最有效的线性特征提取方法之一，它提取样本的最优判别特征集，该特征集更利于模式的分类。但是，在利用线性判别分析提取特征时，会遇到两种情况：一、当大样本情形时，样本集可能不满足正态分布的条件，利用现有的方法直接求解最优判别矢量集会带来较大误差；二、当小样本情形时，类内散度矩阵不可逆，不能直接求解最优判别矢量集。论文针对上述两类情况，分别给出了有效的求解方法，与文献中的方法相比，识别正确率有了明显的提高。 在分类器设计方面，论文从几何的角度重新诠释了经典的BP网络与RBF网络的含义，分别提出了新的学习算法，克服了它们固有的一些不足，网络性能得到了进一步提高。 本文的主要工作和贡献有以下几个方面： 针对大样本的情形，在分析了儿种经典的线性判别分析方法的特点与不足的基础上，通过引入高斯混合模型的概念，本文提出了一种新的基于高斯混合模型的线性判别分析方法，同时也给出了在该模型下具有统计不相关性的最优判别矢量集的直接求解方法，较好地解决了高维复杂模式特征提取与选择的问题，与Jin等提出的迭代算法相比，本文算法具有计算速度快、识别率高等优点。 针对高维小样本问题，采用与Fisherfaces相似的处理方式，即所谓的“PCA+LDA”处理方法，但与Fisherfaces法有本质上的区别。首先，在利用PCA降维的过程中，与文献中提到的各种算法不同的是，我们选取主元的原则是使得Fisher准则函数取得较大值，即可分性最好，而不是使得投影后样本在投影空间里的方差最小。其次，我们根据训练样本在模式空间的几何分布情况，对Fisher准则函数的定义做了修改，重新定义了Fisher准则的类内散度矩阵Sw，使之更准确地反映类内样本间的分布关系，提高了准则模型的精确性。最后，我们选用Fisher准则函数的推广形式来获得最优判别矢量集，因为总体散度矩阵St在投影空间里是可逆的，即使类内散度矩阵Sw在低维的投影空间里是奇异的，也不影响最优判别矢量的求解，从而简化了最优判别矢量集的求解。另外，最重要的是，本文的方法在求解最优判别向量集的全过程只需要在一个低维的变换空间内进行，这一点与以往的一些算法有着本质的不同。 在神经网络覆盖学习算法思想的基础上，本文提出了一种新的基于最大密度“球领域”覆盖的三层前向神经网络学习算法。该算法首先把训练样本向上投影到一个超球面上，然后在超球面上寻找可以对训练样本集进行正确分类的最优“球领域”覆盖来实现对样本空间的划分，并根据由训练集得到的“球领域”覆盖来判断待识别样本的类别，从而把神经网络的最优设计问题转换为某种最优覆盖的问题，有效克服了传统神经网络训练时间长、学习复杂等不足。对训练样本有100％正确识别率，而且能实现对多类别、大规模的模式分类。 在传统的RBF神经网络的基础上，从RBF神经元的几何意义的角度出发，提出了一种新的用于模式分类的C-RBF神经网络结构，并给出了确定该网络结构核函数个数及其中心和宽度的学习算法。该算法具有能够根据样本分布情况，自动决定隐层节点数以及核函数的中心与宽度的能力，整个神经网络的结构及其参数是在学习过程中逐渐形成的。同时，由于引入了竞争层，省掉了传统RBF神经元输出层的线性连接权的计算，从而简化了网络的学习过程，大大缩短了训练时间，且不存在收敛问题。