核方法是机器学习领域的一类重要方法,适合于复杂的分类、特征提取等非线性模式分析任务。核方法的性能优劣与所选用的核函数密切相关,由此诞生了多核学习(MKL)研究方向。MKL从一组基核中自适应地学习到最优的组合核,可以很好地解决核函数的选取问题。更重要的是,MKL可以看作是介于特征层融合与决策层融合之间的一种新型信息融合方式,即核层融合。因此,对MKL算法开展研究具有重要的现实意义和实用价值。虽然MKL算法的发展目前已处于成熟阶段,但仍需继续探索高效的求解方法,并有待于将MKL的理念渗透至更多的机器学习研究方向以及将MKL算法拓展至更多的应用领域。因此,本文重点利用两阶段思想,对高效MKL算法的设计及其应用进行系统深入的研究。同时,还对距离度量学习(DML)问题进行了初步探索。本文取得的主要研究成果如下:1、利用分组组合策略,提出了一种两阶段多核典型相关分析(TSMKCCA)算法框架。第一阶段首先将针对每种特征表示所构建的基核分为两组,然后采用均匀赋值法或基于核目标对齐(KTA)准则的启发式赋值法计算每组的基核权重,从而将多个基核简化为两个线性组合核。第二阶段直接使用核典型相关分析(KCCA)算法或监督式KCCA算法提取非线性典型相关特征。所提算法框架不仅能够快速提取多种特征表示的非线性典型相关特征,还可以将特征层融合方式与核层融合方式有效地结合起来,从而获得优异的识别性能。手写体数字图像和人脸图像数据的识别结果充分证明了所提方法的有效性。2、利用MKL的信息融合功能,结合雷达辐射源个体识别应用,分别提出了基于多核支持向量机(SVM)算法及基于TSMKCCA算法框架的两种识别方法,进一步拓展了MKL的应用领域。针对雷达辐射源信号的不同域特征表示,首先分别构建相应的基核,然后使用多核SVM或TSMKCCA实现多特征融合识别。由于雷达辐射源信号的各个模糊函数切片特征蕴含互补信息,因此所提方法能够有效地融合这些切片特征,可有效提高识别性能。实测雷达辐射源数据的实验结果证明了所提方法的有效性。3、针对极限学习机(ELM)的多核扩展问题,基于经验组合和基于Fisher判别比准则,分别提出了对应的两阶段多核ELM(MKELM)算法,并应用于高光谱图像空谱特征联合分类任务。经验组合MKELM(EC-MKELM)算法凭借领域经验直接给定基核权重,而Fisher判别比MKELM(FR-MKELM)算法则可以完全自适应地计算基核权重。同时,提出了一种改进的扩展形态学轮廓(mEMP)特征,可提取高光谱图像的空间特征。EC-MKELM和FR-MKELM算法均能够实现高光谱图像的谱特征、Gabor特征和mEMP特征的有效融合。实测高光谱图像数据的实验结果证明了所提特征以及MKELM算法的性能优势。4、现有的基于约束经验风险最小化的距离度量学习(DML)虽然在算法求解和理论分析两方面都取得成功,但不能用于分类问题中广泛使用的非光滑hinge损失函数。针对此缺陷,提出了一种基于光滑近似优化的光滑化hinge损失度量学习(HLMLsm)算法。该算法首先将hinge损失函数下的约束经验风险最小化问题等价为min-max结构的非光滑凸优化问题,然后直接采用Nesterov’s光滑近似法进行求解。同时,通过采用线搜索技术自动确定Lipschitz常数,有效提高了算法的收敛速度。此外,通过局部方式获取三元组训练数据,保留了数据的局部几何结构。UCI标准数据集的实验结果证明了所提算法的有效性。