统计学习理论和核技术的结合造就了支持向量机的成功，同时也触发了核机器的产生和其迅速的发展。核机器已经成为机器学习领域一个新的研究方向。本文在对统计学习理论和支持向量机进行深入分析的基础上，进一步研究并提出了以下三类核机器： (1) 隐空间核机器。首先在隐空间中采用最小二乘损失函数度量经验风险，提出了最小二乘隐空间支持向量机(LSHSSVMs)。接着为了解决LSHSSVMs没有稀疏性的缺陷，我们在隐空间中构造出一种新的结构风险，利用这一结构风险，提出了稀疏隐空间支持向量机(SHSSVMs)。 (2) 小波核机器。基于正交小波尺度函数良好的逼近性能，直接用其来构造核函数，提出了一种基于小波核的脊回归算法(WKRR)。WKRR对核函数没有Mercer正定条件的约束，且核函数构造简单，易于实现。 (3) 贝叶斯核机器。基于秩-1更新，提出了稀疏贝叶斯学习算法(SBLA)。该算法具有较低的计算复杂度和较高的稀疏性，从而适合于求解大规模问题。 理论分析以及仿真实验结果证明了所提算法的有效性和可行性。