本文主要研究基于再生核Hilbert空间(RKHS)的正则化最小二乘学习算法.这类算法是基于Tikhonov或Ivanov正则化的风险最小化的凸优化方法.本文主要讨论这类算法的假设空间，误差分析，学习速度及其他相关课题. 再生核Hilbert空间作为正则化算法的假设空间，其再生性与表示定理使得这类基于核函数的方法具有良好的性质与计算可行性.RKHS中关于以零点为圆心的有界闭球BR的覆盖数(该闭球在紧集X上的连续函数空间C(X)中为紧集)的估计，成为一致性分析中的关键问题.我们研究了由平移不变的解析Mercer核生成的RKHS，通过给出导数再生性，证明了RKHS中的函数是实解析的.利用这一结果，我们对由样本产生的再生核Hilbert空间HK的子空间HK,x进行了讨论；还得到关于BR的覆盖数的一个估计，这个估计改进了现有的结果.对广义的再生核Hilber空间，我们给出了从RKHS到C(X)的嵌入映射紧性的刻画，由此说明了利用覆盖数的一致性分析方法的某些局限性. 在本文中，我们采用积分算子的方法讨论了正则化最小二乘算法的一致性. 首先，在一般情形下，证明了积分算子的相关性质，进而得到下述结论：在一致性分析中，积分算子最重要的性质是L1/2K为L2ρx与HK之间的等距同构，而不是通常采用的紧性与谱分解. 由于学习误差可分解为逼近误差与样本误差两部分.我们通过对K-泛函与Ivanov泛函的研究，将已知的FelipeCucker和SteveSmale对逼近误差的估计推广到非紧算子的情形. 一致性分析的关键是样本误差的估计，本文考虑独立抽样和相关抽样两种情形.对相互独立抽样情形，我们在广义的再生核Hilbert空间证明了算法的一致性并给出学习速度估计，而且我们将算子单调不等式用于学习速度估计，所得估计优于SteveSmale和DingxuanZhou的相应结果. 对于满足α混合条件或()混合条件的弱相关严格同分布抽样过程，我们得到了满意的误差上界与学习速度.这些结论表明，抽样相关度越低，收敛速度与独立抽样时越接近；甚至在一定条件下，两者的收敛阶估计一样. 本文还讨论了如下几个相关问题：一.多核正则化学习.关于该问题，我们主要讨论了优化算法解的存在性；二.圆周上点积核的严格正定性.这个问题和学习理论的联系在于，只有核函数是严格正定的，再生核Hilbert空间HK才有可能在C(X)中稠密；三.关于多维分布的协方差矩阵的逆矩阵的学习及一致性估计. 本文的主要创新点：一.对解析的平移不变Mercer核，证明了其所生成的RKHS中函数的一致解析性，并在此基础上给出覆盖数的更好的估计；二.利用积分算子的方法，讨论弱相关抽样的正则化最小二乘算法的一致性分析，其结果反映了相关性与一致性的关系；三.应用算子单调不等式于误差估计，提高了估计效果.