多核学习算法的误差分析

来源 :湖北大学 | 被引量 : 0次 | 上传用户:danshenguizu920
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
常用的单核学习算法不仅无法自动实现最优核的选取,而且只能处理同一种类型数据输入的学习问题。然而,多核学习算法能够自动实现核选择的过程,对于不同的学习问题,都可以从给定核函数集里自动选择出对应的最优核进行学习,从而能提高学习算法的有效性和推广能力。并且多核学习可以用不同的核函数来分别度量各种类型数据的相似性,进而可以处理来自于不同数据源的样本学习问题。因此,近年来多核学习在理论和实践上都引起了人们极大的兴趣。   本文对多核学习问题的研究意义、学习模型和相依数据学习的相关背景知识和已有的理论结果进行了较为系统的论述;介绍了样本独立同分布时估计样本误差的几种常用方法。但在实际应用中,数据独立的假设是非常强或是不满足的,尤其很多数据并非是独立的观测值。所以,研究非独立(或相依)数据下的学习算法及学习机器的推广能力是非常有必要的。它不但可以丰富、完善已有的理论,而且可以为解决实际问题提供更加坚实的理论基础和合理的方法。数据从独立到非独立一个很自然的推广就是平稳混合序列,因为它具有较好的性质和应用前景:B.Yu证明了混合序列被可测函数作用后,仍具有混合序列的性质;H.Kesten和G.L.Obrien给出了如何构造混合序列的例子,这使算法实现变成了可能。关于理论分析学习机器的推广能力,VC维、覆盖数和基于算法稳定性分析等方法能较容易的平行推广到混合序列样本情形。然而,基于Rademacher复杂度的方法中,McDiarmid不等式和Rademacher对称化技巧这两个关键步骤只对样本独立同分布时适用,故难以推广到样本非独立的情形。本文借用样本分块技巧和Rademacher chaos复杂度克服了上述困难,推导出了β-混合序列样本下多核正则化回归算法的推广误差界。   第一章介绍多核学习问题的提出、研究意义和学习模型。   第二章对相依数据学习的相关背景知识和已有的理论结果进行了较为系统的论述,介绍了样本分块技巧和关于β-混合序列的重要不等式。   第三章讨论样本独立同分布时,估计推广误差界的一般方法。其中,样本误差的估计转化到:界定给定函数集里任意一个函数关于样本的期望和经验均值间的偏差,这涉及到度量函数集容量的问题。本章给出了三种常用的度量方法:VC维、覆盖数和Rademacher复杂度,及相应的误差界。最后引入积分算子理论介绍了估计最小二乘回归问题的正则化误差的一般过程。   第四章研究β-混合序列样本下多核正则化回归算法的误差分析。基于经验风险最小化正则化算法的Rademacher-复杂度界的思想,并借用样本分块技巧,引入成熟的U-过程理论和Rademacher chaos复杂度,推导出了基于核函数集伪维的推广界,并应用迭代技巧提高了收敛速率。最后给出了一个学习的例子。   第五章是对本文工作的总结和展望。
其他文献
本文主要研究在协变量复共线性和维数发散下,广义单指标模型中指标向量的方向估计问题以及方向估计的大样本性质,同时简单讨论了指标向量的变量选择问题。   在线性模型下,最
本文研究了LC空间中的KKM定理及若干等价命题,包括Ky Fan极大极小不等式、Ky Fan选择定理等等.在此基础上推广了Ky Fan极大极小不等式,讨论了向量形式的Ky Fan极大极小不等式,进
水是人类赖以生存的重要资源,地下水是水资源的重要组成部分,在工农业生产及生活用水中占据了很大比例。随着人们对地下水资源的开采和使用,许多问题日益突出,如地面下降、地下水
本文讨论了下述椭圆型半变分不等式问题:其中Ω()RN(N≥3)是有光滑边界的有界区域,F(x,u):Ω×R→R是关于变量x是可测的,关于变量u是局部Lipschitz连续的函数,且满足双共振条
Yang-Baxter方程及其相关理论,来源于低维严格可解量子可积模型和统计力学模型,它在量子反散射方法中也起着重要作用,有着丰富的力学背景.长期以来,人们对Yang-Baxter方程及
本文主要研究一种平面上的非局部凸曲线缩短,即令是一簇平面闭曲线,是一条严格凸的平面闭曲线.考虑如下发展问题, 我们将证明在这种流下,曲线的周长和面积均单调递减,曲线原来越
代数和余代数是Hopf代数理论中两个基本概念.近几年,对代数结构和余代数结构的研究成为Hopf代数中的一个焦点,并做了各种形式的推广.在这篇论文中,我们主要进行两个方面的研究:一
辽河流域是我国北方以地下水作为主要饮用水源的流域,由于多年来不合理的开发利用,造成了一系列的环境地质问题,而“三氮”污染问题尤为严重。在众多针对地下水污染问题的模型建
图式流形是一个以无向图G为框架产生的管形曲面。本文运用图论中的向量空间,包括圈空间及割空间,研究图式流形的同胚等价类计数问题,一方面简化了群论方法的证明,另一方面推进了