基于算子理论的学习算法的误差分析

来源 :湖北大学 | 被引量 : 0次 | 上传用户:yangl3255
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
全局的学习算法是对所有的训练样本构造一个模型来预测任何一个未知点的标记,而局部学习算法旨在某个给定点的邻域中构造算法,不同的测试点可能构造不同的算法模型。在某些情况下,基于函数集给定的结构,利用给定数目的观测不可能较好地逼近待求函数。在这种情况下,局部风险最小化的方法有它的优势,这就是,它可能得到对待求函数在任意所关心的点上一个较好的局部逼近。因为局部学习算法对某些特定的问题可能会优于全局学习算法,因此它在理论上和实践上引起了极大的兴趣。   本文介绍了局部学习问题的相关背景知识;讨论了局部风险最小化算法及其意义,并给出了局部学习问题的一些具体方法;将正则化算法的思想应用到局部学习问题中,提出了局部正则化算法的学习框架;着重讨论了局部风险正则化算法的推广性能,把用积分算子理论分析全局正则化算法的推广性的一套理论平行地推广到局部学习问题中来;并通过实验证明了局部正则化算法对某些特定的问题要优于全局正则化算法。主要研究内容包括:第1章介绍局部学习问题的背景、意义和主要研究方法;第2章给出了全局正则化算法的一些理论结果。最初的关于正则化算法的误差估计得到的都是与容量有关的界,由VC维、覆盖数、Rademacher复杂度来界定。对容量的分析通常能得到很好的收敛速率,容量却经常是很难确定的。因此,S.Smale和D.Zhou提出了用积分算子理论分析推广误差的框架,建立了一种与容量无关的界,对推广误差的分析有重要的指导意义。本章按照Smale和Zhou建立的框架,用积分算子取代VC维、覆盖数对推广误差进行分析,在正则化框架下考虑损失为最小平方损失的情形;第3章主要讨论所提出的局部正则化算法的推广能力。将正则化算法与局部风险最小化算法结合,提出一种局部正则化算法,并将全局概念中的积分算子理论平行地推广到这类局部方法中,利用局部积分算子的估计,研究局部正则化算法的推广误差;第4章的主要目的是说明局部风险正则化算法对分类问题的有效性,并通过实验说明所提出的局部正则化算法在某些情况下是优于全局正则化算法的;第5章是对本文工作的总结和展望。
其他文献
Water-preservation mining is one of the most important parts of the ‘Green Mining’ technology system,which can realize the effective regulation of groundwater
在数学里面,傅立叶分析和傅立叶变换已经发展了很长一段时间。傅立叶分析有很多的科学应用,例如在物理学,偏微分方程,数论,密码学,数值分析,光学,几何以及其他的领域。稳定态逼近是渐
压缩感知是近年来所研究的一种关于信号传输的新的理论,信号的稀疏表示、编码测量和重构算法等构成了压缩感知理论主要的三个方面.信号的稀疏表示为压缩感知的先决条件,即满足
1940年,Turan首先将极图理论作为一个学科来研究,Paul Erdos进而推动了这一理论的发展。自此,极图理论成为图论的一个重要分支。在极图理论里,我们所感兴趣的是图的各种不变量之
机器排序和机器覆盖经常在实际运用中出现,比如在网络通信中通道分配均衡问题,大型的并行计算问题,柔性生产系统中任务排序问题,等等.这篇论文主要研究了m台平行机的复合半在线排
约束矩阵方程问题是指在满足一定约束条件下的矩阵集合中求矩阵方程的解。约束条件不同,或矩阵方程不同,则得到不同的约束矩阵方程问题。 约束矩阵方程问题在结构设计、参数
本文主要研究乘子算子T与局部可积函数所生成的多线性交换子Tb的有界性问题。 首先,证明了多线性乘子交换子Tb的Sharp函数估计,并得到了该多线性交换子的Lp(w)(1<P<∞)有界性,
为筛选利用武夷山优质种质资源,促进品种结构调整,对武夷山留兰香、向天梅、醉贵妃、胭脂柳四个单枞进行植物学性状观察及主要生化成分分析。结果表明:留兰香、向天梅、醉贵
本文主要研究特殊三角剖分下二元样条函数空间的局部基和维数问题.一,利用Wang-型加密三角剖分?W下二元五次C2样条函数空间S52(?W)的Hermite插值条件,构造出空间S 52(?W)的一
为了气化缓斜和倾斜薄煤层,可采用本文作者提出的新工艺系统,其系统的本质用图1~3说明。第一,通过垂直鼓吹排瓦斯钻孔气化煤层,其钻进成本比钻进倾斜导向钻孔低的很多。第二,