论文部分内容阅读
学习问题就是利用经验数据从给定函数集寻找待求的函数依赖关系的问题.其核心问题之一就是分析处理学习问题的各种方法(或算法)的推广性能.处理学习问题常用方法之一就是基于所选函数的品质可以用风险泛函来评价这一思路.在这种情况下,从给定函数集中选取函数就足基于经验数据最小化风险泛函的问题.而经验风险最小化归纳原则(简称ERM原则)是用于解决基于经验数据最小化风险泛函问题的主要归纳原则之一；虽然ERM原则是学习理论中常用的归纳原则,但是当函数集的容量很大时,ERM原则问题的解通常是不适定的.于是,Tikhonov等引入了正则化方法；又由于经验数据是独立的条件是非常强的.故本文基于独立和相依两种不同的数据,针对上述两种不同方法(ERM原则和Tikhonov正则化方法)的学习机器的推广性能进行了研究,重点分析了混合相依数据下ERM原则和Tikhonov正则化方法的学习机器的样本误差。
由于在学习机器推广性能的研究中,函数集的容量是描述学习机器推广性能界的一个重要因素.而当一个函数集的容量是无限时,我们是不能用基于函数集容量的界来分析学习机器的推广性能的.因此,我们又对独立于函数集容量的算法稳定的方法进行了研究.本论文的主要上作及创新之处：
(1)通过对独立(同分布)数据下ERM原则学习机器推广性能已有结论的研究,我们引入了算法稳定的思想来对目标函数集进行“消噪”,得到了目标函数集的-个子集.再针对这个子集,我们得到了独立数据下ERM原则学习机器推广性能的界。
(2)由于经验数据是独立的条件,无论从理论上,还是实际应用中都是非常强的.我们把独立数据下ERM原则学习机器推广性能的结论推广到相依数据情况下,研究了混合相依数据下ERM原则学习机器的推广性能,得到了α-混合和β-混合两种不同数据下ERM原则学习机器推广性能的界。
(3)我们研究了混合相依数据下Tikhonov正则化方法学习机器的推广性能,分别得到了α-混合和β-混合两种不同数据下Tikhonov正则化方法的学习机器的推广性能的界。
(4)在独立于函数集,容量的理论框架下,我们应用算法稳定的方法研究了分类学习算法的推广性能,得到了逐点假设稳定条件下基于留一经验误差估计的推广误差的界和留一稳定条件下基于留一经验误差估计的相对误差的界。