论文部分内容阅读
人工神经网络是一个优越的通用逼近器,且得到了很好的发展和应用。但是由于存在一些缺陷,如“黑箱”特性和忽视存在的先验信息,神经网络的发展和应用受到了很大程度上的限制。而在实际问题中,将先验信息嵌入到真实模型的设计中是非常有价值的。尤其是在先验信息容易得到的某些真实的特定问题下,充分的利用先验能够很好地克服训练数据的缺陷而改善模型的性能。因此,在本篇论文中,我们主要考虑将先验信息嵌入到模型中去增加神经网络的透明度和改善模型的性能。本篇论文的贡献主要包括以下几个部分:
1.基于排序先验的径向基函数神经网络的研究.对比硬性约束的方法,我们提出一种较为合理的方式处理排序先验,即信息检索评价准则(Infortnation Retrieval,IR):最大化归一化折扣累计增益(NormalizedDiscounted Cumulative Gain,NDCG)。另外,本文还揭示了成对损失(Pairwise Loss)和NDCG的关系,并得到了加权的成对损失是(1-NDCG)的一个上界的结论。另外,一些真实回归问题的数值实验表明此算法的有效性,且在训练样本缺失或含有噪声的情况下,模型性能的改善尤为明显。
2.基于一类线性先验的广义约束神经网络的研究.目前,存在的一些算法都是针对特定的先验信息而提出的。因此,本文主要希望发展一种通用的方法,称为带广义约束的神经网络(Generalized Constraints NeuralNetworks-Linear Priors,GCNN-LP),处理一类线性先验信息,比如排序先验,界先验,单调性先验等。相关贡献包括:
-提出一种结构模式显式地嵌入线性先验,比单纯的算法模式更能增加神经网络的透明度;
-利用柔性约束处理不正确或噪声的先验信息,比硬性约束更能适应噪声的信息;
-提出一种直接的消元法和最小二乘相结合的算法统一处理硬性和柔性约束,比拉格朗日方法具有更好的精度和时间复杂度;
-提出一种修正的GCNN-LP去处理(高维)连续约束的先验信息,比如界先验,单调性先验等。
一些人工合成数据和真实数据集下的实验证明了GCNN-LP算法的有效性。
3.基于GCNN-LP工具箱的开发.为了GCNN-LP算法的发展和应用,本文基于Scilab开源平台开发了非线性回归模型的工具箱。不同于其他的工具箱,此工具箱主要是给出一个嵌入先验信息的框架性和通用性的方法。为了有助于理解GCNN-LP算法和使用工具箱的方便,工具箱中提供了众多的实例来说明用户可以通过对GCNN-LP算法源码的简单修改而得到适合不同先验或问题方法。