论文部分内容阅读
宽度学习系统是一种新型扁平前馈神经网络,相比于深度结构神经网络,其结构特点在于隐层的增加扩展了网络宽度而非深度。宽度学习系统只需利用伪逆计算与输出相关的网络参数而其余参数均随机产生,而且所建模型无需重新训练便能完成更新,这赋予了其极高的学习效率。因此,宽度学习系统已经应用于计算机视觉、复杂工业过程控制与优化、医疗健康等领域。但是宽度学习系统仍存在一些问题影响其进一步推广。首先,宽度学习系统模型的泛化性易受噪声和离群点的影响而降低。其次,网络结构存在冗余性使得所建模型较为复杂,模型可能面临过拟合问题而影响其泛化性。本文针对所提出的问题进行了研究并提出了解决方法,主要工作如下:（1）针对噪声和离群点对宽度学习系统模型泛化性的干扰,本文提出鲁棒宽度学习系统。鲁棒宽度学习系统自适应地为不同样本分配合适的权重因子以控制样本对建模的贡献度,正常的样本获得较高的权重因子增加其贡献度,而疑似异常样本则获得较低的权重因子降低其贡献度,从而消除噪声与离群点的负面作用。为了消除噪声和离群点对增量学习过程的干扰,保证模型快速有效地更新,本文将加权因子融入增量学习过程中从而提出了鲁棒增量学习算法。本文给出几种权重计算方法,在此基础之上设计了统一应用框架使得鲁棒宽度学习系统能使用不同的计算方法。实验结果表明所提算法是有效可行的。（2）针对宽度学习系统网络结构存在的冗余性问题,本文提出了基于融合惩罚的宽度网络结构稀疏技术。该技术将l1损失函数、l1范数正则项与fusion正则项相结合构成一个新的目标函数,l1损失函数消除噪声和离群点对输出权重的干扰,l1范数正则项负责稀疏输出权重以进行节点选择,而fusion正则项平滑权重以弥补l1范数正则项在处理相关性节点选择上的缺陷。通过对目标函数的迭代优化,所提方法在保证模型不受噪声和离群点干扰的同时,选择出重要节点从而建立一个精简的模型。根据所使用的fusion正则项,本技术进一步的提出两种不同的结构稀疏策略,并且设计了一个统一的实施流程框架以便灵活地使用不同的网络结构稀疏策略。仿真实验结果表明所提技术可以在模型复杂度和泛化性之间取得一个更好的平衡。