基于随机特征映射的四层神经网络及其多核学习方法研究

来源 :江南大学 | 被引量 : 0次 | 上传用户:hero18
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在一个机器学习任务中,特征选择是样本预测的关键一步,而在面对复杂的未知领域时,我们很难判断特征与预测目标或者特征与特征之间的关联性,所以在建立一个神经网络时,常常采用随机生成的方式来初始化神经网络的参数,然后再通过一系列的算法来完成特征的选择和高维映射。有效的特征选择可以降低输入特征的维度,还可以防止过拟合,提高模型泛化能力和可解释性,加快模型的训练速度,合适的特征映射还可以提高模型的预测性能。本文对此的研究工作如下:针对传统神经网络参数多次迭代,训练时间长的问题,本文提出了一种基于随机特征映射的四层神经网络(FRMFNN)及其快速增量学习算法。FRMFNN是一种基于随机向量函数链路神经网络(RVFLNN)的四层网络模型,FRMFNN首先把原始输入特征通过特定的随机映射算法转化为随机映射特征存储于第一层隐藏层节点中,再经过激活函数对随机映射特征进行非线性转化生成第二层隐藏节点,最后传输到输出层。由于隐藏层之间的连接权重都是根据任意连续采样分布概率一次性随机生成的,不需要训练更新,而且输出层的权重可以用岭回归算法快速求解,从而避免了传统反向传播神经网络耗时的训练过程。当FRMFNN没有达到期望精度时,借助于快速的增量算法可以持续改进网络性能,从而避免了重新训练整个网络。本文详细阐述了FRMFNN及其增量算法的结构原理,证明了FRMFNN的通用逼近性,在多个主流分类和回归数据集上的实验结果表明了FRMFNN及其快速增量学习算法的有效性。为了更好地对样本特征进行高维映射,本文进一步在FRMFNN中引入核方法。而针对单核网络模型核函数选择无依据以及基于随机特征映射的四层神经网络(FRMFNN)节点规模过大的问题,提出了一种基于随机特征映射的四层多核学习神经网络(MK-FRMFNN)算法。该算法首先把原始输入特征通过特定的随机映射算法转化为随机映射特征,再经过不同的随机核映射生成多个基本核矩阵,然后将基本核矩阵组成合成核矩阵通过输出权重连接到输出层。MK-FRMFNN在基本核映射时引入了不同的随机权重矩阵,这样生成的合成核矩阵不仅可以综合各种核函数的优势,而且可以集合各种随机分布函数的特性,使数据在新的特征空间中获得更好的特征选择和表达效果。理论分析和实验表明,与宽度学习系统(BLS)及基于随机特征映射的四层神经网络(FRMFNN)单核模型相比,MK-FRMFNN模型的节点规模减少了2/3左右,且分类性能稳定;与主流的多种多核模型相比,能够对大样本数据集进行学习,并且分类性能明显优于对比算法。
其他文献
随着互联网技术的飞速发展和工业4.0战略的提出,全球制造业在往高精度、高柔性、高智能程度方向发展。科技水平的提高使人们进一步追求高生活质量,人们开始关注自身居住环境的舒适性,如建筑材料的环保性等。在我国每年新增20亿平方米建筑面积的背景下,木质材料作为典型可持续建筑材料,其在民居、旅游等建筑场所等得到广泛应用。作为木质建筑主要构成材料——木结构组合墙体,却面临着生产自动化程度低、产品报废率高的生产
红外与可见光图像的融合技术是图像融合领域中一项十分重要的研究。红外图像以亮度的形式反映不同物体的热辐射差异,从而具有夜间可视性;可见光图像拥有丰富的纹理信息,且与人类的视觉系统一致。通过图像融合技术将这两种图像进行有效的融合,融合后的图像能够在突出红外目标的同时保持足够多的纹理信息,可更好地实现目标监控、跟踪等任务。传统的图像融合方法主要是基于多尺度变换(Multi-Scale Transform
微流控技术(Microfluidics)是由多门学科交叉的先进研究领域之一。该技术通过将医学、生物和化学等领域中所包括的取样、混合、反应、样品分离、检测等基本实验操作集成至厘米级的芯片上,从某种程度上取代了传统的生化检测实验室的功能。所以,微流控传感系统在生物检测、药物筛选、污染物监测等领域都具有巨大的应用前景。近年来,食品安全事故频发,临床反应严重,食品安全问题已经成为现代社会关注的热点。目前常
湿度(Humidity)是一个重要的环境参数,在人类日常生活、生产活动中扮演了重要的角色。目前使用最广泛的高分子电容式湿度传感器凭借其测试量程宽、线性度高、响应时间短、长期稳定性好等优点受到了研发人员的广泛关注。但是,随着湿度传感器应用领域的扩展,人们对湿度传感器的各项特性指标提出了更高的要求,基于常规聚酰亚胺(Polyimide,PI)感湿材料的电容式湿度传感器因其高稳定性和高线性度成为了主流,
随着国家“新基建”概念的提出,电梯的智能化改造也逐步升温。作为连接互联和控制层的核心设备,网关不再满足于基本的数据采集和转发,而将其视为电梯物联网的重要计算节点。通过智能算法的研究和应用,能够使网关实现物联网微数据中心的作用,更有效地保证电梯稳定安全运行。本文以电梯物联网网关为研究对象,针对电梯网关的协议适配问题,异常数据帧检测问题,以及电梯曳引机轴承数据挖掘问题,展开智能方法研究。主要研究和创新
实际工程应用中,由于生产需要、工况变化或紧急的突发状况,系统包含着多种工作模式,既有随时间的状态连续演化,又有受离散时间驱动的多模态跳变,这些不同的工作模式之间根据一定的转移规律发生跳变,此类系统被称为随机跳变系统。跳变转移概率刻画了模态之间的随机转换规律,因此成为研究这类系统的关键因素。转移概率完全已知情况下的随机跳变系统的研究已经形成了完整的理论体系,但转移概率完全已知不符合工程实际,这使得随
无线传感器网络的作用是对目标场景数据进行详细地监控与传输,其工作地点大多为室外的恶劣环境;特殊环境使无线传感器网络采用随机部署的方式更为广泛,但随机部署会使初始覆盖效能低下,继而引发信道冲突、能耗激增等问题。为解决此类问题,无线传感器网络覆盖研究的重点是通过改变节点位置或感知范围等属性对网络覆盖质量及完整性进行优化。为适配复杂恶劣的工作环境,满足网络多样化应用,通常使用泛在的异质网络包容节点硬件规
梅干菜是一种常见的传统发酵蔬菜制品,选用常见芥菜使菜叶晾干、堆黄,然后经过加盐腌制和干燥等步骤加工而成,不仅富含维生素、氨基酸和膳食纤维等营养元素,而且因其独特的风味长期作为食品辅料存在。梅干菜属于干态腌菜,其制作过程复杂且需要在室外长时间曝晒和堆黄,并且在后期的运输、贮存、加工和成包等过程中,会混入各种外界杂质,严重影响了梅干菜成品的食品品质,因此有必要采用一种具有快速检测特点的检测技术来检测梅
湿度传感器广泛应用于社会生产和日常生活的诸多领域,对湿度传感器各项性能参数包括灵敏度、精确度、湿滞和线性度等提出了更高的要求。微波检测相比传统电阻、电容类检测方案具有高分辨率、多衍生参数、低功耗等优点,有望进一步提升湿度检测特性。对微波湿度检测进行研究也将为微波材料特性检测提供重要的理论依据和参考。本文对微波检测技术理论和实现过程展开了详细论述。通过分析不同类型谐振器的设计原理和响应特性,开展了基
随着时代的更迭,科技的发展,振动传感系统理论不断完善。基于高灵敏度、高精度、高集成度,高稳定性等方面的新型振动传感系统正在不断地被研究制作出来。近几年来,基于光纤的振动传感系统进入了高速发展时期,由于其简单的结构,优秀的抗干扰能力和较低的成本,已广泛应用于海洋、陆地、航空、工业,医学等领域。现有的基于光纤振动传感系统的振动信号解调技术,其关键在于对振动信号引起的光信号波长或相位变化的分析,具有较高