深度脉冲神经网络及其应用

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:vovoyoo
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人工神经网络是人脑神经系统的抽象和模拟,传统的神经网络通过生物神经元的脉冲发放率表示模拟变量。而脉冲神经元模型根据神经元脉冲发放的准确时间编码信息,整合了神经元发放的时间、空间、相位等多种信息。与基于神经元脉冲发放率的传统神经网络相比,脉冲神经网络更接近于大脑神经机制,网络中处理了更多的信息,具有更强大的计算能力。但是,目前脉冲神经网络仍处于初步研究阶段,现有网络仅限于单层或者浅层单输出等简单的拓扑结构,网络结构的限制使得脉冲神经网络仅用于解决一些简单的逻辑问题。因而,扩展脉冲神经网络的拓扑结构,构建深度的脉冲神经网络具有重要的意义和应用前景。本文深入研究了脉冲神经网络的神经元模型,学习规则以及网络结构,探索了深度的脉冲神经网络模型以及学习方法。首先,通过ReSuMe学习算法,以SRM脉冲神经元构建多输入多输出具有隐含层的多层脉冲神经网络。通过将逻辑输入进行时间编码,该网络能够解决线性不可分的异或逻辑问题。再以简单字符图像同时作为网络输入和期望输出,训练输入层与输出层神经元个数相等,隐含层神经元个数减半的三层脉冲神经网络。结果表明网络输出能够准确复现输入,这验证了多层脉冲神经网络的学习能力,但是同时也存在学习到的低维隐含层特征不可区分的问题。其次,以自动编码器为基础,构建深度的脉冲神经网络。模型包含多个编码层,每个编码层由自动编码器和脉冲编码层网络构成。对于每个编码层,首先通过自动编码器进行初始特征学习,再以输入脉冲特征和自动编码器学习的低维脉冲特征作为网络输入和期望输出,训练仅含有输入层和输出层的脉冲编码层网络。然后以当前脉冲编码层的输出作为输入训练下一个编码层中的自动编码器和脉冲编码层网络。最终,将训练得到的若干脉冲编码层网络逐层级联,构成深度的脉冲神经网络。为了分析本文模型的有效性,选取手写字符数据集进行分类实验,将网络输出的特征通过SVM分类器进行分类。实验结果表明以脉冲神经元构建的深度脉冲神经网络能达到与自动编码器相媲美的分类精度和特征提取能力,网络模型能够无监督地提取有效的低维高层次特征,具有较好的发展前景。最后,针对脉冲神经元模型计算耗时比较大,深度脉冲神经网络难以处理较大尺寸的图像,提出改进的快速SLIC超像素算法,并以超像素作为深度脉冲神经网络的输入来加速网络,使其能够处理复杂图像。改进的快速SLIC算法对基本SLIC算法的搜索范围进行改进,通过一步全局聚类和边缘逐步细化,每次迭代仅计算超像素边界上的像素与邻域内超像素中心的距离,算法的时间复杂度由()降低为(√),其中为图像的像素个数,为超像素的个数,远小于。实验结果表明改进的快速SLIC算法能达到与基本SLIC算法相媲美的边缘查全率和欠分割错误率,同时具有更高的运算效率。与直接将图像缩小后的像素相比,将超像素作为深度脉冲神经网络的输入学习低维特征并进行分类,能够达到更高的分类精度。
其他文献
当下,基于多智能体的协同控制是控制领域的研究热点,其中多智能体一致性控制和编队控制是两个重点研究的领域。考虑到编队控制在航空、无人机编队、农业等众多领域具有广泛应用,选取主从编队控制作为本文的研究重点。在编队控制中,常常有三种基本控制方式:旋转、缩放、平移。研究者对于编队控制的研究常采用距离刚性图论,即目标编队智能体之间采用相对位置或者相对距离约束。在编队平移运动时,智能体间的相对位置约束不变,那
当前,中国特色社会主义进入新时代,民族精神的内涵也在现阶段有了新的丰富和发展,习近平总书记在十三届全国人大一次会议上,对民族精神的内涵首次进行了系统完整的阐释。由此看来,新时代进一步加强和完善大学生民族精神培育工作,有着很强的必要性和重要性,不仅可以提升大学生的精神素养,增强其抵御西方意识形态冲击的能力,长远来看,也对整个国家和民族未来的发展有着巨大的推动作用。本文采用文献研究法,对国内外有关民族
随着微加工工艺水准的不断提升,近年来回音壁模式(Whispering Gallery Mode,WGM)微腔因具有品质因子高、模式体积小等优势得到了广泛关注和应用。在线性光学领域,WGM微腔因为具有光场能量密度高的特点,可以作为腔量子电动力学、腔光力学等基础物理研究的理想载体,也可以作为于高灵敏度传感、滤波器、调制器以及窄线宽激光器等光电子器件。在非线性光学领域,因为光子被束缚在WGM微腔的边界处
学位
在本文中,我们探讨了高维度的机器学习问题。本文分析了高维问题所面临的挑战以及这些导致这些问题的原因。为了解决这些问题,机器学习在高维度下的模型和算法需要相应地重新设计。本文介绍了一些已有的工作,例如L0-正则化方法,L1-正则化方法和逐步回归方法。本文主要工作是基于贪婪逆尺度空间流算法推广得到一种高维机器学习问题的方法——贪婪逆尺度空间流方法。该方法可以被广泛的应用于不同的机器学习模型。特别地,本
驾驶员的驾驶行为是影响道路交通安全的重要因素之一,随着智能手机的终端设备的出现和发展,从终端设备方面为驾驶行为识别的研究更为便捷。智能移动手机作为人们随身携带的终端设备,普及率、使用率较高,且终端内的嵌入式传感器种类丰富,非常适用于驾驶行为的检测识别。因此,在现有的研究基础上,本文对基于终端传感器的驾驶行为识别相关技术进行了进一步的深入研究与探索,对此本文做了以下两方面的研究:第一,提出一种基于终
智慧交通系统(Intelligent Transportation System,ITS)对城市交通的规划、管理和控制具有重要意义。在ITS中,交通流预测是一个重要的部分。目前,主流的交通流预测研究方案建立在对单一道路的时间序列特征的捕捉上,并没有有效的利用交通流的路网空间特征。近几年,随着电子计算机和计算方法的迅速发展,对于深度学习理论的研究也日趋火热。本文利用深度学习算法挖掘交通流的路网空间特
随着经济全球化的进程加速,国际贸易迅猛发展,集装箱运输凭借便捷、安全、效率高的特点成为海上货物运输的主要方式,因此集装箱运输的安全性越来越重要。目前,陆地集装箱货车的监测系统解决方案已经比较完善,多为GPRS和GPS配合完成定位和数据传输。但海上的数据传输方式较少,针对此问题,本文将Zig Bee技术与北斗卫星导航系统相结合,设计一套海运集装箱监测系统,实现集装箱内的环境信息采集,并将数据通过北斗
“创业创新”是社会进步与发展的重要推动力。在“互联网+”的新型模式下,智慧社会网络中流动的人、物、资金、信息将在网络中自动识别、智能匹配,从而使得项目或企业实现快速有效的资源整合。以“互联网+”平台为基础,利用互联网等信息技术的优势,为创新创业活动保驾护航,这种新型的模式有利于推动“大众创业、万众创新”的发展。论文以烟台高新区创业服务平台为例,研究了创业服务平台的技术框架和实现途径。创业服务平台研
网络入侵检测系统采用机器学习算法可以实现良好的检测性能。随着数据量的不断增加,使得网络入侵检测系统的检测速度降低,准确率也随之降低。为了提高网络入侵检测系统的整体性能和检测速度,本文设计了一个基于ADASYN数据均衡和PCA特征降维的Light GBM网络入侵检测系统框架。本文的主要工作如下:设计了一种通用网络入侵检测系统框架。框架分为六层:数据层、特征层、特征构建层、数据预处理层、模型训练层和策
随着大数据时代的来临,越来越多大数据应用需要以图的形式描述数据,进而通过迭代方式对其加以处理。如何高效利用图结构特性加速图处理,降低大规模图计算系统开销,成为图计算领域亟待解决的问题。然而,现有图处理系统对顶点活跃程度差异缺乏考虑,将活跃顶点(即热顶点)和非热顶点(即冷顶点)混合划分在同一分区,导致加载包含热顶点的分区时,增加不必要的冷顶点加载开销,延长图处理时间,降低图处理系统性能。针对上述缺陷