协同学习机制在小体量与抗噪神经网络中的应用研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:feiyelsh
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
突触可塑性(synaptic plasticity,SP)与内源可塑性(intrinsic plasticity,IP)是生物脑学习的重要法则。目前,人工神经网络通过借鉴SP的原理引入了权重的概念。尽管少数研究也考虑了IP,但两者协同工作对人工神经网络的影响尚不完全清楚。目前,协同学习的研究都是基于信息熵的浅层网络,且只研究过在数据拟合上的应用。具有抗噪能力的小体量神经网络是当前神经网络领域研究的重要方向,而大脑正是高效节能且抗噪的典范,据推测两类可塑性的协作可能为大脑中高效而复杂的信息处理提供了神经基础。本论文中,我们探究了SP和IP在神经网络中的协同学习情况,对比了基于信息熵和非信息熵的损失函数下的协同作用效果,并在数据拟合、多分类任务、抗噪能力等多种应用上进行了实验。主要研究结果如下:(1)数据拟合应用中,协同学习算法能加快网络的学习速度并提高网络拟合的质量。采用局部信息最大化所代表的IP规则与误差熵最小化算法的突触学习规则结合使用,提高了网络学习的速度,和质量。探讨了隐藏层和输出层每个神经元激活函数斜率和偏移的变化,IP规则增加了激活函数斜率的平均值。(2)在一定条件下,协同学习算法能加快轻神经网络在多分类任务中的学习速率并提高学习质量。IP规则中的局部信息最大化可以与除误差熵最小化算法以外的突触学习规则,例如最小化熵,结合使用。协同学习在浅层网络和深层网络中都能起到不同程度的作用。在具有IP规则的人工神经网络中,较少的神经元所能达到的性能与在传统的人工神经网络中较多神经元达到的效果相同。同时,IP规则使网络对突触学习速率的提高更为鲁棒。(3)在噪声环境中,协同学习算法能稳定的提升神经网络的性能。在不同强度的噪声环境下,对比人工神经网络,协同学习神经网络能获得较高的准确率和较小的标准差。较小的标准差说明协同学习能增强噪声环境中网络的鲁棒性。(4)在基于非信息熵的损失函数下,协同学习在小体量网络上依然能保持更快的学习速度和更高的学习质量。新引入的损失函数与反向传播的训练方法与协同学习共同作用提高了网络的性能。我们成功将协同学习算法推广到除信息熵的神经网络中。以上结果表明,使用协同学习算法的神经网络具有对资源的耗费量小,鲁棒性好等优点,在小体量神经网络中展现出更好的性能。这将为轻量化神经网络的发展提供新的思路。
其他文献
当前,我国机器人市场进入高速增长期,工业机器人连续五年成为全球第一大应用市场。然而工业机器人在使用中存在能量的不合理利用,造成大量的能源浪费,其能耗问题已上升到国家
麦盖提斜坡在其形成演化过程中经历了多期构造运动,构造应力场多次发生改变,从而发育多期次活动的断裂构造,成为斜坡带的一个显著特征。麦盖提斜坡不同期次断裂构造的构造变
蛋白质是生物体实现生命活动的基础,单一的蛋白质难以实现生物体丰富多彩的生命活动,它们通过彼此相互作用并形成蛋白质复合物来实现特定的生物功能。因此在结构复杂、数据规模较大的蛋白质相互作用网络中,精准且高效的识别出蛋白质复合物对理解蛋白质相互作用网络的结构、分析细胞实现生命活动的过程以及生物医学的研究均有重要的意义。在现有的研究中识别蛋白质复合物主要分为实验方法和计算方法,一般采用实验方法花费的时间比
网络信息系统的快速发展和广泛普及,有效提升了网络中信息流动的速度,使得网络信息的传递和交互变得极为频繁。而且近年来,智能移动设备市场占用率的增高使得人们将会更加便捷地获取网络信息,极大方便了个人生活。然而,由于利益的驱使,信息系统中的漏洞和监管措施的不完善使得网络信息安全问题频发。随着用户数量的不断变化和用户属性的不断增多,导致信息系统对用户管控变得越来越麻烦,传统的访问控制技术很难对用户的访问请
随着经济的发展,科学技术水平的提高,农业生产已经不再局限于靠天吃饭,农业生产方面运用科学技术,不仅可以提高农产品产量,还能增加利润收益。科学技术水平的应用在当下越来
同步定位和地图构建(SLAM)是机器人在行进过程中,通过传感器获取环境数据来建立环境地图并同时估计出自身位姿的过程。随着移动机器人应用领域的增多以及应用场景的复杂化,部分未知的半结构化环境以及完全未知的非结构化环境下的移动机器人定位成为迫切需要,SLAM成为解决移动机器人自主导航的关键技术。本文主要分析了基于深度传感器的视觉SLAM实现方法,包括鲁棒的图像特征点检测和匹配、机器人运动的相机位姿估计
模块度可用于检测社区网络结构的强度,取值越大表明划分后同一社区内部关系越紧密,不同社区之间的关系越疏离,该特点与聚类的目标不谋而合。因此,近年来愈来愈多的聚类算法基于模块度进行设计,并取得了较好的聚类效果。然而,这些算法多属于硬聚类的范畴,受限于隶属度只能取0和1二值,聚类的准确率仍可进一步提高。此外,聚类分析过程结束后,聚类有效性检验是一个关键环节,常以有效性指标的取值衡量聚类算法性能以及准确率
自然语言处理的目的是使用计算机技术来分析处理人类产生的文本数据,了解人类的意图,最终可以实现人类与计算机之间无障碍的沟通,其主要包括机器翻译、情感分析与智能问答等领域。文本情感分析的主要任务就是对带有主观情感的文本进行特征挖掘和分析,从而得出其情感倾向。随着互联网的快速发展,深度学习算法的实现得到了技术上更坚实的支撑,其在各个领域中都做出较大的贡献,使用深度学习方法来解决自然语言处理的问题成为更多
目前,伴随着移动社交的广泛普及和云计算的蓬勃发展,人们愈发倾向于通过网络获取知识与存储信息,互联网中的数据呈现爆炸性的增长趋势。与此同时,信息安全领域的问题也日益严峻,个人、企业等信息遭到泄露的事件频频爆出,鉴于以上因素,大数据环境下的数据安全成为了研究学者的关注热点。属性基加密机制作为密码学的一个重要分支,通过访问结构与属性集之间的匹配关系实现用户对数据访问权限的控制,高效地解决了“一对多”的秘
属性基加密(ABE,attribute based encryption)相比较于传统的公钥加密体制,保证数据的机密性之外,可以实现一对多及多对多的通信,对密文提供灵活的访问控制。这些优点使得属性基加密机制非常适合现代开放的分布式网络环境,得到学者们广泛的研究。密文策略属性基加密方案中,发送方决定密文的访问策略,实现对接收群体的控制,这使得密文策略属性基加密方案更适合移动社交网络这样的动态场景。然