轻量化神经网络模型技术与移植方法研究

来源 :华东师范大学 | 被引量 : 0次 | 上传用户:jbue520
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着深度学习技术的发展,卷积神经网络在计算机视觉任务中取得了卓越的成绩,使用DenseNet等高性能网络训练的物体识别模型已经达到和人类相似的准确率。然而,这些高性能模型通常包含大量的参数量和计算量,在边缘设备部署时会出现内存占用大、资源能耗高、计算实时性差的问题,因此无法直接应用于资源受限的边缘设备。为了解决上述问题,本文选取了轻量级神经网络和网络剪枝两个重要方向,面向输电线路巡检场景,研究并设计了不同的模型压缩算法,将压缩后的模型移植到边缘设备。本文的主要工作如下:1)为了解决DenseNet计算量大、实际运行效率低的问题,本文从增强模型特征表示能力出发提出了一种基于深度可分离卷积的轻量级神经网络Sparse Net,该网络包括三个模块:多感受野的深度可分离卷积模块、稀疏连接的分组特征重激活模块以及通道关联和空间关联的双注意力模块。其中,多感受野的深度可分离卷积模块通过多条并行支路提取不同感受野的特征图,使用深度可分离卷积降低网络整体的计算量;稀疏连接的分组特征重激活模块一次性聚合所有的特征图,并重激活冗余特征,加强网络在深度方向的特征复用能力;注意力决策模块在空间和通道方向上进行信息交互,增强显著特征,加强模型的特征表达能力。在公开数据集上的实验表明,Sparse Net明显优于广泛使用的网络模型。2)为了进一步降低模型的复杂度,本文基于超网络提出了一个通用的自动剪枝算法SPA。该算法以网络结构的搜索代替通道重要性的衡量,具体包括:超网络的训练、最优网络结构的搜索和权值微调。其中,超网络使用随机策略采样网络结构,通过梯度下降算法优化网络权值;使用改进的粒子群算法搜索性能最优的网络结构;微调最优网络结构的权值,获得剪枝后的网络模型。实验表明,SPA可以大幅压缩模型的参数量和计算量,与其他剪枝算法相比,具有较强的竞争力。3)完成了绝缘子缺陷识别模型在安卓设备的移植。以Sparse Net作为基础网络,在绝缘子数据集上训练神经网络;使用SPA算法剪枝Sparse Net;重建剪枝后的模型,并通过Py Torch Mobile框架完成模型的移植。安卓端的测试结果表明本文提出的算法能极大降低深度学习网络的参数量,解决运行缓慢的不足,优化后的模型可以有效地部署在安卓设备上。
其他文献
随着区块链2.0平台的出现,智能合约成为了区块链的核心,区块链系统需要管理供智能合约访问的状态数据。这使得区块链系统的每个节点完整保留一份数据副本的全复制存储方式受到了巨大的挑战,尤其在吞吐率较高的许可链场景中这一问题显得尤为重要。近来,也有研究人员对离线区块数据采用拜占庭容错的分片存储来缓解这一问题。而状态数据,由于受到防篡改数据结构的约束,很难直接分片存储。本文主要解决区块链系统中的状态分片问
学位
用户行为序列是按时间排列的用户行为数据,反映了用户随时间变化的偏好特征。序列推荐系统通过序列化地建模用户的行为序列学习用户不断进化的兴趣,关注的核心问题是:(1)如何为用户精准提供感兴趣的商品,(2)在怎样的适宜时间点推荐。对于第一个精准推荐的问题,图神经网络模型由于能够建模序列中复杂的转移关系,在序列推荐领域具有很好的表现。但是此类方法面临两个挑战,首先是将序列转为图时,物品的顺序信息缺失;其次
学位
事件检测是自然语言处理中的经典任务之一,也是事件抽取与构建知识图谱的关键步骤。利用大量标注样本训练基于深度学习技术的语言模型,然后对非结构化文本按照预定义的事件类型分类,是完成事件检测的传统思路。然而面对互联网中日益增长的非结构化文本内容,大量未被发现的新事件类型层出不穷,为这些未知事件标注样本的工作将消耗大量的人力物力。因此,零样本事件检测任务被提出,旨在使模型自动发现并归类新的事件类型,而不依
学位
多目标跟踪是计算机视觉中一项重要的的任务,在自动驾驶、视频监控等领域有着广泛的应用。该任务旨在跟踪视频中出现的所有目标,具体而言是将当前视频帧中检测出的目标与历史帧中的目标进行匹配。近年来,深度学习算法在图像和视频任务上取得了重大突破,也得到了广泛应用。基于深度学习的多目标跟踪模型目前主要包括两类:检测跟踪(Tracking-By-Detection,TBD)模型和联合检测与嵌入(Joint de
学位
水稻(Oryza sativa L.)是世界上最重要的粮食作物之一,也是一种被广泛应用于基础研究的模式植物。垩白是稻米中白色不透明的部分,垩白直接影响稻米的外观品质、商品流通、蒸煮食味品质和加工品质,是衡量稻米品质的重要性状之一,并且与稻米其他外观品质显著相关。垩白是复杂的数量性状,受多基因调控,且易受环境影响。随着全球气候变暖,高温胁迫尤为严重,特别是我国长江流域水稻受高温影响最大,因此研究高温
学位
强化学习在现实世界中拥有广阔的应用场景,但强化学习的训练过程需要与环境交互收集数据来更新决策策略,这限制了强化学习在一些对安全性十分敏感的场合的应用。而离线强化学习可以通过数据集来训练出高效的决策策略,训练阶段无需与环境产生交互,因此近些年来离线强化学习受到了研究者们的广泛关注。然而,现有的关于离线强化学习的研究却忽略了离线强化学习决策的安全性。在不与环境交互的情况下,从包含不安全决策的数据集中学
学位
全世界皮肤病变率以及死亡率在不断增长,其中以黑色素瘤为代表的皮肤病死亡率达到最高。现今,皮肤镜检查是医学上非常普遍的皮肤病诊疗方式。但大量的皮肤病变数据使得有限的皮肤科医生无法一一诊断,不仅耗时而且可能具有主观性,这导致皮肤病的诊断和治疗存在一定的困难。所以,急需将自动分割技术应用于皮肤病变,以辅助皮肤科医生进行及时诊断和治疗。目前,皮肤病变的自动分割仍存在挑战,包括模糊不规则的病变边界,病变与周
学位
视频动作识别是计算机视觉领域中重要的研究内容之一。近年来,基于Transformer的模型已经成为计算机视觉领域的研究重点。基于Transformer的视频动作识别任务依旧面临着严峻的挑战:首先,视频中包含了丰富的信息,光流以及骨骼特征都可以被运用到模型中,如何在Transformer中有效运用这些信息,是目前研究的一个难点;其次,视频模态与自然语言模态有巨大的区别,视频数据建模方式的选择,将在很
学位
通过构建神经网络生成模型,机器翻译在近几年取得了长足发展,落地应用层出不穷。然而,由于语言本身具有多样性,同样语义的表达在遣词造句、情感风格等方面可能有所不同。因此机器翻译本质上是一对多的监督任务,对源语句的理解和目标语句的生成都具有不确定性。当下的主流研究方向侧重提高翻译的准确性,通常采用最大似然估计和束搜索算法分别对翻译过程进行确定性建模和搜索,仅在一定程度上捕捉文本生成的不确定性,而忽视翻译
学位
知识图谱嵌入作为连接知识图谱和其他应用领域如问答系统、推荐系统、信息检索系统的重要桥梁,受到了广泛的研究。在知识图谱中,连接两个实体的关系具备对称、组合、反转等特性,这些特性被称为关系模式。知识图谱包含各种关系模式,这些关系模式揭示了知识图谱中普遍存在的规则。挖掘新的关系模式并设计能够构建更多关系模式的模型是知识图谱嵌入的主要研究方向之一。许多知识图谱嵌入模型的成功源于对各种关系模式的建模,但是一
学位