【摘 要】
：
近些年来,深度神经网络飞速发展并广泛应用于众多领域,例如计算机视觉、自然语言处理、语音识别、情感分析、文本特征提取、生物信息学等。为了追求更好的效果,深度神经网络层数增长的速度越来越快,这导致模型的参数量不断攀升,因此对计算设备的计算能力和存储容量提出了更高的要求。随着科学技术的不断进步,低功耗、易携带的边缘设备开始出现在人们的视野中,例如智能可穿戴设备等。由于深度神经网络在各领域内优异的性能表现
论文部分内容阅读
近些年来,深度神经网络飞速发展并广泛应用于众多领域,例如计算机视觉、自然语言处理、语音识别、情感分析、文本特征提取、生物信息学等。为了追求更好的效果,深度神经网络层数增长的速度越来越快,这导致模型的参数量不断攀升,因此对计算设备的计算能力和存储容量提出了更高的要求。随着科学技术的不断进步,低功耗、易携带的边缘设备开始出现在人们的视野中,例如智能可穿戴设备等。由于深度神经网络在各领域内优异的性能表现,人们对其如何在边缘设备中的实现产生了极大的兴趣。然而,边缘设备的计算能力差、存储容量有限等特性,使得深度神经网络难以在边缘设备上得到实施。因此,如何减少深度神经网络的参数量成为研究热点,许多深度神经网络加速和压缩技术被提出,以促进其在边缘设备中的实现。在以往的深度神经网络压缩方法中,经常为了追求高压缩率而忽视了准确率的损失,虽然微调之后准确率能恢复到一个不错的效果,但准确率的大幅度降低意味着在压缩过程中许多重要信息被丢弃。本文针对如何在保证深度神经网络高压缩率的同时降低准确率的损失进行了研究,主要包括以下两部分研究内容:（1）提出了一种通道级的深度神经网络剪枝方法,该方法旨在去除神经网络中不重要的通道,降低神经网络的参数量,同时保证了剪枝后神经网络的性能。具体来讲,为了更有效的减少通道冗余,提出的方法在Batch Normalization层引入了K阶统计量,通过Batch Normalization中缩放因子的累积量来识别通道的重要性,累积量值低的缩放因子所对应的通道被移除,从而产生一个参数量少的神经网络,并通过微调来恢复压缩网络的准确率。在CIFAR-10和CIFAR-100两个数据集上的实验结果表明,该方法降低了压缩后准确率的损失,同时压缩效率保持在较高的水平,并且微调之后获得更高的准确率。（2）在通道剪枝方法中,经常使用固定阈值作为剪枝比例,这往往导致剪枝不充分或者过度剪枝。为了解决深度神经网络通道剪枝比例问题,本文在对Batch Normalization层中的缩放因子进行K阶统计量计算之后引入了Jarque-Bera正态分布检验方法。对缩放因子的累积量值使用Jarque-Bera正态分布检验方法判断缩放因子是否符合正态分布,从而计算出通道剪枝比例,剪掉不符合正态分布的缩放因子所对应的通道。实验中对比了采用固定阈值剪枝比例和使用Jarque-Bera正态分布检验方法自动确定剪枝比例进行通道剪枝后模型的性能。结果表明,使用Jarque-Bera正态分布检验方法自动确定剪枝比例进行通道剪枝后,准确率损失变的更小,这意味着该方法可以对神经网络中的冗余通道进行充分剪枝,降低通道剪枝的错误率。此外,对剪枝前后模型的训练时间进行对比,结果表明,使用Jarque-Bera正态分布检验方法自动确定剪枝比例进行通道剪枝后,训练时间减少,对模型训练过程能够起到加速效果。实验结果表明,本文提出的方法与目前的主流方法相比,在参数量压缩比相差不大的情况下,模型具有剪枝后准确率高、微调之后准确率恢复效果好、训练时间短的特点,从而让深度神经网络应用在资源受限的嵌入式平台上成为了可能。最后本文在STM32F103RC嵌入式设备上部署了一个小型神经网络并在Iris数据集上进行了迁移实验,为以后在嵌入式设备上部署更大的神经网络奠定了基础。
其他文献
＜正＞大连海关技术中心通过国际合作投标的方式将以往分散在美国、日本和泰国的输韩大米检测业务承揽回国，形成了“中国产、中国检”的输韩大米出口新局面。该机构通过对标国际，获得贸易相关国家官方授权和检测结果互认的方式，为东北特色农产品出口营造“国内检、国外认”的通关便利，以出口韩国的大米和糙米为例，该机构作为韩国官方授权的海外公认检测机构，所出具的检测报告在韩国通关时可被直接采信，
从“新闻稿纸”到“键盘敲击”再到“现场回传”，从“纸媒时代”到“微博微信”再到“VR全景”，伴随新时代的来临，互联网已经在新闻业中获得了广泛的运用，为受众提供了丰富的新闻信息，这也促进了新闻业的深刻变革。传播格局深刻调整、传播方式深度融合的今天，对新闻工作者的职业素养提出了更加严格的要求，新闻工作者必须积极探索融媒体时代的工作模式，不断提升职业素养。本文针对媒体融合背景下新闻工作者应该具备的职业素
在家庭与学校之间建立较为紧密的合作关系常被研究者和政策制定者视为一项积极的政策工具。但研究指出：家长——特别是来自农村地区的家长，参与学校教育的可能性较低。以一项持续时间较长的民族志调查为基础，对农村家长学校教育参与中的“关系化”策略的描述发现，由于正式的学校制度和组织关系总是镶嵌在更广泛的社会关系网络中，在受制度支持的组织关系本身结构性弱的情况下，其所蕴含的切事的非个人性的内容容易被私人关系的运
利用农村邻里互助的文化资源开展老年照护是我国现有条件下应对农村养老服务问题的一种模式选择与政策期待。在政策监管难以深入农村基层的情况下，邻里照护政策进入由乡村自有逻辑主导的农村政策场域之中，呈现出“剩余型”的服务范畴、“专长式”的服务内容、“默会式”的服务标准、“舆论型”的服务回报与“孝道式”的服务激励等实践形态，暴露出邻里照护政策存在邻里服务难以有效满足贫弱老人照护需求、守望相助风气式微导致政策
本文基于地区和产品贸易模型及对中国进口非关税壁垒的测算，探究了降低进口非关税壁垒对中国拓展进口多元化的影响。研究表明：中国进口非关税壁垒主要集中在预制食品、动植物产品、鞋帽与羽毛制品等品类；从加拿大、澳大利亚、泰国、越南等来源地进口的非关税壁垒较高。进口非关税壁垒降低能显著促进中国进口产品来源地和进口产品种类多元化。此外，在拓展进口来源地时，降低进口非关税壁垒对同质品的促进效应大于异质品，对资本品
目的：研究硝酸甘油致大鼠偏头痛样疼痛行为的模型评价及偏痛汤1号对本模型药效学影响。方法：采用硝酸甘油颈部皮下注射方法造模。成模大鼠随机分成模型组、阳性药组[0.25 mg/（kg·d）]、TRPV1抑制剂组[TRPV1抑制剂，3 mg/（kg·d）]、偏痛汤1号组[13.5 g/（kg·d）]、偏痛汤1号+TRPV1抑制剂组，另设假手术组、空白组，每组12只，雌雄各半。各组分别用药干预1周，同时检
近年来,深度神经网络在许多计算机视觉相关的任务中都取得了相当不错的成绩,但是随着解决的问题越来越复杂,现在的大多数神经网络模型都会需要较大的存储空间并且带来了高额的计算成本,这使得将网络部署在一些内存资源低和具有严格实时性要求的便携设备上变得困难。在过去的一段时间里,人们开始探索关于模型压缩和加速相关的问题,旨在不显著降低模型精度的情况下,能够大幅减少模型的参数量和计算量,使其能够部署在资源不足的
城市化进程加快，环境问题日益严峻，“垃圾围城”变成城市发展的突出问题。本文基于G市Y区生活垃圾分类政策的研究提出，政策执行中存在居民参与度较低、垃圾分类标准不太明确、回收硬件缺乏等问题，结合综合分析模型，提出完善政策内容、优化垃圾分类标准、加强政策资源投入、明确执行机构的权责、加大宣传教育和监管力度等建议，以期推动垃圾分类政策有效实施。