基于复合MCP的深层神经网络压缩算法

来源 :厦门大学 | 被引量 : 0次 | 上传用户:Taosnowball
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
由于深度学习在自然语言处理和图像处理上的优秀表现,深度学习技术已经被广泛地应用在人工智能领域。然而,目前大多数深度学习的神经网络结构都非常复杂,这就导致了以下三个问题,第一、它们需要耗费较多的存储空间,但由于手机内存的限制,这使得它们很难被部署到手机上,第二、它们需要较长的计算时间,因此它们很难快速给出实时响应,第三、网络结构的复杂性还带来了难解释的问题,尽管可以依据业务需求进行网络结构的定制,但是这需要付出不小的定制成本。为了解决以上3个问题,本文提出了一种基于复合MCP正则项的三步剪枝策略,可以很好地对神经网络进行压缩,并且同时完成特征选择以增加模型解释性。该算法使用了三个过程来完成剪枝,寻找最优网络结构及最优网络参数:基于CMCP正则项的预训练过程用来完成参数压缩、内含性阈值剪枝过程用来移除不重要的参数、重训练过程用来寻找最终网络结构的最优网络参数。MNIST手写数字识别实验的结果表明,相比于原始模型,这种算法可以在使预测准确率仅下降0.3%的情况下,使神经网络稀疏度高达98.9%。基于Cover数据集的森林植被多分类实验的结果表明,相比于原始模型,本文方法可以在把测试集准确率损失仅下降0.3%的同时,将模型稀疏度提升到97.15%。
其他文献
江伟教授在1996年《市场经济与民事诉讼法学的使命》一文中首次提出诉讼契约问题。随后受民事契约化理论影响,民事诉讼契约理论得到充实。民事不起诉契约问题研究涉及的理论
三维人体姿态估计一直是计算机视觉研究的重要领域。它是人体动作分析和理解的重要前提,通过从图像中估计人体关节点坐标等参数,对人体在三维空间中的姿态进行重建,在虚拟现
新疆区域宏阔,其浑然天成的别致景观与独特地貌让人啧啧称奇,从艺术考察的角度来看,新疆是一个比较适合画家写生的圣地。这里有广袤无垠的沙漠、一望无际的草原、深不可测的
随着时代的发展和社会的进步,城市建设越来越现代化,生活在城市中的艺术工作者也越来越热衷于表达出对城市的喜爱,寄情于画面,记录自己的生活。作者在乌鲁木齐生活学习了三年
本文的选题材料是《“他在时光之河里永存”——<罗密欧和朱丽叶>现代英译版》,作者为德克·德拉巴斯蒂塔。原文本为翻译学术论文,多使用翻译术语,复合句与复杂句交替出现,给翻译工作带来了极大困难。英语句子分支多,各成分之间依靠介词或关系代词连接,宛如树状结构。而汉语句子按照时间顺序或逻辑顺序层层展开,不靠连接词,宛如竹状结构。因此,英译中时,译者容易受到英语语言的影响,导致大量修饰语叠加,长
商标使用在商标法中具有重要的意义和地位。首先,商标使用对于商标权的获得和维持、商标权的行使以及商标权利的保护都有着一定的影响;其次,商标基本功能是识别商品或服务来源,而商标使用是实现该功能的重要途径,换句话说,商标功能皆以商标使用为实现条件。因为只有通过使用该商标才能让消费者联想到特定的商品或服务,并在二者之间搭建起相应的关联。因此,可以说商标使用决定着商标制度的“生息”。但目前无论是在理论界还是
中高层大气探测激光雷达作为一种主动式中高层大气探测手段,已成为中高层大气(海拔80150km)探测的主要手段。根据对于中高层大气的激光雷达而言,必须在晴朗的气象条件下才能安全运行,并且在多云、雾和霾等天气环境下,也无法获得优质的探测信号。目前各地的激光雷达台站多采用专业人员值守,配合当地天气预报、卫星云图来判断台站上空的低层大气活动,人员值守工作强度较大,同时天气预报和卫星云图等判断尺度较大,难以
目的:口腔鳞状细胞癌(oral squamous cell carcinoma,OSCC)是世界第六大恶性肿瘤,也是最常见的头颈部恶性肿瘤,主要发生在口腔黏膜如舌、口底、颊、牙龈等处。口腔鳞状细胞癌经常发生侵袭和远处转移,严重威胁患者生命。核内不均一核糖核蛋白D(heterogeneous nuclear ribonucleoprotein D,hnRNPD),也称AUF1,是hnRNP蛋白家族中
近年来,随着中国与世界其他国家往来日益密切,科学技术方面的交流逐渐加深。在此背景下,越来越多的科普著作引入中国,科普翻译的重要性也与日俱增。因此,译者选择《古巴比伦医学:理论与实践》的第一章节作为翻译实践,并在此基础上完成了本篇翻译实践报告。在翻译过程中,译者注意到源文本主要表现出两大科普文文体特征:科学性以及普及性。科学性旨在正确传播科学知识,普及性则力求吸引读者阅读兴趣,使科普知识通俗易懂。译
研究目的:口腔鳞状细胞癌(OSCC)是头颈部发病率最高、最常见的极具侵袭性的恶性肿瘤之一,患者五年生存率不足50%。OSCC局部浸润率高、转移能力强,且后期易复发,其侵袭和转移的特点是导致OSCC死亡率居高不下的主要原因。OSCC侵袭和转移的发病机制目前尚未完全阐明。在肿瘤微环境(TME)中,肿瘤相关巨噬细胞(TAMs)可通过产生多种因子及金属蛋白酶等调节肿瘤的侵袭和转移,还可以通过影响TAMs的