【摘 要】
：
在过去几年里,深度学习一直是人工智能取得成功的基础,但是巨大的计算复杂度和庞大的存储需求使得它们在实时应用中部署成为一个巨大的挑战,特别是在资源有限的设备上。因此,如何利用压缩和加速技术将模型应用于实际场景中成为了一个研究热点。目前大多数的神经网络压缩方法可解释性较弱,本文选择了可解释方法沙普利值和注意力机制作为压缩依据,并基于卷积神经网络展开研究,主要完成了以下工作:首先基于卷积神经网络模型压缩
论文部分内容阅读
在过去几年里,深度学习一直是人工智能取得成功的基础,但是巨大的计算复杂度和庞大的存储需求使得它们在实时应用中部署成为一个巨大的挑战,特别是在资源有限的设备上。因此,如何利用压缩和加速技术将模型应用于实际场景中成为了一个研究热点。目前大多数的神经网络压缩方法可解释性较弱,本文选择了可解释方法沙普利值和注意力机制作为压缩依据,并基于卷积神经网络展开研究,主要完成了以下工作:首先基于卷积神经网络模型压缩的理论基础上,提出了一种为剪枝过程赋予了较强的可解释性的CNN剪枝方法,且生成的模型不需要特殊的软件或硬件加速器,可同时实现减小模型尺寸、减少运行时内存占用、减少计算操作次数和增强模型可解释性。它以大网络作为输入模型,但在训练过程中会根据沙普利值去识别和修剪不重要的通道,从而产生紧凑的模型。本文在两种常用的图像分类数据集CIFAR-10和CIFAR-100上,通过VGGNet-19、Dense Net-40和Res Net-101等多个CNN模型,证明了此方法的有效性。对于VGGNet,可解释结构化剪枝使模型尺寸减少20倍,计算操作减少5倍,识别精度仅损失了2.75%。其次提出了一种新的知识蒸馏方法来提升剪枝后模型的精度,即自注意力知识蒸馏,该方法可以使模型从自身中学习,并获得实质性的改进,而不需要任何额外的监督或标签。具体来说,从训练到合理水平的模型中提取的注意力图将对丰富的上下文信息进行编码。有价值的上下文信息可以作为一种“免费”的监督形式,通过在网络内部执行自上而下和逐层的注意力蒸馏来进行进一步的表示学习。自注意力知识蒸馏可以很容易地整合到任何前馈卷积神经网络中,并且不会增加推理时间。本文在数据集CIFAR-10和CIFAR-100上使用经过可解释结构化剪枝后的VGGNet-19、Denes Net-40和Res Net-101进行了验证,通过使用此方法,剪枝后的模型在模型大小和计算操作数减小较多的前提下,达到了与原始模型相当的精度。结果表明,自注意力知识蒸馏可以普遍改善不同网络中不同层次的注意力图。
其他文献
在互联网时代时政类新闻的受众逐渐被新媒体分解、引流,传播率大大降低。为了改变这一现状,传统主流媒体积极创新新闻生产和传播方式,发展融合新闻产品。在众多融合新闻产品中,短视频成为移动传播的重要形态。各大主流电视媒体纷纷推出系列短视频节目,并且将时政新闻报道剪辑成短视频投放在大量新媒体平台上,时政新闻短视频成为主流媒体争夺话语权、引导舆论的积极探索。本文以短视频类融媒产品为例,运用内容分析法和问卷调查
共情传播研究着眼于探究信息传播过程中共情的产生过程和传播特性,以及共情传播的影响和作用。本文通过深入辨析共情这一心理学范畴概念的内涵,结合传播学理论基础和学者们对共情传播的概念界定,将共情传播解释为传播者在传播过程中采用一些策略或方式使传播对象产生与传播内容共情的效果。在疫情这一突发重大公共卫生事件的背景下,共情传播在新闻报道中的运用和影响更为显现。本文以央视《新闻联播》疫情报道为例,探究其共情传
伴随着移动互联网的高速发展,新闻资讯行业全方位升级重塑,新闻资讯平台成为进入移动互联网的重要入口。四大门户网站纷纷上线移动新闻客户端,抢占移动终端市场,聚合类资讯APP作为移动新闻客户端的一种,以市场细分、智能分发的特点在市场站稳脚跟。今日头条作为聚合类资讯APP的典型代表,在市场起步阶段,把握市场空缺、抓住社会化阅读的契机,依靠算法技术进行内容分发。以其个性化的推荐方式、多元化的传播媒介实现智能
读图时代的到来,让我们在网络社交中形成了独特的交流风格。当下的网络社交活动离不开表情包的参与,它承担的不仅是简单的表情符号意义,还是网络世界中一种新的符号表意方式。“萌文化”的出现,让热衷于互联网的青年群体受到这些文化所携带的情感和视觉的冲击,也推动了“萌系”表情包在微信平台上的传播。在年轻人的语言中,“萌”被赋予了以“可爱”为中心的丰富意义,他们在进行网络人际传播时,将“萌系”表情包运用其中,以
近年来,深度学习由于其出色的表现在计算机视觉,语音识别,情感分析等研究领域都取得了十分优异的成绩,大量的关于深度学习的应用出现在我们的日常生活中,为丰富我们的生活提供了许多的便利。但是最新的一些研究工作证实,在各个领域表现出色的深度学习模型非常容易受到攻击者的影响,当攻击者在输入样本中增加一个十分微小的扰动就可以导致深度学习模型给出错误的分类结果。但到目前为止,在对抗环境下对深度学习脆弱性的研究主
聚类是机器学习领域处理数据的重要方法,在众多学术领域中被广泛地应用。例如,目标用户的群体划分、不同产品的价值组合、探测发现异常值等。在这些场景下的数据的密度通常都是不均匀的,因此在这样的数据集上进行的聚类,要求聚类算法适合非均匀密度数据集。但传统的聚类算法在非均匀密度数据集上的聚类效果并不理想,并且传统聚类算法对参数依赖严重。针对上述问题,论文提出了一种基于图像分割模型的密度聚类算法DCABISM
目前传统的视频分类方法是基于人工提取的特征,这种方法在早期任务中取得了较为优秀的性能,但传统方式非常依赖特征提取算法以及特定任务的知识,因此,目前已过渡到基于深度学习的方式。解决该问题的传统深度学习算法是基于双流卷积神经网络结构,将网络分为空间流与时序流,分别使用视频帧和密集光流输入网络,获得最终分类标签。但传统方式存在一定弊端,即以密集光流作为特征,该特征目前的提取算法计算量庞大,且极其耗时,无
在农业领域,随着信息科技的高速发展,传统的手工劳作方式逐渐被智能化作业所代替。农业机器人的引入既提高了劳动效率和作物产量,又带动了农业经济的发展。众所周知,导航系统是农业机器人进行田间劳作的关键,这对于精准化作业来说至关重要。因此,针对农业机器人的导航系统研究已经受到越来越多学者的重视。本文针对农业机器人采集的田间作物的视频数据,基于深度语义分割模型实现农业机器人的自主实时导航。首先,为了改善低分
毫米波大规模MIMO是未来移动通信最具潜力的研究方向之一。然而,由于大规模MIMO系统中配备多个昂贵的射频链路使得硬件的成本和复杂度大幅增加。天线选择技术通过优化策略选择部分高性能天线通信可以在保证系统性能的前提下简化硬件结构;同时混合波束成形技术利用低维数字波束成形与高维模拟波束成形,大大降低了射频链路数目的需求,与天线选择技术相结合可以进一步降低系统复杂度,提升信号传输质量。但是目前传统的面向
深度卷积神经网络（Deep Convolutional Neural Networks,DCNN）已成为深度学习中用于数字图像内容分类的关键算法之一,这是因为DCNN可以从足够多的训练数据中学习到具有高度代表性的分层图像特征。但是,DCNN的计算复杂度要比经典算法的计算复杂度大很多,这造成了基于中央处理器（Central Processing Unit,CPU）或图形处理器（Graphics Pr