半张量积加速的深度神经网络

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:ferer1019
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度神经网络近几年来飞速发展,在许多领域都取得了最优的成绩。网络性能的增强依赖于神经网络参数的增加,为了让神经网络能够部署在移动端,应压缩其大小(降低参数量),主要方法包括量化、编码、剪枝、低秩近似、知识蒸馏和轻量化网络设计。低秩近似用几个低维矩阵或低阶张量来表达神经网络中复杂的矩阵或张量权重。该方法易于实施,支持从零训练和预训练。因此,本文采用低秩张量分解压缩深度神经网络。现有的张量分解都已经通过实验验证了其效果,包括CANDECAMP/PARAFAC分解,Tucker分解,Block-Term分解和Hierarchical Tucker分解。张量网络(例如Tensor Train和Tensor Ring)是张量分解的衍生并且存在各种不同的结构,这些结构还具更多的可能性和可压缩性。张量网络中的缩并通常使用的是模-d积,这是一种类似于矩阵乘积的运算,但是矩阵乘积有维度一致性的要求。本文使用半张量积代替常规的矩阵乘积,将模-d积推广为半张量模-d积。半张量积是一般化的矩阵乘积,打破了维度一致性的限制,因此能构建更紧凑的张量网络,从而用更少的参数量来表达神经网络。本文将Tucker分解和张量网络(Tensor Train和Tensor Ring)分别推广到半张量Tucker分解和半张量网络(semi-Tensor Train和semi-Tensor Ring)。本文将这种更加一般化的张量分解形式应用于神经网络压缩中并取得了相较于其他常规张量分解更优越的表现,即用更少的参数量取得了更优的结果。在所有的网络压缩方法中,量化和编码技术是与其他技术正交且兼容的。低秩近似的目的是降低神经网络中参数数量,量化是降低参数的精度,量化后的特征值还可以进行熵编码来进一步压缩。因此本研究将张量分解与量化和熵编码技术进行集成,让深度神经网络占用更少的存储空间。最后神经网络参数以比特流的形式保存下来,进行解码后可以直接在支持定点计算的深度学习框架使用,或者反量化后在普通的深度学习框架下使用。熵编码技术采用上下文自适应二进制算术编码,是一种无损编码方法,在视频编码中已取得优异的结果。最终通过实验表明,降低已压缩参数的精度,不会影响网络性能。
其他文献
“实际控制人”自被引入公司法以来,关于其概念的争议就未曾停止,究其原因,乃是这一出自上市公司领域的概念有其时代的局限性,随着公司治理形态的不断发展,应重新界定实际控制人的概念。作为公司的“国王”,从财务经营、人事任免,到公司的重大决策,都要受实际控制人支配。与《证券法》关于实际控制人的规定相比,《公司法》对实际控制人的规制可谓匮乏;而与公司股东等积极参与者不同,债权人往往处于更加消极的地位,合法利
学位
当前,我国对于非物质文化遗产代表性传承人的管理已经从广泛申报认定到科学动态管理,国内逐渐出现取消代表性传承人资格的退出案例,然而这些退出实践相比于庞大的四级代表性传承人系统而言,毕竟是很小的一部分,对于代表性传承人退出机制的法律研究还很缺乏。鉴于此,本文通过梳理国家层面和地方层面关于代表性传承人退出机制的立法规定和执法实践,总结退出机制的法律现状,发现目前主要存在退出机制适用不规范、相关程序不明确
学位
图像语义理解算法主要通过给图片生成一句文字描述来深入挖掘图片中的语义信息,该任务是一个融合计算机视觉和自然语言处理技术的研究课题,在图像检索、儿童教育、医学影像分析、人机交互等领域都有着广泛的应用。受机器翻译领域编解码框架技术的影响,当前的图像语义理解算法主要使用编解码框架进行研究,使用编码器提取图像特征,使用解码器将提取的图像特征转换成文字描述。本文将基于编解码框架对图像语义理解算法展开研究,针
学位
暗图像增强也被称为低光照图像增强,其致力于解决由不利光照条件或不专业的拍摄设备和人员拍摄导致的光照不均匀、极端低光照、背光、噪声、色偏以及压缩块效应等问题。低光照图像增强近年来得到了快速发展,然而在极端低光照和压缩低光照图像的增强方面仍充满挑战。典型地,夜晚拍摄的真实极端低光照图像往往光照非常不足且含有大量噪声。除了成像过程的光电转换噪声、暗电流噪声、模数转换噪声等,图像在格式转换和储存环节噪声程
学位
医学图像分割在临床诊断和治疗中发挥了重要的作用,为医生监测病人病情、制定手术计划和进行术后研究提供了重要参考。本文基于心脏解剖学的先验知识,联合随机游走方法和水平集方法,实现对右心室的准确分割。主要的研究内容如下。对医学图像进行预处理。通过对比实验,分别选取分段线性变换和中值滤波来对输入的医学图像进行增强和去噪,从而提高图像的对比度,滤除图像噪声,为后续的分割提供有效的图像信息。基于K-means
学位
劳动监察与劳动仲裁制度是劳动法体系中维护劳动者合法权益的重要途径,对于构建和谐的劳动关系发挥着重要作用。但这两种制度有着本质的不同,劳动监察采用公权干预的方式,通过行政机关对劳动违法行为的监督检查和处罚,督促用人单位纠正违法行为,从而为劳动者提供有效的行政救济。劳动仲裁则是由劳动关系当事人向劳动仲裁部门申请仲裁,通过劳动仲裁机构的裁决,对当事人之间的私权纠纷做出处理,属于民事救济。劳动者在其合法权
学位
近年来飞速发展的移动通信和流媒体技术,促进了各种视频业务的爆发式增长,使其在人们生活和工作中占据着越来越重要的地位。用户体验质量(Quality of Experience,QoE)是反映用户对服务满意程度的重要指标,是判断流媒体信息传播服务优劣的重要依据。尽管最近广泛应用的深度学习技术推动了该领域的前进,现有研究工作在应用到实际场景中时,仍然面临许多问题。首先,现有视频QoE数据集均面向点播视频
学位
随着显示驱动、电源管理以及汽车电子等中低压消费电子应用的发展,集成了低压CMOS以及中低压LDMOS器件的0.18μm BCD工艺技术逐渐成为主流的平台技术,并且在实际应用中也越来越多地受到客户的青睐。在BCD工艺中,功率LDMOS成为BCD工艺中器件设计的重点和难点,其主要体现在满足击穿电压的基础上为用户提供更低的比导通电阻和更高的可靠性。本论文工作主要基于华润微电子0.18μm G3 BCD工
学位
在信息时代,视频是重要的信息媒介。视频数据的传输量呈指数级增长。人们对视频质量,视频分辨率的要求也在不断提高。这对视频编码技术带来了新的机遇与挑战。相比于上一代视频编码标准H.264/AVC(Advanced Video Coding),当前常用的视频编码标准HEVC(High Efficiency Video Coding)提高了大约50%的编码效率,但是依然不能满足视频应用对于视频编码技术的高
学位
本次翻译实践的材料来源于戈什加林(G.M.Goshgarian)英译的阿尔都塞(Louis Althusser)的著作《给非哲学家的哲学启迪》(Philosophy for Non-philosophers)。由于该著作的原文是法文,笔者对英译本进行汉译时参考了顾良所译的阿尔都塞的另一著作《保卫马克思》以确保译文质量。《给非哲学家的哲学启迪》这一著作包含了作者阿尔都塞的诸多哲学见地,他试图在书中向
学位