基于注意机制的CNN优化及其应用

来源 :深圳大学 | 被引量 : 0次 | 上传用户:wjh101
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
卷积神经网络(Convolutional Neural Networks,CNN)以其强大的特征提取和表达能力,在计算机视觉任务中得到了广泛地应用。然而,由于CNN主要是利用局部感知特性进行特征提取,导致其全局感知能力较差,进而影响了提取特征的鲁棒性。近些年来,注意机制以其有效的全局感知特性,被成功地应用在自然语言处理和计算机视觉等领域。因此,如何将CNN的局部感知特性和注意机制的全局感知特性有效结合,并设计相应有效的CNN网络结构,成为了当前CNN优化中的热点。当前,最常用的基于注意机制的CNN优化方法是使用注意力图对卷积层输出的单尺度特征图加权,这类方法存在两个问题:1、直接对单尺度特征图进行处理,导致生成的注意力图对特征中多尺度信息的关注能力较弱;2、直接将注意力图作用于特征图,导致融合时的计算量较大,需要在计算量与注意力图的准确性进行折中。为了解决上述问题,本文在以下几个方面展开研究,具体内容包括:1、提出一种基于多尺度注意机制的CNN结构优化算法,称之为多尺度注意模块(Multi-Scale Attention Module,MSAM),针对已有方法只对特征中单一尺度信息注意的问题。将注意模型引入多尺度Res2Net模块通道间信息交互的过程中,利用Res2Net模块的网络结构使注意力图能够基于不同尺度感受野的特征图生成,进而让注意力图能够对有效对特征中多尺度信息进行关注。2、提出一种基于卷积核注意机制的CNN结构优化算法,称之为卷积核注意模块(Kernel Attention Module,KAM),针对传统作用于特征图的注意模块(Feature Attention Module,FAM)为了减少参数及计算量,只能选择性的对特征图的通道或空间维度加载压缩后注意力图的问题。KAM改变注意力图作用位置,首先对卷积核加载注意力图,然后使用处理后卷积核与输入特征的卷积操作得到输出。该方法只需要生成卷积核尺度的注意力图不仅有效降低了计算量,而且得益于卷积操作的特性,作用于卷积核的注意力图将以间接的形式同时影响卷积输出特征图的通道和空间维度,从而避免丢失特征图通道或空间注意信息的丢失。为了验证算法的有效性,本文将提出的注意力模块嵌入不同的CNN网络结构中,并在不同的计算机视觉任务上进行相应的实验。实验结果表明,当使用ResNet18为基准网络时,在分类任务和语义分割任务上,MSAM的分类准确率能在不增加参数量的情况下,比Res2Net模块分别提高0.42%和0.35%,KAM的分类准确率能在降低计算量的情况下,比压缩和激励(Squeeze and Excitation,SE)模块分别提高1.09%和0.67%。
其他文献
图像隐写术是多媒体安全领域中的一种常用技术,它主要通过对图像载体的像素值或DCT系数的轻微修改来嵌入秘密信息。随着图像隐写术的发展,隐写分析术的目的则是检测图像中是否存在秘密信息。隐写和隐写分析一直在对抗博弈中共同发展,基于最小失真框架的隐写和基于有监督学习的隐写分析成为主流的研究方法。为了提高隐写的安全性能,图像内容自适应隐写算法将修改集中到隐写分析器难以建模的纹理复杂区域。随着深度学习技术在图
二维码由于其成本低和使用方便等特性,得到了广泛应用。为了抵抗非法复制(Illegitimately-Copying,IC)攻击,现有的防复制二维码通过隐藏认证信息来提高其安全性,如最新提出的:2LQR二维码(Two-Level QR code)、LCAC二维码(Low-Cost Anti-Copying 2D barcode)和STAC二维码(Superimposed-Tag Anti-Copyi
随着高效的视频编码技术和计算机网络的普及,数字视频已经渗透到人们生活的方方面面。视频一方面作为娱乐产品丰富人们生活,另一方面在司法取证和公共安全中也扮演着重要的角色。视频处理技术的发展和视频编辑软件的涌现,使得普通用户轻易就可以完成视频内容的修改。不法分子通过篡改视频内容达到造谣、嫁祸他人目的的案例越来越多。因此视频原始性取证分析技术对个人权益和社会的稳定都具有重要的作用。本文针对视频原始性证实的
深度学习近年来得到了快速的发展,在计算机视觉,自然语言处理等众多领域有着优越的表现,催生了一系列智能产品的落地。而深度学习的本质是在大数据支撑下,由多层神经网络堆叠形成的信号处理系统,具有参数量大,计算复杂度高等特点,需要依靠高性能的服务器端来处理庞大的网络参数运算与更新。很多时候,出于响应时间、隐私方面和服务稳定性的考虑,更希望将这些网络模型放在移动终端上运行,而移动终端的运算资源及计算能力有限
模型压缩与优化是当下深度学习领域的研究热点之一,致力于解决深度神经网络(Deep Neural Network,DNN)模型过度冗余,参数过大导致的运算量或存储要求过高的问题。当前主流的基于低秩与稀疏分解的网络压缩方法没有整体考虑权重的这两种特性,忽略了它们之间的关联。其次,模型压缩涉及的超参数,如秩、稀疏度等的搜索空间极大,高度依赖领域专家经验进行选择。此外,在稀疏网络的学习中,网络连接结构与模
随着计算机技术和互联网的发展,视频正成为人们获取和交流信息的主要载体,其中视频监控越来越成为社会发展和人们生活不可或缺的一部分,如何使用计算机技术进行视频中的人类行为分析识别成为近年来的研究热点。本文在以光流信号为运动信息表征的传统双流卷积神经网络的基础上,提出以帧间差分图像序列作为时间流网络输入,运用Res Net-18网络结构建立双流网络模型实现视频中人体行为识别的方法。并对传统双流网络的数据
由于二维码独特的光学可见性,容易受到非法复制(Illegitimately-Copying,IC)的攻击。IC攻击不仅阻碍了二维码的推广使用,也对商家和用户造成了不可避免的经济损失。早期的防复制二维码主要利用特殊打印材料或特殊打印技术来设计的,导致了以下缺陷:生产成本高和通用性低。最近,有研究者通过分析非法信道特性,提出了新的防复制二维码,比如2LQR二维码(Two-Level QR Code)和
计算机视觉技术的快速发展为海量监控数据提供了多种自动化分析解决方案,就行人信息而言,现有的解决方案多是专注于目标检测、目标跟踪等低层算法,因此行人信息的分析方法仍待向中高层算法方向继续深入研究。由于行人的特性可通过年龄、性别、携带物等属性来推断,行人未来的意图能通过当前时刻的具体行为来预测,因此研究行人属性识别与行人异常行为分析对智慧安防等领域有着重要的意义。为了在真实监控场景下能更加鲁棒地提取出
新媒介消解了群体参与新兴文化塑造的壁垒,拓展了对日常现象的反思维度。其中,电子游戏作为新兴文化产业的翘楚,以惊人的爆发力迅速成为当下的潮流文化之一。但国内对其看法较为片面和保守,尤其是对电子游戏内涉及到暴力和死亡的场景,人们多表现出反感或排斥的态度。的确,不论是游戏结束(game over)或是所扮演的游戏内角色死去,“死亡”都是大部分电子游戏作品所无法回避的,但在角色扮演类电子游戏中,玩家可以通
深度卷积神经网络是计算机视觉领域非常有效的方法。海量增长的图像数据和日益普及的智能设备都要求快速、准确地理解图像的内容,并自动分割识别出图像中的目标物体。图像分割的任务是在给定的图像中检测出是否包含某类目标物体,并标注出图像中每个像素所属的对象类别,描绘出每个物体的边界,最终获得一幅具有像素语义标注的分割图。图像中目标物体的检测与分割对于计算机视觉的发展具有十分重要的意义,在实际的工程应用中也具有