基于结构稀疏的神经网络对抗学习方法研究

来源 :南京信息工程大学 | 被引量 : 0次 | 上传用户:ssaifengchen
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,深度学习技术的飞速发展,越来越多的人工智能产品也能落地了。伴随着深度学习技术在安防监控,银行金融,自动驾驶等安全敏感任务上的应用,深度学习模型作为一个黑盒的端到端模型,其安全性和隐私性也越来越受到人们的关注。对抗样本技术更是成为了深度学习研究的热门领域。虽然基于极大极小值优化的对抗训练方式成为了防御对抗样本攻击的最有效方法,但是对抗训练中存在两个问题:对抗训练比正常训练需要更大的模型容量,导致鲁棒模型中存在很多的冗余参数;对抗训练内部极大值通常需要大量的时间去求解优化,导致模型的训练过程比正常训练消耗非常多的计算资源。本文从模型结构稀疏的角度去解决这两个问题:(1)对于过参数化的鲁棒神经网络,从模型压缩的剪枝角度展开去直接裁剪掉冗余的模型参数。本文首先对鲁棒网络进行了彩票假设实验,通过一定的实验论证了在鲁棒网络中彩票假设并不成立。然后为了有效的压缩鲁棒网络,本文对鲁棒网络的权重分布进行可视化展开并发现了模型的鲁棒性,模型精度和稀疏性之间存在Trade-off的关系,而且鲁棒模型中间的参数对稀疏敏感度较高,根据这一稀疏特征本文提出一种基于稀疏敏感度分层剪枝算法对鲁棒网络进行压缩。最后将本文的压缩策略与经典的网络压缩算法结合进行实验。实验结果表明本文的方法不仅可以实现在保证鲁棒精度的前提下有效压缩鲁棒模型,而且在黑盒攻击下本文算法得到的稀疏子网络的精度甚至可以超过原始网络。(2)为了缓解基于优化的对抗训练的耗时问题,本文同样从模型的结构稀疏角度出发。通过对比单步对抗训练和多步对抗训练的之间的差异,发现在单步对抗训练中存在着严重的过拟合问题。本文模型大小角度缓解这个过拟合问题,通过结构稀疏来限制模型训练过程中模型的大小,本文提出一种基于结构稀疏的随机单步对抗训练,通过把模型结构的稀疏性和随机单步对抗攻击结合起来,实现提升单步对抗训练的模型鲁棒性的效果。在Mnist和Cifar-10公共数据集上的实验结果表明了本文方法的有效性,对比其他的快速对抗训练的方法本文的方法也有一定的精度优势。
其他文献
学位
冰云的模拟是气候模式云微物理方案中的薄弱环节。本研究基于通用大气模式(Community Atmosphere Model,CAM)中使用的双参数云微物理方案(MG方案),将其中用于描述冰晶半径分布的谱形参数()从默认为零拓展为可调参数,进而研究对冰相云微物理过程、云特征、云辐射强迫、降水以及人为气溶胶通过冰云间接效应的影响。在给定冰晶谱中截距和斜率参数的情况下,离线测试与相关微物理过程公式。结果
随着计算机科学技术的发展,人工智能逐渐走进人们的生产生活中,促进了社会生产生活模式的转变。饮食作为人类日常生活的重要组成部分,出现了许多与饮食相关的研究,菜品识别是进行其它饮食相关研究的基础,基于人工智能技术的菜品识别是目前比较热门的一个研究领域。目前深度学习已经在图像识别、目标检测、自然语言处理等多个领域得到了广泛应用。针对中餐菜品种类繁多、食堂人工结算效率低下的问题,本论文开展了基于图像识别技
车辆目标检测技术是自动驾驶的关键技术之一,它要求实时并精确地获取车身周围的车辆信息,以提升驾驶人员的主动安全性。现阶段的车辆检测方法大都基于深度学习,可划分为两类:两阶段检测算法和一阶段检测算法。两阶段算法检测精度较高,但检测速度还达不到实时的要求;一阶检测算法基本满足实时要求,但检测精度较低。YOLOv3作为工业界常用的一阶段检测算法,兼具较好的实时性与检测精度,但将其应用于车辆检测场景时,实时
近年来,霾污染严重危害人类身心健康和影响社会经济发展,已成为中国最受关注的环境问题之一。本文利用统计分析和数值实验,揭示了华北地区前冬霾日数与9–10月波弗特海西部的海冰之间的显著正相关关系(R=0.51)。海冰正异常通过辐射冷却作用,造成波弗特海和阿拉斯加湾的地表风速降低,在随后的11月出现海面变暖的现象。白令海、阿拉斯加湾的海温异常起到了桥梁的作用。温暖的洋面通过加热上方大气,形成了有利于霾污
为了提高人类主动应对全球气候变化的能力,科学家们提出可以通过地球工程人为地为地球降温。其中,卷云稀疏化作为影响地气辐射平衡的地球工程方法开始受到广泛关注。为充分发挥卷云稀疏化的全球降温潜力,本研究对以往研究中使用的卷云播种方法进行了改进并使用第五版本通用大气模式(Community Atmosphere Model version 5,CAM5)进行模拟试验。首先,对比分析了以往研究中使用的播种方
声源定位技术是利用时延估计、波束形成等算法,处理采集到的声波阵列信号,得到声源目标方位的技术,在声呐、噪声检测、故障诊断、智能产品等领域具有广泛和潜在应用前景。随着机器人技术的发展,将声源定位技术和机器人平台相结合,可以更好地实现对声源目标的定位。机器人声源定位一方面可以辅助机器人感知周围环境中声源目标的方位,另一方面还可以利用机器人移动的特点,测量声源目标的相对距离,解决被动声源定位中难以确定声
浙江是我国水稻的主产省份,而直播稻由于具有省力、省工、简化的栽培优点,在浙江栽培面积逐渐扩大,目前占浙江省水稻栽培的36%。但直播稻的产量受气象条件影响波动明显,开展直播稻气候适宜性评价,是保证直播稻高产稳产的重要措施。为此,本文以“甬优15”水稻为材料,在浙江省龙游农业气象试验站进行两年10个分期播种试验,分析了播期对直播稻生长发育及产量的影响,并对ORYZA2000模型进行定标和验证,利用浙江
南海及邻近海区对海洋环境观测有着重大的需求,推动该地区海洋环境观测技术的发展对于实施海洋强国战略具有重要意义。鉴于目前海上观测能力的不足,需要开发一种新的高精度且自动化的海空协同观测系统,这就要求研发多智能体协同控制算法,协同无人艇、无人机等多种智能设备,实现海空协同观测任务。经调研,传统的控制算法过于依赖系统模型参数,也未考虑到通信时延因素对系统的不确定性影响。此外,由于任务不同、约束不同,传统
焦化产品是工业生产的主要原料之一,焦炉炼焦生产过程中焦炉煤气压力是影响焦炭产量和质量的重要参数,目前很多焦化工厂对于焦炉内煤气压力的控制效果并不理想,一方面影响生产效率和质量,另一方面造成了大量的煤气浪费。因此研究焦炉炼焦过程中煤气压力的控制有着重要的意义。在实际焦炉系统中,被控系统通常不是理想系统,内部存在不确定性、非线性以及时滞等多种系统内部因素,另一方面也会受到各类外部干扰的影响,这些因素使