【摘 要】
:
随着基于深度学习的算法出现,各种计算机视觉应用都取得了令人瞩目的进步。但是,大量现有工作已经清楚地证明了深度神经网络(DNN)容易受到对抗样本的攻击。而对抗样本攻击就是在输入数据中添加细微的、人眼不易察觉的噪声,从而误导深度网络模型的预测。这些对抗攻击的存在有利于研究人员了解深度网络模型的脆弱性。目标攻击是指攻击方想要将模型预测结果改变为某些提前指定的目标类别中。而目标攻击又可以根据攻击者对于所攻
论文部分内容阅读
随着基于深度学习的算法出现,各种计算机视觉应用都取得了令人瞩目的进步。但是,大量现有工作已经清楚地证明了深度神经网络(DNN)容易受到对抗样本的攻击。而对抗样本攻击就是在输入数据中添加细微的、人眼不易察觉的噪声,从而误导深度网络模型的预测。这些对抗攻击的存在有利于研究人员了解深度网络模型的脆弱性。目标攻击是指攻击方想要将模型预测结果改变为某些提前指定的目标类别中。而目标攻击又可以根据攻击者对于所攻击模型的了解程度,将其进一步分为白盒目标攻击和黑盒目标攻击,而本次研究主题将选择其中难度最大的黑盒目标攻击进行研究,在这类攻击的限制下,攻击者对于所攻击的模型内部结构以及训练参数等一无所知,只能通过输入输出与模型进行交互,并需要最终误导模型分类出指定的类别。而这一类攻击目前的难点在于在复杂数据集的分类任务中存在的白盒目标攻击成功率低以及黑盒目标迁移率低,难以在兼顾白盒与黑盒场景的情况下有效地实现误导分类模型。为了解决上述问题,我们创新性地提出了一种基于特征激活的可迁移的对抗样本攻击方法(Transferable Attentive Attack),本次研究贡献和创新包含以下几点:第一,在特征空间中利用一个三元组损失函数破坏特征空间中被激活的特征,即将原始图片的特征推出原本类别的区域,同时将其拉向目标类别的区域中,从而得到黑盒目标对抗样本。第二,为了进一步提升对抗样本的迁移性,本文提出一种新的策略运用于三元组损失函数中,即在特征空间中选取被攻击图片的类别中被成功分类的图片的质心作为损失函数的负样本,并选取目标类别中那些被成功分类的图片的质心作为损失函数的正样本,最后原始图片的特征作为锚样本,这三组样本共同组成三元组损失函数。第三,本文提出了一个更有效的激活特征产生扰动的策略:由粗至细策略,即分别在深度神经网络的低层和高层使用一个三元组损失函数并共同优化。最后,为了能对黑盒目标攻击做出公平且有效的评估,本文还针对原有的评价指标的缺点,提出了两个新的评价指标u TR@n(Untargeted Transfer Rate From Top N)和t TR@n(Targeted Transfer Rate From Top N),并且通过实验证明了用此方法生成的对抗样本能够跨任务迁移,比如视觉问答任务(VQA)。最后,经过大量实验证明了本文提出的方法以及相应的策略的有效性。
其他文献
近十余年来,以深度神经网络为主的机器学习技术取得了长足的进步,这得益于高性能计算软硬件和实际应用的不断发展。现如今已有大量组织和企业提供基于机器学习系统向大众提供服务,例如面部、语音识别、照片优化等等。深度神经网络对算力的需求也不同以往,因此对分布式神经网络系统的需求也逐渐增加。另一方面,在边缘计算应用的不断深入,云端、边缘和终端的分层网络日渐成熟,这带来了更丰富的数据来源、计算设备、应用需求和隐
无人驾驶系统是一个非常庞大,复杂的各种高级模块组成的综合性系统,在满足基本驾驶功能的同时,更重要的是作为智能系统,需要和人类进行交互,分析人类的驾驶意图,将人类意图结合到驾驶策略中。同时,为了能够更加安全的确保驾驶过程的安全以及驾驶意图的正确执行,智能驾驶系统需要能够感知并分析驾驶员/乘客的状态,从而确保命令的正确下达与驾驶过程的相对安全,因此本文从两方面出发建立基于深度学习的驾驶决策分析系统,一
近年来,深度学习在许多领域得到了广泛的应用,也有许多针对多任务的深度模型。多任务学习在建模的过程中,既需要考虑任务之间的差别,避免负向的增长,又需要考虑到任务之间的共同之处。多任务学习的优势也正在于此。在现实世界中的有些任务间存在千丝万缕的联系,分解成多个子任务去独立求解是不正确的。而在实际的任务中,通过更多任务的辅助或者对照,可以帮助关注到最重要的特征,提升泛化性,提高性能。但基于深度学习的多任
随着人工智能技术不断发展,当今社会,语音不仅仅是人类之间通信交流的手段,也成为人机交互的重要桥梁。近年来,语音识别技术发展飞速,开始逐渐应用到各个领域。深度学习的加入,使得语音识别的准确率有了质的飞跃,但是伴随而来的是网络模型越来越大,难以在嵌入式设备上移植和使用。而且语音数据存在一定的隐私性,存在收集困难的问题。并且在实际的语音场景中,总是存在各种噪音,包括但不限于环境噪声、设备噪声、发动机噪声
近年来,随着深度学习和计算机技术的快速发展,图像分类技术已逐渐趋于成熟,其应用在日常生活中的各个领域也十分常见。然而,细粒度图像分类作为图像分类的重要的一个分支,相较而言更具有挑战性,还需要进一步发展。普通图像分类一般是区分不同的大类,不同类型图像之间的差异较大;而细粒度图像分类需要在同一个大的类型下区分不同的子类型。因此,细粒度图像不同子类之间的差异很小,具有类间方差较小而类内方差较大的特性。其
人体检测是当前机器学习领域研究的热点,该技术在虚拟现实、自动驾驶等领域有非常重要的意义。随着深度学习的快速发展,人体检测技术已经取得了不错的进展。但当前人体检测算法在复杂场景下仍然面临目标多尺寸、遮挡等问题,检测精度和速度往往顾此失彼,使得该技术在现实应用时受到一定约束。此外,智能安防、人机交互等领域迫切需要对人体提取更高级的语义信息,即人体行为识别。人体行为与人体姿态联系紧密,尽管基于人体姿态的
近年来,图像超分辨率重建算法的研究取得了重大进展。一般情况下,和较低分辨率图像相比,高分辨率图像可以展示更充分的纹路、更明显的边沿架构,使人类从中获取到更多的有助于图像理解的信息。所以高分辨率的图像更有利于后续对于图像进行分解、处理和应用,同时也可以提高人类的视觉享受。图像超分辨率主要是通过低分辨率图像恢复图像细节,生成对应的高分辨率图像。通常来说,网络越深重建的图像效果越好。但是不计后果地增加网
随着现代科技的革新与发展,海量的互联网用户数据在网络中产生,然而集中式地将数据收集到数据中心的传统方法具有很高的风险与成本,在机器学习中保护隐私的迫切需求促使了联邦学习技术的诞生。而边缘网络的发展让网络服务得以从云端下沉到边缘,硬件设备能力的提升也促进了边缘计算的普及,这使得联邦学习的分布式架构能够灵活地应用于网络中。然而,尽管这项技术能够协调大量的用户在其设备上完成训练任务。但联邦学习要求服务器
深入理解图像的语义信息是计算视觉领域发展的关键,然而在视觉任务中,高级语义信息的获得并不容易,这导致视觉场景图的生成成为一项极具挑战性的任务。视觉场景图生成能帮助本文获得更高阶的语义信息,它作为桥梁连接了物体检测和场景理解,在物体检测的基础上,对物体之间的关系进行建模识别,并使用“主语-谓词-宾语”这样的三元组结构表征物体间的有效关系,最终通过连接这些三元组构成一幅有向的视觉场景图。尽管以往的工作
传统的图像分类任务在很大程度上取决于大规模的数据集,该数据集可为所有类别提供经过标记的样本。但是,在现实世界中,图像的类别遵循长尾分布,其中大多数类别很少出现,因此很难为这些类别收集大量标记的样本。另一个挑战是新定义类别的爆炸式增长,为这些新类别找到足够多的范例是非常困难的。近年来,为了解决这些类别的分类问题,零样本学习得到了广泛的研究。人类可以通过现有的知识动态地创建新的类,而不需要视觉数据。例