多重攻击下的深度模型水印方法研究

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:dellson
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据时代,每天的商业、科学和社会活动都会产生大量数据。数据来自于传感器、流媒体、卫星、医学图像以及与云计算的交互等,数据驱动的决策方法正被应用于医学、商业、广告和娱乐等各个领域。在众多数据驱动的技术中,深度学习是发展最快的技术,并且已经在各个领域取得了巨大的成功。训练一个高性能的深度学习模型(简称“深度模型”)需要高质量的标注数据、庞大的计算资源和设计者的智慧,这使得其具有很高的商业价值和知识属性,因此可以将深度模型视为模型所有者的知识产权。如何保护深度模型的版权,使其为各个产业更好赋能,已成为了数字经济时代一个关键的热点问题。深度模型的版权保护可以看作是版权保护这一问题在深度模型这一新型载体上的拓展。数字水印是保护版权的主要技术之一。受数字水印技术的启发,深度模型水印(简称“模型水印”)技术应运而生,其主要目的是在深度模型中嵌入水印信息,在模型被攻击者伪造或窃取之后,模型拥有者可以从这些非法模型中提取出之前嵌入的水印,从而进行所有权的验证。根据验证阶段是否可以获取非法模型的内部信息(如模型权值或模型结构),模型水印进而分为白盒模型水印和黑盒模型水印两种模式。作为一个新兴的研究领域,模型水印技术面临着诸多挑战:白盒模型水印和黑盒模型水印分别面临着混淆攻击和窃取攻击的威胁;此外,模型水印还需要抵抗自适应攻击,以便在实际攻防场景下进行有效的所有权认证。针对以上存在的关键科学问题,本文首先研究白盒模型水印如何抵抗混淆攻击和黑盒模型水印如何抵抗窃取攻击。之后,本文进一步研究了抗自适应攻击的黑盒模型水印。最后,本文提出了一种能抵抗多重攻击的黑盒模型水印算法。本文的主要工作和创新点如下:1.抗混淆攻击的白盒模型水印混淆攻击指攻击者试图使用一个伪造水印通过所有权认证,破坏原始水印的唯一性,进而造成取证阶段所有权的混淆。然而,现有的黑盒模型水印方法都无法抵抗混淆攻击,只有少数白盒模型水印方法能抵抗混淆攻击,但是具有使用的局限性,即此类方法需要改变原始模型的网络结构,这会导致模型原始任务的性能下降。为此,本文首先分析了现有方法存在局限性的原因,进而提出了一种实际可行的抗混淆攻击的白盒模型水印算法。该方法基于一种新的具有护照识别功能的归一化设计,适用于大多数现有的模型结构,因此,它不会导致目标模型的网络结构发生变化。和现有方法相比,只需添加一个具有护照识别功能的分支,即可满足在不改变原始模型结构的前提下抵抗混淆攻击的要求。具体来说,这个新的分支与目标模型联合训练,但在推理或部署阶段会作为其私有模块被模型拥有者从模型中移除。在所有权验证阶段,再将私有的护照识别分支添加回目标模型,以进行所有权验证。大量实验验证了该方法在图像识别和3D点云识别任务中的有效性。2.抗窃取攻击的黑盒模型水印窃取攻击指即使目标模型以应用程序接口(即API)的方式进行封装,攻击者仍可以通过不断访问模型API的方式,来获得大量高质量的标注数据,进而在有监督学习方式下训练自己的替代模型,达到窃取目标模型功能的目的。现有的白盒模型水印方法很难抵抗模型窃取攻击,只有少数黑盒模型水印考虑了窃取攻击问题,但是都只关心分类模型,缺少对价值更高的图像处理模型的研究。为此,本文提出了一个新的模型水印框架,用于保护更具价值的图像处理模型。具体来说,在目标模型之后添加了一个特殊的与原始任务无关的模块,使原始模型的输出中嵌入一个统一的、不可见的水印。当攻击者进行窃取攻击时,攻击者训练得到的替代模型的输出中也将含有此水印,原始模型的拥有者可以借此证实所有权归属。为了增强水印提取端的提取能力,进一步设计了两阶段训练策略。实验表明该方法能够抵抗不同网络结构和目标函数下的模型窃取攻击。除了保护深度模型的版权,该方法也可以用于珍贵的模型训练数据的版权保护。3.抗自适应攻击的黑盒模型水印自适应攻击指攻击者可以在了解模型水印方法的前提下进行针对性攻击,进而使模型版权认证失败。以常见的基于触发后门的黑盒模型水印方法为例,攻击者可以通过异常检测或者数据预处理的方式检测触发模式或擦除后门,从而破坏水印的验证。本文发现在此类自适应攻击下,大多数模型水印方法都不鲁棒。为了增强模型水印在此类自适应攻击下的鲁棒性,本文提出了一种鲁棒且隐蔽的触发后门生成方法。具体来说,该方法首先提取载体图像的图像结构,并将水印信息嵌入到这些结构区域,从而生成触发模式。由于图像结构可以在数据预处理过程中保持其语义性不变,因此这种触发模式对数据预处理具有强鲁棒性。之后,本文利用深度网络将这种触发模式嵌入到载体图像中实现隐蔽性以躲避异常检测。通过大量实验,本文证明了所提出的触发后门生成方法适用于不同的数据集和网络结构,而且基于此的黑盒模型水印方法可以灵活地应用到单用户认证和多用户认证等不同的场景。4.抗多重攻击的黑盒模型水印在上述研究的基础上,本文进一步针对具有高商业价值的图像处理模型,提出了抗多重攻击的黑盒模型水印方法,解决在窃取攻击和自适应攻击的多重攻击下的模型水印鲁棒性问题。首先,通过分析多重攻击下的模型水印鲁棒性,本文发现先前模型水印算法使用统一的不可见空域水印,其本质是建立“整体图像一致性”。然而,当攻击者在替代模型训练期间使用一些常见的自适应攻击,如数据预处理时,这种“整体图像一致性”会被破坏,从而使所有权认证失败。为了解决这个问题,本文提出了一种新的水印设计,即基于“结构一致性”的水印设计,并在此基础上提出了一种新的基于结构对齐的模型水印算法。具体来说,嵌入的水印与载体图像的物理结构(如图像边缘或语义区域)对齐。实验结果表明,该方法能够同时抵抗模型窃取攻击和自适应攻击。此外,对于不同的图像处理任务,该方法可以灵活地使用不同的物理结构。
其他文献
ILC1s(type 1 innate lymphoid cells,1 型固有淋巴细胞)与 cNK(conventional natural killer,传统自然杀伤)细胞同属于 Group 1 ILCs(group 1 innate lymphoid cells,第一类固有免疫细胞)。我们课题组首次描述了肝脏特有NK细胞新亚群,后被学界归入ILC1s,并发现在肝脏中ILC1s是优势细胞群,因
学位
低维纳米材料的某一维度的尺寸处于纳米尺度,由于材料的尺寸与电子的相干长度相当,这类材料展现出了各种新奇的物理化学性质。低维介孔纳米材料具有孔径可控、骨架组成可调、形貌多样等结构特征,表现出纳米限域效应、大比表面积等优势,并且可以有效调控气体分子的对流和输运,因此这种材料在隔热、催化等众多领域表现出广阔的应用前景。根据应用需求开发具有特定化学组成和介孔结构的低维纳米材料,有助于提升低维纳米材料的应用
学位
在时分双工(Time-Division Duplexing,TDD)无线通信系统中,基站利用无线信道的互易性估计下行信道状态信息(Channel State Information,CSI),以降低大规模天线系统获取CSI的开销。然而,实际估计的信道响应不仅包含了无线信道响应,还包含射频通道响应。由于收发射频通道使用不同的射频器件,其响应通常不对称,这会造成实际上下行信道的互易性失配。与之前的通信
学位
人们对化石能源的过度依赖与消耗不仅加速着能源危机的到来,还造成了全球气候变暖等严重的环境问题。将大气中多余的二氧化碳(CO2)通过光催化或电催化转化为有使用价值的含碳燃料,是同时解决这两个关键问题的有效手段。不幸的是,受限于CO2的分子惰性和反应过程的复杂性,CO2的还原效率和特定产物的选择性仍不尽如人意。因为CO2的还原反应往往发生在催化剂的表面,所以调控催化剂的表面结构性质可以有效地影响CO2
学位
由于晶格、电荷、自旋和轨道自由度的强烈耦合,八面体骨架结构的钙钛矿型过渡金属氧化物展示出精彩纷呈的物理性质。特别地,锰氧化物因具有庞磁阻、相分离、电荷/轨道序、半金属等物性而备受关注。其不同基态之间能量相近,对于外界微扰颇为敏感,温度、磁场、外延应变、静水压和界面工程等都能够显著调控锰氧化物中各种磁性的序竞争,产生与磁电输运行为密切关联的介观相分离磁织构。另一方面,在原子层级精确可控的La0.67
学位
随着信息化时代的来临,人类越来越需要利用高阶概念性思维去掌握日益增长的知识。在这样的背景下,人们开始利用大观念(也称大概念)来组织单元教学的内容和过程,以促进核心素养培养目标的有效落实。2018年,教育部颁布的高中语文课程标准也提出“使用大概念来优化课程内容,促进学生学科核心素养的生成”,这为教师的教学设计打开了一条新思路。本研究对大观念与语文单元教学相关文献进行梳理、分析,在此基础上构建了大观念
学位
二维纳米材料是一类极具吸引力的新兴材料,在光伏、半导体、催化、能量存储和水污染处理等领域有着广阔的应用前景,受到了科学家的广泛关注。近年来,对于二维纳米材料进行原子精度的微结构调控,如表界面结构构筑、晶相调控和非晶化构筑、空位及缺陷构筑等,可以实现对二维材料表界面原子排布、电子结构的有效控制,从而改善材料的催化活性。二维非晶纳米材料兼备二维结构和非晶态材料的优点,但合成机制的复杂性极大地限制了其发
学位
<正>贵州茅台(600519)在2021年2月18日创出历史新高2627.88元,5月7日股价下跌至收盘价1903元,已跌724.88元,跌幅约28%。当前,笔者预计今年贵州茅台将从最高点下跌1000元左右,跌至1600-1700元之间,那里是2020年7-11月众多新基金建仓贵州茅台的成本线。理由是估值太高,长期看会回归合理。
期刊
随着我国现代果园栽培模式的迅速发展,修剪后产生的大量枝条需要进行机械化处理。目前,仍旧以人工捡拾、运输和集中粉碎处理的传统方式为主流,也出现了使用秸秆原地粉碎机替代作业的现象,存在捡拾率低、粉碎效果差的问题。为了实现果园行间机械化处理枝条,提高地面枝条的处理成功率,改善枝条粉碎机的工作性能,对捡拾喂入机理及其装置进行了深入研究。在处理环节,捡拾喂入装置的性能直接对粉碎机性能起着关键作用。本文以现代
学位
农民专业合作社信用互助业务是我国现代农村金融体系的重要组成部分,在缓解我国农业生产和生活中资金短缺问题、推动乡村振兴等方面发挥了积极的作用。然而,现阶段农民专业合作社信用互助业务一方面在农村有着旺盛的需求,另一方面农民专业合作社信用互助业务的开展容易把大量农户的同质风险聚集形成更大的金融风险,加之监管不到位、风险控制和防范意识不强等原因导致该业务的开展又具有高风险性。因此,农民专业合作社信用互助业
学位