利用多尺度及多域特征的换脸视频篡改检测算法

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:aiwho
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度学习技术的出现降低了数字媒体编辑的技术门槛,在影视制作、生活娱乐等领域具有良好的应用价值,同时也存在潜在的安全隐患。近年来,Deepfake换脸技术受到广泛社会关注,由其制造的恶意虚假视频的传播对社会舆论和身份信息安全造成了极大的威胁和冲击。由于Deepfake换脸视频带来的安全问题,换脸视频篡改检测已逐渐成为研究热点。目前的换脸视频篡改检测算法在训练数据库上可以达到良好的库内检测性能,但在跨库测试时检测性能明显下降,泛化能力较差,不利于实际复杂场景的应用。针对现有算法存在的不足,本文基于卷积神经网络对换脸视频篡改检测进行研究,具有一定的理论意义和应用价值,具体研究工作如下:1、利用多尺度特征及多域特征对换脸视频和真实视频进行分析,首先通过多尺度空域卷积特征可视化,分析网络不同层级的特征信息差异;然后观察和分析换脸视频在空域上的视觉篡改痕迹,并使用离散傅里叶变换(Discrete Fourier Transform,DFT)特征和光流特征分别验证真假视频在频域和时域上的差异,从而提出两种合理的换脸视频篡改检测思路。2、提出一种基于多尺度空域特征融合的换脸视频篡改检测算法。本文将RGB图像输入卷积神经网络提取空域卷积特征金字塔,并结合自注意力模块增强卷积特征表示。同时设计了基于两种不同融合方式的多尺度空域特征自适应融合及分类模块,以充分利用网络浅层空间细节信息和深层高语义信息。实验结果表明,所提算法有效增强了空域卷积特征的鲁棒性,采取两种不同融合方式的模型在对多个数据库进行跨库测试时,表现出较为稳定的泛化能力。3、提出一种基于多域特征融合的换脸视频篡改检测算法。本文利用RGB颜色特征、DFT特征和光流特征表征图像级别上的空域、频域和时域信息,并构建多路卷积神经网络进行多域篡改特征提取和融合。同时引入通道注意力机制优化各支路特征学习,以促进多域篡改特征的有效融合。实验结果表明,所提算法通过充分利用空域、频域和时域篡改信息,增强了分类特征的鲁棒性,进一步提高了算法的泛化性能。
其他文献
近年来,随着我国工业的迅速发展,工程塑料的需求日益增长。特别是在高温高电流的苛刻环境下使用时,为了防止构件燃烧或发生漏电起痕,材料应该具有优良的阻燃性能和耐漏电起痕性能。尼龙66(PA66)具有良好的力学性能、耐热性能、加工性能和电气性能等,被广泛应用于汽车工业、机械设备和电子电气等领域。但PA66以及玻纤增强PA66复合材料的阻燃性能较差,限制了其在电子电气领域的进一步应用,因此需要对其进行阻燃
近十几年来,特征模理论(Theory of Characteristic Mode,TCM)因其可直观地提供天线清晰的物理特性在天线的指导设计中体现出独特的价值,已经广泛地应用于天线领域中。然而,模式分析的准确性与模式追踪方法关系密切,因此,设计一种准确、快速且简单高效的模式追踪方法是成功应用特征模理论的关键。另一方面,无线通信系统朝着小型化和低损耗发展,将两个或多个功能集成在一起的功能集成器件受
天麻素,是中药天麻中的一种天然活性成分,在临床上主要用于镇静,镇痛,眩晕及心血管疾病等。研究表明,天麻素通过多种机制作用于脑神经疾病,是潜在的中枢神经疾病治疗药物。然而,天麻素为亲水性小分子物质,在脑部药物传递中具有不易透过血脑屏障,作用时间短,脑部代谢速度快等缺点,限制了其开发与应用。对天然物质进行酰化改性以增强其脂溶性已被证明是一种增强药物血脑屏障渗透率、延长药物作用时间的有效措施。针对目前化
鲜味是消费者追求的美味之一,也是高端调味品具有的重要品质。除了鲜味物质(指本身具有鲜味的化合物,如味精、呈味核苷酸二钠等),增鲜化合物是鲜味调味料中另一重要成分,它与鲜味化合物有协同增效作用,能显著提升其鲜味强度,对调味料的鲜味特性有突出贡献。目前有关研究多集中于鲜味化合物,对增鲜化合物研究相对较少,限制了高鲜基料的开发与利用。豆粕酶解物主要由脱脂大豆粕经蛋白酶酶解制得,产物富含呈味肽。本文以豆粕
城镇化是国家现代化的必由之路。党的十九届五中全会通过的《中共中央关于制定国民经济和社会发展第十四个五年规划和二〇三五年远景目标的建议》,提出“推进以人为核心的新型城镇化”,明确了新型城镇化目标任务和政策举措。特色小镇作为一种微型产业集聚区,具有细分高端的鲜明产业特色、产城人文旅融合的多元功能特征、集约高效的空间利用特点,在推动经济转型升级和新型城镇化建设中具有重要作用。特色小镇在注重产业发展的同时
冠心病(coronary artery disease,CAD)是最常见的心血管疾病,它的病理基础是动脉粥样硬化。研究表明长链非编码RNAs(long noncoding RNAs,lncRNAs)的失调与冠心病的发生和进展密切相关,但是到目前为止关于它们在CAD中的病理或者生理功能机制的了解是非常有限的。缺血性心肌病(ischemic cardiomyopathy,ICM)被认为是CAD的一种特
近些年来,移动机器人技术是科学研究发展最快的领域之一。移动机器人根据其不同的能力可以在许多领域替代人类,其主要的功能包括巡逻、监视、紧急救援行动、石化应用、工业自动化、行星探测、极端环境中的运输、医疗等,以及许多其他工业和非工业应用。移动机器人导航是当前移动机器人应用领域中的重要研究分支,主要可以分为自主导航、机械遥控导航、共享-自动导航。传统自主导航技术中缺乏灵活性,而且无法实时与使用者进行交互
史料实证素养作为历史学科核心素养的重要部分,更是其他素养实现的必要途径。为此,以史料实证为出发点探究其在高中历史课堂中的落实,不仅能够达到课程立德树人的根本任务,同时运用有效史料建构教学过程,促进学生理解和领悟历史知识,发展历史思维,形成实证意识。本文基于“两宋的政治和军事”一课,对史料实证素养的落实做出分析,以促进学生史料实证素养的培养和发展。
股票市场作为金融市场的重要组成部分之一,几十年来一直备受关注。对股票指数涨跌趋势的预测和交易模型的收益分析一直是研究者和投资者关注的焦点。对于股票指数涨跌趋势的预测,本文通过构建一个基于遗传算法优化的卷积神经网络和长短时记忆的混合模型来展开研究。首先改进了用作模型输入的三维张量,然后使用卷积神经网络进行特征提取,再利用长短时记忆网络对提取出的特征向量进行分类预测。最后,使用遗传算法对卷积神经网络和
人民生活水平的提高带来了汽车需求的提升,随之而来的是频发的交通事故,研发安全的汽车辅助驾驶系统成为了当务之急。而车道线检测是汽车辅助驾驶的重要组成部分,车道线信息在汽车行驶过程中是车辆有无偏离车道的重要参考,对汽车安全行驶有重要意义。为此,研究人员在车道线检测问题上展开了深入研究。传统的车道线检测算法依靠人工设计特征,鲁棒性较差,且无法应对复杂的城市街道背景。随着深度学习技术的崛起,以卷积神经网络