基于深度学习特征的近重复图像检测算法研究

来源 :南京信息工程大学 | 被引量 : 0次 | 上传用户:snowmanuser
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
现有的基于深度学习的近重复图像检测算法主要依赖于CNN(Convolutional Neural Network,卷积神经网络)特征。相比于传统的手工设计特征,虽然一些基于CNN特征的近重复图像检测算法取得了较大的提升,但现有的方法往往单一地提取图像的全局CNN特征或者局部CNN特征,未充分结合考虑全局CNN特征和局部CNN特征的优点,因此在检测的准确率和效率上仍存在较大的提升空间。并且对于近重复图像中具有高度视觉相似性的相似图片和拷贝图像,由于现有的方法忽视了其本质关系,因此不具备区分拷贝图像和相似图像的能力。鉴于上述不足,本文提出了两种基于深度学习特征的近重复图像检测算法。(1)基于全局CNN特征和局部CNN特征的近重复图像检测算法为了充分发挥全局CNN特征和局部CNN特征的优点,本文提出了一种基于全局CNN特征和局部CNN特征的近重复图像检测算法。该算法总共包含两个特征匹配阶段,分别是粗匹配阶段和细匹配阶段。在粗匹配阶段,该算法提取并匹配全局CNN特征,以此快速地过滤掉大部分无关图像。紧接着,为了进一步地提升检测精度,在细匹配阶段,该算法提出了一种新的局部特征提取方案。首先,筛选CFMs(Convolutional Feature Maps,卷积特征图)上卷积激活值较大的特征点,然后根据这些特征点及其周围邻域框选出局部区域块。此外,该算法还在细匹配阶段引入了视觉注意力机制,通过视觉显著性检测,获取人眼感兴趣的图像区域作为上述局部区域块的补充。由于结合了全局CNN特征和局部CNN特征的优点,且得益于提取局部CNN特征的合理性,该算法能在满足实时检测的同时,维持较高的检测精度。(2)基于残差域深度学习特征的拷贝图像检测算法为了更好地区分视觉相似度较高的拷贝图像和相似图像,本文提出了一种基于残差域深度学习特征的拷贝图像检测算法。该算法首先提取并匹配原始图像和待检测图像的SIFT(Scale Invariant Feature Transformation,尺度不变特征变换)特征,然后,依据SIFT特征包含的尺度信息、方向信息以及位置信息,将原始图像和待检测图像进行图像配准。配准后,分别提取原始图像和待检测图像上的重叠区域,再将提取到的两块重叠区域逐像素作差值运算以生成残差图像。另外,为了使得卷积神经网络更适用于拷贝检测任务,该算法还对经典的Res Net18网络进行了结构优化。最后,将残差图像送入优化后的Res Net18网络中进行特征学习和预测分类。大量的实验证明,与现有的先进算法相比,该方法能在保证检测效率的同时维持较高的检测精度,且对于视觉相似度较高的拷贝图像和相似图像具备较强的辨识能力。
其他文献
卫星云图在天气分析和预报中起着重要的作用。然而卫星云图的空间分辨率逐渐不能满足气象监测日益增长的需求。使用超分辨率(SR)方法提高分辨率有助于识别和定位天气系统。此外,预测卫星云图中云移动演变信息有助于实现更准确的天气预报。然而卫星云图预测方法的复杂性限制了预测云图的空间分辨率。通过卫星云图SR算法可以得到更高分辨率的预测云图。本文基于深度学习的方法,研究了卫星云图SR和预测问题。主要结论如下:(
本文基于TIGGE资料集下欧洲中期天气预报中心(European Centre for MediumRange Weather Forecasts,ECMWF)的集合预报数据,以及对应的ERA-Interim再分析资料及中国降水融合数据,对中国东南部地区(20°N-36°N,106°E-125°E)24-168h预报时效的2m气温及24h累积降水进行概率预报试验。首先使用前馈式神经网络(Feedf
认证协议在保障智能家居环境下用户数据和隐私安全发挥着重要的作用。然而,当前智能家居认证协议面临着众多的挑战。一方面,智能家居设备大多采用无线连接的方式接入网络,由于其开放性、异构性的特点,易遭受中间人攻击、消息窃听等多种安全威胁。同时,智能家居中还普遍存在密码设置简单、用户认证凭证丢失、缺乏安全加密机制等问题。现有的认证协议未能综合考虑智能家居面临的安全威胁,无法满足用户隐私保护需求。另一方面,智
量子机器学习是量子信息领域内新兴的子课题,其将量子计算潜在的加速能力和经典机器学习模型的学习和适应能力结合在一起,尝试提出全新的量子机器学习算法或经典机器学习算法的对应量子方案。随着量子计算机在计算规模和稳定性方面的突破,量子机器学习的研究也在不断深入。本文主要研究对象是基于参数化量子电路(PQC)的量子生成对抗网络(QGAN),是经典生成对抗网络在量子领域的扩展,通过量子生成器和判别器的对抗性训
气象探测对农业生产、防灾减灾、交通与能源安全、国防等领域都具有重要意义,气象传感器是为气候变化观测、数值天气预报等应用提供原始测量数据,在气象行业发挥不可或缺的作用。本文设计了一种可适用于探空仪搭载的“Y”型结构云水含量传感器,用于测量云中液态水含量,针对性解决了传统测量仪器人工操作困难、消耗功率大等问题;本文亦提出了一种阵列式温度传感器,可降低太阳辐射误差,提高温度观测精度,可用于地面气象站或由
强化学习是机器学习领域重要的研究之一,在移动机器人导航技术方面有许多应用。但是当前强化学习算法都有收敛速度慢,环境适应能力差等很多问题,而且在现实应用中需要高昂的训练成本,所以给移动机器人导航的应用带来了诸多困难。因此,针对以上问题,本文主要完成以下工作:(1)通过Gazebo仿真环境搭建仿真环境和ROS仿真移动机器人,并且通过ROS操作系统在真实环境中搭建移动机器人平台。(2)针对目前机器人导航
日常生活中人类的各种活动都与天气现象息息相关,天气现象的实时自动识别在自动驾驶、智慧交通、智能监控等方面都具有重要的研究价值和广阔的应用前景。近年来,随着深度学习在机器视觉领域的迅速发展,由于卷积神经网络能够提取天气图像中丰富、抽象、深层次的语义信息,本文基于深度学习对天气现象识别算法进行研究。针对目前天气现象识别方法存在的挑战和问题,本文的主要研究工作如下:(1)本文构建了一个含有更多类别的六类
地物覆盖监测在土地资源管理、生态系统保护和可持续发展等方面发挥着越来越重要的作用。利用遥感数据进行地物覆盖分类是量化土地资源并监测其变化的有效方法。作为新型的主动遥感技术,多光谱激光雷达(light detection and ranging,Li DAR)系统可同时获取地物的表面几何和光谱信息,已成为一种快速获取大范围空间数据的手段,为环境建模、灾害响应、地物覆盖分类等研究提供新的数据源。然而,
随着社会经济的发展,雾霾污染变的日益严重,对人们的生活造成了严重的影响。PM2.5作为雾霾浓度数据中的主体,受到了学术界和工业界的广泛关注。目前已有大量的PM2.5预测模型被提出。然而,PM2.5的来源的多样性给准确的预测出其浓度值带来了挑战。不仅如此,雾霾污染数据具备线性化,差分化的特点,普通的预测方法无法兼顾这些特点,这也给雾霾预测带来了挑战。为此,本文从雾霾特征的角度出发,通过寻找各特征间的
大气电场是大气电学的基本参数,晴天时地面具有垂直向下的大气电场,雷暴天气时地面大气电场显著增强。地面大气电场的观测和研究对减少雷电灾害、大气电学研究、保障航空航天活动具有重要的意义。大气电场仪是测量大气电场的基本仪器。大气电场仪的有效标定、数据修正和异常值检测是提高观测数据质量的重要手段。大气电场信号具有非平稳信号的特征,利用非平稳信号处理方法,结合机器学习算法,分析不同天气状况下的大气电场,为雷