深度学习下细粒度级别图像的视觉分析研究

来源 :南京大学 | 被引量 : 0次 | 上传用户:kr1983
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在传统计算机视觉研究中,图像分析的目标对象隶属类别通常是诸如“狗”、“车”和“鸟”等传统意义上的类别分类。而在许多实际应用中,图像对象往往来自某一传统类别下较细粒度级别的不同子类类别,如不同种类的“狗”:“哈士奇”、“阿拉斯加”、“比熊”等(或不同种类的“车”:“奥迪”、“宝马”、“奔驰”等;或不同种类的“鸟”:“灰海燕”、“绿头鸭”“信天翁”等)。细粒度级别图像分析是针对此类问题的一个计算机视觉领域研究方向,且是计算机视觉领域的热门研究课题,其目标是对上述细粒度级别图像中的物体子类进行定位、识别及检索等视觉分析任务的研究,具有真实场景下广泛的应用价值。然而因细粒度级别子类别间较小的类间差异和较大的类内差异,使其区别于传统图像分析问题成为更具挑战的研究课题。本文基于深度学习网络模型探索了细粒度级别图像分析问题,主要工作包括:1.基于选择性卷积特征描述子融合的细粒度级别图像检索:以往图像检索任务通常针对地标性建筑或通用类别物体,未考虑在细粒度类别场景下如何有效进行细粒度级别图像检索。提出首个基于深度学习模型的细粒度级别图像检索方法SCDA,通过使用开源的深度卷积神经网络预训练分类模型可做到无监督式的细粒度级别物体定位,进而根据定位结果筛选出有价值的卷积特征描述子并去除背景或噪声对应的卷积描述子的影响,之后将保留下的卷积描述子融合,最终以最近邻算法完成检索任务。实验结果显示出SCDA方法比现有传统图像检索方法有更优检索精度,同时证实了卷积描述子筛选机制的有效性。2.基于卷积特征描述子变换的物体协同定位:为进一步提高细粒度级别物体无监督式定位精度,与SCDA方法中仅考虑单张图像信息不同,我们指出应使用图像集合中图像之间的协同信息进行物体协同定位。提出DDT方法,同样利用预训练模型抽取卷积特征描述子,通过提出的特征变换算法衡量描述子之间的相关性进而将图像集合中的共同物体协同式定位出来。实验结果显示出DDT方法比现有其他物体协同定位方法具有更优的定位精度。3.基于卷积特征描述子筛选和融合的细粒度级别图像识别:以往细粒度级别图像识别方法均未考虑在识别过程中度量卷积特征描述子的重要程度,即筛选有价值的卷积特征描述子,以及去除无用甚至有害的卷积描述子。提出Mask-CNN方法,通过学习得到的物体和部件级别掩码可将卷积特征描述子进行合理筛选和权重分配,最终将全局的物体级别特征表示和局部的部件级别(头和躯干)特征表示级联完成识别过程。实验结果证实了Mask-CNN方法卷积描述子筛选机制的有效性以及物体部件定位的准确性。4.基于少量训练样本的细粒度级别图像识别:以往细粒度级别图像识别的深度学习方法均须大量数据驱动,当数据量不足时难以取得理想结果,有时甚至无法训练。首次提出和研究了细粒度级别图像识别的少量样本学习任务,并提出PCM方法,通过元学习方式训练从少量训练样本到其对应的类别分类器的映射函数,利用该映射函数可生成类别分类器并泛化到真实测试环境下的少量训练样本条件的细粒度级别图像识别任务。实验结果显示出PCM方法在少量训练样本条件下相对现有方法具有更优的细粒度级别图像识别精度。
其他文献
矿产资源的开采利用可以带来相当可观经济效益,推动着人类社会的进步和发展,但同时也给矿山及周边的生态环境造成了巨大破坏,当矿山资源逐渐枯竭形成矿业废弃地,制约着矿山所
在第三个“中国农民丰收节”到来之际,中共中央总书记、国家主席、中央军委主席习近平代表党中央,向全国广大农民和工作在“三农”战线上的同志们致以节日的祝贺和诚挚的慰问。  习近平指出,当前正是秋粮收获的季节,祖国大地到处是丰收景象。今年丰收来之不易,突如其来的新冠肺炎疫情、长江流域严重洪涝灾害、东北地区夏伏旱、连续台风侵袭給粮食和农业生产带来挑战。全国广大农民和基层干部发扬伟大抗疫精神,防控疫情保春耕
目的:研究PDCA循环在脑卒中患者护理安全管理中的应用效果。方法:选取82例2017年1月1日至2019年12月31日在如皋市人民医院治疗的脑卒中患者,采用随机分组的方式将其分为观察
随着劳动力成本的不断上升以及农业现代化技术的不断进步,温室园区化经营管理模式不断增多,种植管理面积不断扩大,由于温室自身的环境调节能力,少量多次的灌溉施肥模式有助于农作物产量和品质的提升,温室自动化灌溉施肥技术随之兴起。电磁阀作为自动灌溉系统的关键核心零部件,是降低温室灌溉作业成本和提高灌溉效果的重要装备技术手段,结合控制系统可实现定时、定量、远距离控制以及低成本大面积的自动化灌溉施肥。  电磁阀
针对电动汽车串联锂离子电池组多次充放电后导致的电量不一致问题,提出一种能够快速有效的实现锂电池组均衡的方法。该均衡方案采用改进的单端反激电路为主电路,以双层开关臂
植物工厂通过人工方式营造一个适合植物生长的最佳环境,将农作物与外界环境隔离,通过多层立体栽培、智慧管控等方式,避免外界环境对植物生长产生干扰,达到确保农作物周年连续生产的目的。植物工厂作为高效农业系统,核心因素包括高精度的LED补光、营养液按需调控和温湿度的恒定管理等。由于上述特点,实际生产中为了提高生产效率,植物工厂大多采用功能分区,每个功能区通过流水作业,订单生产和规模采收提高生产效率。  蔬
目的观察甲钴胺百会穴注射法治疗腔隙性脑梗死的疗效和安全性。方法将100例腔隙性脑梗死患者随机分为治疗组和对照组,治疗组50例患者用丹参注射液30mL加入生理盐水(糖尿病患者)
某铝合金车身玻璃窗框搭接边在装配过程中,其车门内板和窗框加强板搭接面小,造型要求高,布局紧凑,连接区域无法满足自冲铆接SPR工艺要求,容易发生铆接失效,无法保证车门整体