光照和视角不变性的卷积描述符研究

来源 :广东工业大学 | 被引量 : 1次 | 上传用户:xuerscc
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
特征点匹配是计算机视觉一项重要操作,特别在三维重建以及机器人领域中的视觉实时定位与建图(VSLAM)中,其地位尤为突出。而特征点匹配在很大程度上取决于特征点的描述符。但是,光照和视角变化等极端扰动情况下,鲁棒的特征点描述及匹配,还是一个极具挑战性的问题;特别是对于移动机器人视觉导航,光照(黑/白、阴/晴、季节)和视角变化(高速转向)的影响尤为突出,是VSLAM研究的核心问题之一。本文的研究目的就是生成一种对光照和视角变化都鲁棒的特征点描述符,提高图像在此类变化时的匹配精度。首先,本文总结已有的特征点描述符,将已有工作划分为三类:手工描述符、来自针对性训练的卷积神经网络(Convolutional Neural Networks,CNN)描述符和来自普适的预训练的CNN描述符。本文就这三类特征点描述符处理光照和视角变化的能力进行了比较研究。共选择具有代表性的10种描述符,在最新的图像特征点匹配的基准数据集HPatches上对这10种描述符进行评估,研究发现:(a)基于CNN的描述符在光照和视角变化匹配精度都要优于手工描述符;(b)在视角变化条件下,训练的CNN描述符匹配精度优于预训练的CNN描述符,而(c)在光照变化条件下,预训练的CNN描述符匹配精度比训练的CNN描述符更好。然后,基于训练描述符与预训练描述符对光照和视角变化不同的优势,本文提出了一种描述符融合模型(Descriptor Fusion Model,DFM),通过使用两个自动编码器来融合训练描述符和预训练描述符,生成一种对光照和视角变化均鲁棒的特征点描述符。其中,第一个自编码器为一个卷积自编码器,用于降低预训练描述符的维度。第二个自编码器为一个全连接自编码器,用于融合训练描述符和压缩后的预训练描述符。在HPatches数据集上将这两个自编码器分别与一些常见的降维方法和数据融合方法进行了比较研究,发现:(a)预训练描述符的降维方面,卷积自编码器比主成分分析(PCA)和随机投影(Random Project)等要好,(b)使用卷积自编码对预训练描述符进行降维,不仅可以降低预训练描述的维度,而且可以提高预训练描述符的匹配精度,(c)全连接自编码器对训练描述符和预训练描述符的融合效果比相加(summation)、相乘(product)和拼接(concatenation)等融合方法要好。本文提出的DFM框架可以适用于任何训练的CNN模型或预训练的CNN模型,基于现有CNN模型生成的描述符性能,分别选择了Hard Net和Dense Net169作为训练和预训练CNN模型的代表。最后,在HPatches数据集上对DFM框架生成的描述符与其他先进的CNN描述符作对比,实验结果表明,DFM能够达到最好的匹配精度,且平均匹配精度(mean Average Precision,m AP)分别比Hard Net和Dense Net169高出6.45%和6.53%。
其他文献
微电子技术在不断发展,集成电路的集成度也在不断提高,以传统光学光刻为主的图形转移技术由于自身特性限制已经逐渐不能满足需求。在下一代图形转移技术中,纳米压印技术由于
印制电子喷印技术具有高效、低耗、环保等优点,被广泛应用于印制电路板(Printed Circuit Board,PCB)的生产。工作台是印制电子喷印机的核心部件,其运动稳定性和定位精度是影
轮廓精度是衡量数控机床加工产品质量好坏的一个重要指标,其主要受轮廓误差的影响。轮廓控制主要被分为轮廓误差估计和轮廓误差控制两个方面。针对数控系统采集得到的数字曲
目前,在山区进行公路施工过程中,多用爆破施工的方法。爆破施工的方法在带来巨大经济效益的同时,也对附近的高压输电铁塔造成了不同程度的影响,这不仅会对公路的正常施工造成威胁,严重的甚至会对人民的生命财产造成损失。因此,在公路施工过程中对近高压输电铁塔的安全状态进行评估,并做出合理安全措施日益成为亟待解决的课题。本文依据贵州省三穗至施秉高速公路建设工程中甘溪桥爆破施工工程为依托,研究近高压输电铁塔在公路
医疗纪录片是对现实医疗生态的记录与再现,利用影像和声音对医疗领域内的事件进行“创造性处理”,借助影像内容可以将信息、思想与观点传播给大众,有很强的教育与传承功能,对临终关怀的观念传播有很大帮助。但目前国内医疗纪录片大多从整个医疗生态环境入手,拍摄场景集中在急诊、手术室、妇产等冲突性较强的科室,以临终关怀为题材的纪录片拍摄数量较少,相关题材纪录片的发展仍处于起步阶段,学界针对临终关怀在纪录片领域的传
目前,计算机视觉广泛应用于户外视频监控、无人驾驶、车牌识别等场景。但现有算法都以天气情况良好为前提,未考虑不同天气情况对算法性能的影响。在下雨、下雪、雾天等情况下
树木髓心是树干内部的重要结构之一,对树木生长、木材性能及加工都有一定的影响。当前对树木髓心的研究重点在于对其进行准确定位,髓心定位是进行林木测量或树干解析的基础。
新能源车辆作为国家发展的重点受到了持续关注,功率分流式(Electronically Variable Transmission,简称EVT)混合动力汽车由于其构型特征可以实现发动机与工况解耦,配合合理的能量管理策略,极具高效节能的潜力,是目前混合动力汽车中应用最最广泛的车型。本论文以EVT式混合动力车辆为研究对象,通过对EVT结构的运动学分析,整车的参数匹配,制定了基于规则的能量管理策略,实施了
动物类中药是我国中药宝库中极具特色的一部分,其临床疗效显著,但却普遍存在药效成分不明确的特点。现有的关于动物类中药的质量控制和评价方法远落后于植物药,且难以有效地反映其有效性及安全性,严重的制约了动物类中药的应用与发展。本研究以传统功效卓著、临床疗效确切但有效物质尚不明确的梅花鹿茸为研究对象,进行了与其传统功效补肾阳、益精血、强筋骨密切相关的睾丸间质细胞(TM3)增殖活性、乙酰胆碱酯酶(AchE)
手势识别作为人机交互的重要组成部分,使人们能够自然的、灵活的与机器进行交流,这让手势识别研究受到越来越多的关注。目前,手势识别研究主要基于以下三种方案,分别是基于计