基于图像语义分割的交通监控视频定位及拼接方法

来源 :山东科技大学 | 被引量 : 0次 | 上传用户:tsuiyoung
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
客观世界是多维度的,其中非常重要的一个维度,就是时间维度,在智慧城市中能体现时间维度是实时数据,包括互联网实时感知数据和物联网实时探测数据等。没有实时数据的支撑,在此基础上做出的决策往往科学性、实时性不足,导致决策不能有效指导实际生活工作。交通监控视频是智慧城市数据中重要的动态实时数据,通过对交通监控视频进行定位和拼接,使其在三维GIS平台中进行客观世界的动态还原,具有重要的应用和研究意义。交通监控视频的定位,其本质上对视频图像进行地理坐标的添加,在融入三维GIS场景中是关键环节。传统的视频影像映射模型多要求摄像设备本身兼具定位功能,如带有GPS、陀螺仪等,对于交通监控视频这类不具备定位设备的数据应用受限;视频拼接是图像拼接的外延,在场景监控、目标识别等应用中发挥着重要作用。传统视频拼接算法多要求视频间具有较大重叠区域且特征点匹配过程中只顾及图像几何特征,当处理交通监控视频时,会因不同摄像头之间重叠区域极小或主光轴之间夹角较大而导致无法拼接或图像变形较大。为解决这两个问题,本文研究了数字正射影像数据和深度学习语义分割理论,利用正射影像每个像素都具有位置信息,并且覆盖范围广的特点,在研究正射影像的搜索理论、深度学习语义分割理论和SIFT特征提取及匹配理论的基础上,提出一种基于图像语义分割的交通监控视频定位及拼接方法。首先,利用边缘角度二阶差分直方图算法自动识别多视频交汇区域的正射影像,并将其作为拼接背景图像;然后,基于全卷积神经网络和BP神经网络组成的多特征语义分割方法对正射影像和视频图像进行语义分割,提取图像中的交通专题语义;接下来,以交通专题语义作为约束进行特征点匹配,将各个交通监控视频匹配至背景正射影像,实现监控区域视频拼接的同时完成定位。采用山东省某市实际视频数据进行实验验证,结果表明对于重叠区域较小的监控视频,本文方法可获得较好地拼接图像,同时可有效提高特征点匹配的准确度,较好的完成定位任务。本文主要进行了以下工作:(1)研究基于边缘角度二阶差分直方图的正射影像搜索方法,总结出适用于检索交通交通监控视频对应区域的正射影像位置搜索方法。(2)研究基于BP神经网络和全卷积神经网络的图像语义分割方法,改进一种多特征深度学习的视频图像语义分割框架,并结合交通监控视频特点确定了适用于该视频的多特征深度学习语义图像分割方法。(3)研究结合视频图像语义的SIFT特征匹配的相似性测度,利用图像语义和SIFT特征联合进行特征点匹配,优化交通监控视频和正射影像进行特征点匹配的精度。(4)为了验证本文方法的有效性和合理性,利用山东省临沂市部分交通监控视频和正射影像等实际数据进行定位和拼接实验,设计了语义分割精度验证实验、特征点匹配可靠性验证实验和视频定位和拼接结果有效性验证实验,并与传统方法进行了对比。
其他文献
本论文用变分方法、临界点理论研究了以下两类Kirchhoff型方程在近共振问题解的存在性和多重性。首先,研究如下一类带Hardy奇异项的Kirchhoff方程其中Ω(?)R3表示足够光滑边
在物理学、化学、生物学等各种工程领域中存在着大量的扩散反应现象,扩散反应方程(又称热方程)是描述这些工程领域中各种扩散反应现象的数学模型。扩散反应方程的边界控制问
绢蝶是隶属于凤蝶科、绢蝶亚科的一类珍稀昆虫,主要分布在古北区北部、少数在新北区西部的高山地区。幼虫主要以景天科和紫堇科为寄主植物;成虫翅膀薄而透明,似帛如绢,故名。
Alpha稳定分布经常被用来分析非高斯序列,特别是时间序列的分布情况及重尾特性。本文研究理论的核心是Alpha稳定分布的基础理论,通过比较几种常见的描述稳定分布的参数系模型
秘密共享方案在实际生活中应用越来越广泛,特别的,在信息安全和数据保密中有很重要的应用.秘密共享方案是在参与者集合中共享秘密的一种协议,如果授权子集可以恢复秘密,而非
干细胞是一类具有自我更新与分化潜能细胞类群,该特点决定了干细胞在生物个体的胚胎发育、造血再生、组织修复等多种生理过程中发挥重要作用。生殖干细胞作为干细胞家族的一
本文主要讨论来自生态学中两类反应扩散模型.主要运用非线性偏微分方程和非线性分析知识,重点分析了平衡态问题正解存在性、稳定性、唯一性及正解的渐近行为.文章包括两部分
分数阶微积分作为整数阶微积分在阶次上的任意推广,近年来理论日趋完善,应用不断发展起来,其大量出现在物理、化学、生物、工程等诸多实际的系统模型中.从目前的研究动向来看
近年来,强烈的实际需求促使科学家们提出了众多的数学模型,而大量的数学模型可归纳为所谓的反应扩散方程.人们可以通过建立数学模型来描述现实世界,进而使之成为保护自然环境
分数阶微积分作为整数阶微积分在其阶次上的任意推广,在物理、化学、生物、工程等领域表现出强大的优势和广泛的应用前景,分数阶系统是通过基于分数阶微积分的相关理论知识和