基于时间差影像对的场景运动目标分割研究

来源 :武汉大学 | 被引量 : 0次 | 上传用户:galen621
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
运动目标分割是智能监控系统的重要部分,是后期目标追踪和目标行为分析的基础,在影像拼接去“鬼影”和无人驾驶中,也起着重要的作用。传统的运动目标分割通常依赖于影像的灰度信息,且对目标的类别未知。基于深度学习的运动目标分割方法的引入,将运动目标分割上升到了类别已知的层面。基于当前运动目标分割的研究现状,本文针对同一相机拍摄的具有时间差的影像对,提出一种将光流场、实例分割和运动状态分类相结合的运动目标分割算法,通过关联光流场生成网络FlowNet2.0、实例分割网络MNC和基于ResNet-34的分类网络,将FlowNet2.0和MNC生成的结果和影像RGB信息一同输入分类网络,在完成目标级的带语义信息分割的同时,实现对各目标运动状态的分类。本文主要研究成果如下:(1)对运动目标实现逐像素目标级的分割。以往常见的对运动目标的分割停留在语义分割层面——即将全图的运动区域和非运动区域逐像素分开,并对全影像中各个像素所属的种类类别进行归类。然而,语义分割无法以目标为单元分离运动目标。本文算法采用了目标级的逐像素实例分割,并加以“热点重搜索”策略,在语义分割的基础上将全图的运动区域基于个体目标分离开来。(2)对具有时间差的影像对进行运动目标分割。以往常见的运动目标分割方式通常基于视频影像序列,从而可有前后帧的连贯性等作为参考。然而,与视频影像序列不同,影像对的运动目标分割难度较大,研究较少。本文基于影像对进行运动目标的分割,提高了运动目标分割的应用广泛性(如影像拼接)。(3)提出一种全新的基于深度学习的运动目标分割方法。以往基于深度学习的运动目标分割为语义级分割,本文基于深度学习进行实例分割后,为得到目标的运动状态,创新性地结合光流场作为运动特征信息,输入创建的基于深度学习的运动状态分类网络,并针对运动状态分类网络组建了自已的数据集,为后续研究运动目标分割提供数据支持,最终得到基于全影像的运动目标分割结果。实验结果表明,本文训练的运动状态分类网络模型在真实场景的测试集中,整体分类正确率达到了 94.1%,针对较难处理的小范围运动情况,分类正确率达到70.6%。此外,在对各种类目标的运动状态分类时,正确率达到了 84.7%,具有很强的泛化能力,且受光照和对比度变化等噪声干扰小。最后,将目标映射回原影像后的整体运动目标分割效果与基于影像对的运动目标分割常用的帧差法相比较,抗噪声能力更强、分割得到的信息更丰富,应用性更加广泛。
其他文献
目前,在计算机视觉领域,主流的卷积神经网络(Convolutional Neural Network,CNN)算法专注于目标的识别和定位,且大多数采用轴对齐包围盒定位目标,而为了对图像做更深刻的语义
随着我国煤炭资源的需求不断增大,矿井高效采掘技术的研究与发展迫在眉睫,矿井巷道综采掘进工艺的机械化开凿设备,其具有掘进效率高、人员劳动强度低、速度快等优点,已成为煤
建立了某轻型高机动轮式车辆二自由度的车辆动态模型,并应用Matlab/Simulink建立了仿真模型,获得了该车在B、C、D级路面上乘员平均吸收功率的曲线。建立了平顺性与机动性的关
烟粉虱Bemisia tabaci属半翅目粉虱科,是一个包含至少36个隐存种的隐存种复合群。烟粉虱通过多种方式对植物造成危害,其中以其传播菜豆金黄花叶病毒属病毒对作物造成的危害最
绵羊肺炎支原体(Mycoplasma ovipneumoniae,Mo)是引起山羊和绵羊特别是羔羊增生性间质性肺炎的主要病原之一,其所致山羊支原体肺炎常造成山羊养殖业的重大经济损失。自1972年
在信息时代,人们的各种行为数据被大量收集,例如,个人的收入账单、医疗信息等由企业或组织自身收集的信息,还有外卖平台、电商购物平台、社交平台等由第三方应用收集的用户信
本文密切结合国内工业自动化生产线上对轻小物料执行精准抓放操作的应用需求,针对一种主动关节由外转动副驱动、从动关节包含平行四边形结构的经典Delta高速并联机器人,研究
现代交通运输行业高密度通行量和超负荷运营状态,致使混凝土桥面铺装层早期破坏的现象非常严重。不仅影响到了行车过程中的舒适感,而且严重的桥面铺装层开裂也会使得雨水等有害物质侵蚀桥面板,造成钢筋的锈蚀,导致桥梁使用安全性降低。另外因为水泥混凝土的抗拉强度低、容易开裂,在荷载与混凝土收缩应力等综合作用下,较易出现裂缝等病害,而且一旦形成病害,修复的难度也比较大,维修费用也较高,严重影响桥面铺装的耐久性。本
随着物联网(Internet of Things,IoT)的快速发展,信息安全已从传统的政治、军事等重要领域全面推广到民生领域因而受到越来越多的关注。为了实现信息系统的保密性、完整性和可控性需要对数据进行加密。数据加密的核心是安全密钥,它的构建基于随机数提供的不确定性和不可预测性,因此在安全性较高的应用中通常选用真随机数发生器(True Random Number Generator,TRNG)生
背景:目前为止已经开展了大量的研究来开发控制有害藻华的技术,这些技术可以概括为物理方法(例如粘土和絮凝剂),化学方法(硫酸铜,表面活性剂和次氯酸钠)和生物方法(植物竞争营养和