基于时空上下文信息的视频去雨研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:liouwanji
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机技术的快速发展,图像处理、计算机视觉技术广泛应用于目标检测与识别、智能交通、工业生产等领域。清晰可靠的影像资料对计算机视觉算法的发展与应用尤为重要,当影像监控设备在雨天进行室外作业时,其捕获的视频图像会包含大量的雨水条纹,在雨水条纹遮挡区域内,图像的背景细节将会部分丢失,甚至完全丢失,不利于后续图像处理工作的进行,严重制约了户外计算机视觉系统与计算机视觉算法的应用。本文对当下视频图像去雨方法的优缺点进行了分析,并在这些研究方法的基础上,将深度神经网络应用至本文方法。通过强化视频图像中信息的时空相关性,利用视觉注意力机制,实现了一种基于时空上下文信息的视频图像去雨方法。本文方法在准确高效地去除图像雨纹的同时,极大程度修复了雨纹遮挡区域的背景信息。本文首先通过对雨纹特征进行分析获取了雨纹的先验性知识与相关参数,在此基础上,制作了包含180个雨天视频的数据集,解决了深度学习去雨方法中有雨/无雨数据集缺少的问题。之后,提出级联两个四向(上下左右)IRNN网络的方法,对帧内雨纹进行检测,通过生成雨纹注意力图来指导有雨到无雨图像映射关系的学习,实现图像去雨。最后,充分利用帧间背景纹理的相关性,提出了Three-Round-IRNN背景纹理修复方法,该方法可以在各帧图像中提取出对重建当前帧图像背景的有效纹理特征,实现对雨纹遮挡区域背景纹理的精准修复。
其他文献
在当前的信息时代,互联网蓬勃发展,各种知识信息爆炸性增长,人们对快速、准确地获取信息的需求促使了自动问答技术的诞生,基于自然语言的知识图谱问答系统(KBQA)正是其中的一个重要分支,它可以自动回答知识图谱中包含事实的自然语言问题,更加精准,快速且答案简洁。近年来,深度学习的方法也在KBQA中得到了广泛应用,但由于现实世界用户提问的问题多样,自然语言复杂且难以处理,现有的KBQA技术仍存在一些不足,
随着移动设备和动态网页技术的发展,智能设备中对浏览器性能需求不断提高,众多网络应用都开始大量使用JavaScript语言来为用户提供更加丰富的服务。在这样的背景下,JavaScript引擎的性能成为影响浏览器整体性能的最关键因素之一,进而影响用户的上网体验。目前,JavaScript即时编译引擎能够提升x86、ARM架构下JavaScript语言的解析速度,但该引擎尚未支持国产处理器。首先给出了J
交通运输是国之重器、强国之本。作为交通运输的一种,铁路运输凭借其成本低廉、受环境影响小等优点,已经成为人们日常出行和货物运输的重要方式。然而机车一旦发生故障,后果是难以预料的,轻则需要为其支付昂贵的维修费用,重则会造成机毁人亡的严重后果。机车的制动系统是机车的核心结构,因此针对机车制动系统开发一套满足需求的故障诊断专家系统具有重大的意义。另外,机务段工作人员在维修机车之后都会留下详细的诊断记录,在
基于词向量技术和预训练模型的深度学习方法虽然对于任务型对话系统效果提升明显,但是存在模型计算量和参数量过大的问题,对部署模型的服务器资源条件要求很高。如何在保持模型效果的情况下,尽量减小模型的参数和体积,对于对话系统落地有着非常重要的意义。使用多任务学习和低秩分解技术对传统任务型对话系统的自然语言理解和自然语言生成模块进行了改进,并使用改进的模型实现了一个完整的建筑领域文档对话系统。1)为兼顾自然
进入21世纪以来,人们的日常生活越来越离不开网络。互联网已经成为社会不可分割的一部分,而网络的运用需要通信设备来支持。现如今有线网络已经不能满足人们随时随地想连接互联网的需求了,于是近几年无线局域网的发展迎来了日新月异的发展。无线局域网给人们带来的便利是无限的。所以新型无线网卡驱动的开发,对于厂家来说是一个不错的机遇。本论文在利用厂商已有的无线网卡硬件的基础上,移植Linux网卡驱动里面的核心代码
数字音频在生活中离线场景的使用逐渐增多,数字音频以二进制存储的方式,作为一种信息载体,有易复制,易编辑的特点,可以携带大量的隐私信息,甚至部分音频包含重要的国家机密信息,如果被篡改就会对国家的安全造成严重威胁。国内外的对音频文件的加密保护主要是通过一些加解密算法,但是这些加解密算法在对海量文件数据的处理时,有安全差和加密速度慢等问题。基于此,针对常用的音频格式WAV和AMR,提出了结合区间算法的内
近年来,随着深度神经网络的发展,目标跟踪算法取得了长足的进步,已经成为计算机视觉技术最重要的研究热点之一。同时,基于孪生网络的目标跟踪算法以其巨大的速度优势和良好的跟踪性能在目标跟踪领域得到了广泛的关注和应用,成为了目标跟踪领域的主流算法。当前大多数目标跟踪算法都以anchor的方式实现对目标尺度的评估,我们认为可以将目前目标检测领域中的anchor-free方法应用到跟踪领域中,并实现与当前目标
细粒度图像识别是一类研究如何从同一大类别中区分出不同小类别的算法任务。该算法的技术挑战在于不同类别下的物种其差异仅存在于极其细微的部位(例如,鸟的眼睛、嘴巴或者爪子等);而同一类别下的物种由于光照、姿态或背景等原因导致其表现出较大的差异。因此,如何精确找出具有区分性的区域并提取丰富有效的细粒度特征成为了图像细粒度识别任务的研究重点。当前细粒度图像识别方法存在的问题:第一,最具区分性部位被遮挡或者难
本篇论文主要讨论了姿态估计的轻量级网络设计和实际应用。人体姿态估计是计算机视觉的一个较为重要且困难的任务,目的在于检测出图片或视频中的人体关键点,并对关键点连线进行运动分析。当前人们对于生活质量的要求逐渐提高,人体姿态估计可以应用在视频监控,人机交互,驾驶员辅助驾驶等多个领域,对智能生活具有重要的意义。同时,本文将姿态估计的方法应用在矩形物体的关键点检测中,可以快速定位名片,身份证,银行卡等矩形物
新基建是以新发展理念为引领,以技术创新为驱动,以信息网络为基础,面向高质量发展需要,提供数字转型、智能升级、融合创新等服务的基础设施体系。一方面,"新基建"包含的三项(信息、融合和创新)基础设施,是全社会的信息化基础设施,为应急管理部门提供了强大的基础设施保障;另一方面,应急管理方面丰富的应用场景,对"新基建"有着紧迫的需求,可以拉动"新基建"建设。为更好地满足新时代应急管理工作需求和应急指挥实战