基于优化匹配的视频超分辨率重建算法研究

来源 :南京信息工程大学 | 被引量 : 0次 | 上传用户:ljxue1224
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视频超分辨率重建技术作为近年来计算机视觉领域快速兴起的任务,其目的是利用深度学习算法从低分辨率(Low Resolution,LR)视频帧和与其相邻的多个视频帧中重建出逼真的高分辨率(High Resolution,HR)视频帧。已有的研究方法主要从光流估计和可变形卷积两个方面来获取并补充帧与帧之间的运动信息,然而这些方法有的存在参数量大不易训练的问题,有的存在对齐不佳导致重建效果不理想的问题。为解决上述问题,本文首先对轻量级的视频超分辨率重建算法进行研究;然后探究了自校准对齐的视频超分辨率重建算法;最后研究了参考帧与相邻帧之间的最优匹配,对基于优化匹配的视频超分辨率重建算法进行了深入研究,主要贡献如下:(1)从模型参数量少的角度出发,本文开发出一种轻量级的注意力机制以探索参考帧与相邻帧之间的全局对应关系。首先在不增加参数量的情况下通过共享特征抽取层有效提取多尺度语义信息,然后用轻量级注意力约束对齐网络捕获参考帧中每个像素沿极轴方向的所有差异信息,最后将参考帧的时域对齐特征和原始低分辨率帧在不同阶段的空间特征进行融合。实验结果表明本算法在两个基准数据集Vid4和REDS4上都达到领先水平,并在相同的指标下,本文模型参数远小于对比方法。(2)为探索参考帧的空间信息和来自相邻帧的时间信息,本文提出了一种通用的逐帧动态融合模块来将时间信息完全聚合到参考帧中的算法。首先设计了一个自校准可变形对齐模块对参考帧与相邻帧之间运动偏移量进行预测。然后将每个相邻帧的对齐特征馈送到动态融合模块以进行时间信息融合。最后,将包含空间和时间信息的参考特征发送到超分辨率重建模块。三个基准数据集Vid4、SPMC-11和Vimeo-90K-T的实验结果展示了该算法在视频超分辨率方面的优越性。(3)针对可变形卷积存在的局限性,本文将最优传输理论加以改进并应用到视频超分辨率重建中,提出了一个新颖的最优匹配网络。首先用残差空洞空间金字塔池化模块探索图像间的自相似性,然后提出了一种高效地交错稀疏最优匹配网络,通过在跨帧的图像中学习最优匹配实现特征层面的对齐。另外,还设计了一个双向时间融合模块充分融合对齐特征。最后,为了输出高分辨率重构帧,利用融合的时空特征作为输入生成两个调制参数,用于调制帧级动态重构子网络中的特征映射。实验结果表明该算法在三个基准数据集Vid4、REDS4和Vimeo-90K-T上都达到了领先水平。
其他文献
近几年,强化学习的发展非常迅速,尤其在Alpha Go击败围棋高手李世石之后,更是引起了众多学者的关注和研究。随着研究的不断深入,强化学习被逐渐应用到复杂的多智能体协同问题上,这类研究被称为多智能体强化学习。多智能体强化学习已经使许多领域取得突破性进展,例如,军事推演、快递分拣、竞技体育、自动驾驶、推荐系统等。因此,无论是从理论价值还是工程应用的角度来看,对多智能体强化学习的研究都具有极其重要的意
学位
水体中重金属铅离子的污染越来越受到大家的广泛关注,本论文以建筑废砖作为载体,通过酸洗-同晶置换-煅烧三步法成功制备具有较高稳定性和较大铅离子吸附量的新复合功能材料500-5,并对该材料的稳定性,基本理化性质,对铅离子的吸附性能以及吸附机理做了进一步的研究。1)通过对砖粒酸洗、同晶置换法负载二氧化钛和马弗炉煅烧三个步骤制备出了二氧化钛-砖粒复合材料,并通过改变酸洗次数和煅烧温度考察了两者对二氧化钛-
学位
当前,数值天气预报模式是气象预报的重要途径,但初始场数据同化、物理过程参数化等方面的不足,以及地球系统固有的混沌特性,常导致数值模式难以真实精准地反映天气发生发展态势,其准确率有待进一步提高。1-7天气温预报是当前业务预报的重要组成部分,在提高预报预警能力、服务防灾减灾建设中发挥重要作用。本文以东亚地区1-7天气温(日最高/最低气温)预报为研究对象,使用平均绝对误差(MAE)、两度预报准确率(HR
学位
水稻是全球主要粮食作物之一。研究灌溉对稻田小气候及水热过程的影响,对提高种植地区水分资源利用率有重要意义。通过对单季稻区水稻的各生育期设置五种灌溉处理,监测其生育期内的小气候数据和水热通量,结合作物生长数据,研究了不同生育期不同灌溉处理对稻田土壤温度、冠层内气温、相对湿度、水温及作物生理生长的影响,分析了不同灌溉处理对稻田水热平衡分配的影响及水热通量与气象因子的关系。选取简单生物圈模型(Si B2
学位
积雪深度的变化通过改变地表和大气之间的能量和水平衡,对水文、生态系统和农业产生深远影响。本研究选用了CMIP6中SSPs情景齐全的五个全球气候模式,结合1979-2014年新疆地区积雪深度长时间序列数据集,分析了新疆地区在1979-2014年积雪深度的时间变化和空间分布特征,并对我们所选取的气候模式在研究区对积雪深度的模拟能力进行了评估,利用机器学习的方法来分析气温、降水、风速、湿度、日照等不同气
学位
近年来,随着非线性科学的飞速发展,混沌作为非线性科学极其重要的一部分,也得到了飞速的发展。与一般的非线性系统不同,混沌系统的运动过程对初始值十分敏感,其运动行为呈现为不确定性和长期发展趋势的不可预测性。另一方面,随着科技的不断发展,人们对于数字化的要求逐渐提高,迫切需要一种在高速采样下合适的离散化控制方法。因此,人们提出了一种能够有效统一连续时间系统和离散时间系统的Delta算子方法。依据Delt
学位
作为新能源的代表,风能是一种发展历史悠久、清洁无污染的可再生能源,如何提高风力发电机的稳定性和效率一直都是风力发电领域的重要研究课题。在风速变小时,传统功率控制技术仅提高风力机的机械功率,发电机能量流动不受控,导致输出端存在能量损耗。因此,研究一种在发电机输出端减少能量损耗,实现在不同风速下能量受控流动的控制方法显得意义重大。基于此,本文提出了一种在发电机输出端添加调谐补偿网络提高发电机变风速效率
学位
为研究不同低温和寡照下不同处理时长对植株的胁迫程度,本文以番茄品种“寿禾粉冠F1”为试材,开展人工环境控制试验,设计温度、光照与处理时长的正交试验,日最低温和日最高温:3/13,6/16,9/19,12/22℃4个水平,白天日最高光照强度设置400、200μmol·m-2·s-12个水平,持续时间3、6、9、12天,测定了各处理下设施番茄生长发育情况、光合系统、抗逆性生理生化指标、果实品质及产量。
学位
随着我国汽车保有量的逐渐增加,交通拥堵问题在短期内不能得到有效改善。同时,新冠疫情的肆虐将公共交通这种绿色出行方式的空间小、人员密易、传播病毒的弊端放大。伴随双碳目标的提出,减少通勤时段内产生的碳排放量迫在眉睫。合乘模式作为缓解上述各方面问题的重要手段,现阶段由于各种原因不能发挥应有的效果。本文根据对国内外合乘模式机制的研究探索,结合新冠疫情和双碳目标的时代背景,对同事合乘问题进行深入研究,具体内
学位
在经济和信息全球化的大背景之下,发展强有力的制造业是强国之重。因此,改变传统的制造模式,积极地向智能制造转型已势在必行。在此过程中,更贴合生产实际的柔性作业车间调度问题受到了广泛关注,如何协调生产效益和能耗平衡无疑成为热点问题。本文针对柔性作业车间调度问题的特点,设计了改进混合蛙跳算法来求解不同类型的柔性作业车间调度问题,主要工作如下:首先,建立以最大完工时间为优化目标的柔性作业车间调度模型,设计
学位