基于多帧信息融合的视频超分辨率方法研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:yantianwa
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
分辨率是一种用来衡量影像清晰度的概念。高分辨率的影像能够展现出更多的细节纹理,提升影像的质量和观感。为了满足获取高分辨率影像的需求,超分辨率算法被广泛且成功地应用在多个领域当中。目前,基于深度学习技术的超分辨率算法能够在有限的硬件设备条件下提高影像的分辨率。视频序列作为多个按时间顺序排列的图像帧,如何挖掘其中蕴含的丰富特征信息显得尤为关键。多帧视频的特征信息主要包括单个视频帧本身的空间信息,以及该视频帧相邻的其他帧的时空信息。采用合理的方式有效融合多个不同方面提取的特征信息来重建视频帧,能够大幅提升超分辨率算法的重建性能。对此,本文对视频超分辨率算法中的多帧信息融合过程进行研究,并开展了以下工作:(1)本文提出了一种基于双分支信息融合网络的视频超分辨率方法。首先,为了提取视频前后帧的有效信息,本文提出了一种具有递减的多空洞卷积单元的可变形卷积,用以取代利用光流估计进行视频帧对齐的过程,从而避免由于光流估计不准确而导致较差的重建效果。其次,本文设计了一种具有两个分支的深度神经网络结构,由局部融合模块和全局融合模块组成,以结合来自两个不同方面的信息。具体来说,局部融合模块侧重于维持相邻视频帧之间的关联关系并使得重建的视频帧之间保持时间一致性,而全局融合模块则尝试通过在全局范围内利用所有视频帧的相关特征来进行信息恢复。最终,特征结果将包含两种不同融合方式的信息,以充分利用多层面的特征进行超分辨率恢复。(2)本文提出了一种基于局部双向信息融合网络的视频超分辨率方法。具体来说,为了利用多视频帧丰富的时空信息,采用局部双向传播的方式在滑动窗口内将特征信息通过前向和后向往中间帧传递。双向时序信息的融合能够有效提升视频帧的恢复效果。此外,两个不同方向的时空特征通过循环神经网络以状态信息的方式传递,设计的状态激励模块将有效的时空特征吸纳进状态信息中,同时抑制无关的噪声干扰。将网络模型同时在模拟数据集和真实数据集上进行实验,以验证模型的重建能力和应对多种复杂退化模式的泛化能力。与主流方法进行对比的结果表明所提出的方法不仅能够取得优越的恢复性能,还保持了模型的高效性。
其他文献
滚动轴承是旋转机械中最为重要、应用最为广泛的零部件之一,因其复杂的工况和结构复杂,是旋转机械故障中最常见的故障来源之一。若该部件出现故障问题,将会造成很大的安全隐患,可能会导致无法估量的经济损失。因此,在滚动轴承的智能故障诊断中,实现其智能化的应用具有十分重要的现实意义,一直是故障诊断研究领域的焦点。虽然经典的机器学习方法可以解决滚动轴承故障诊断中的许多问题,但它仍然存在一些局限性,如需要大量有标
学位
丙烯酸是重要化工原料和树脂单体,广泛应用于生产粘合剂、涂料、高吸水性聚合物和建筑材料等,工业化生产丙烯酸的技术主要采用的是丙烯氧化法。随着丙烯酸需求量的日益增长和石油资源的减少,煤基产品乙酸、甲醛等化工材料产能过剩。因此,乙酸与甲醛缩合制备丙烯酸有着巨大的应用前景,并且该合成路线在一定程度上会扭转合成化工产品过度依赖石油资源的局面,还能推动煤化工产业链朝更节能、环保、高效的方向发展。根据推测的乙酸
学位
2,4-D即2,4-二氯苯氧乙酸是一种苯氧羧酸类除草剂,在世界范围广泛用于去除杂草。但2,4-D生产废水由于具有高浓度、高盐度和组分复杂的特点而很难被处理,其组成包括原料苯酚和2,4-二氯苯酚,副产物乙醇酸和氯化钠以及产物2,4-D,单一废水处理方法几乎不能达到废水处理的标准。因此本文根据2,4-D生产废水水质信息,研究并开发了一种酸析预处理-萃取法-钙盐沉淀法-电渗析法-电化学氧化组合方法处理2
学位
凭借高荧光量子产率(PLQY)、合适的带隙和高电荷载流子迁移率,卤化铅钙钛矿成为了光伏、显示器、太阳能电池和闪烁体领域的广泛研究对象。然而,在实际应用中,铅基材料的毒性和稳定性是需要考虑的问题。近年来,许多铅基钙钛矿的替代材料被研究报道,其中包括锡基钙钛矿、锗基钙钛矿、双钙钛矿以及一些类钙钛矿结构的金属卤化物。具有低维结构的铜基卤化物具有优异的光学性质,凭借其高效的发光效率及可以避免自吸收的大的斯
学位
识别精度是红外电子白板质量的重要评估指标。红外电子白板光源布局的好坏直接决定了其识别精度的高低。目前,红外电子白板光源布局依旧是人工布局或者简单的均匀布局,导致红外电子白板存在识别精度低的问题。因此,红外电子白板光源自动布局方法具有显著的研究意义和应用价值。红外电子白板光源布局优化问题是一个大规模整数规划问题,决策空间大,难以用一般优化方法进行求解。针对该问题,本文开展了如下研究:(1)基于最优解
学位
流程感知信息系统将流程执行产生的数据记录在事件日志中,流程挖掘能从事件日志中挖掘实际业务流程中潜在的知识。企业或组织的业务流程因涉及不同的地域、人员或法规等而存在很多变体,不同流程变体的事件日志中存在差异。流程变体分析是流程挖掘的一个范畴,能够从事件日志中发现两个流程变体的差异,对流程变体进行比较分析,从而为流程标准化、流程改进和拓展等提供帮助。现有流程变体分析的研究主要是发现变体间的差异,一些方
学位
铅酸电池因具有成本和安全性方面的优势被广泛应用于储能领域。然而当铅酸电池在实际应用时,负极在部分荷电状态(Partical-state-of charge operation,PSo C)下很容易发生不可逆硫酸盐化现象,大大限制了使用寿命。和传统铅酸电池相比,铅炭电池可以明显抑制负极硫酸盐化,但是铅炭电池中的碳材料具有较低的析氢过电位,很容易加剧析氢反应。因此,为了解决析氢问题,有必要对碳材料本身
学位
随着互联网技术的快速发展,网络负担日益加重,推荐系统能够帮助用户解决信息过载问题,为用户提供高效、精准地获取个性化信息的服务,因此受到学术界和工业界的广泛关注。目前大多数推荐模型只是基于用户与项目的交互关系进行建模,而忽略了用户属性和项目属性的辅助信息,以及忽略了用户与用户之间、项目与项目之间的隐藏信息。另外,由于图卷积网络结构的特点,当网络层数加深时,节点的特征会趋于相似,出现过平滑现象,导致模
学位
作为第三代有机电致发光材料,热活化延迟荧光材料(TADF)中三重态激子能够通过反系间窜越(RISC)转化成单重态激子,从而参与荧光发射,理论内量子效率(IQE)达到100%。其相较于传统荧光和磷光材料而言,器件发光效率较高,生产成本较低,故而吸引了全世界的目光。当前TADF材料亟需解决的问题之一是效率滚降,而研究发现:提升反系间窜越速率(kRISC)会缩短延迟荧光的寿命,有利于抑制效率滚降;给受体
学位
当前,每天都有数以亿计的图像和视频被上传至网络供人使用。但是,受拍摄时电子设备内部硬件条件或外界自然环境等因素的影响,可能导致图像的清晰度不佳。并且,由于显示器的分辨率不断提高,人们对图像和视频清晰度的要求不断增加,如何快速且有效地提升视频的分辨率成为一个日益重要的问题。超分辨率技术是解决这一难题的主要方法之一。视频超分辨率的目标是利用多帧低分辨率视频帧恢复高分辨率视频帧,相关成果可以广泛应用于高
学位