【摘 要】
：
压缩伪影是影响重建视频质量的关键因素之一,现有的视频编码器主要利用环路滤波方法减少压缩伪影。通用视频编码VVC（Versatile Video Coding）中的环路滤波器主要使用单帧视频数据进行滤波重建,没有充分利用视频序列帧与帧之间内容上的连续性,视频质量提升有限。基于深度学习的多参考帧滤波方法可以利用多帧信息进行滤波重建,为视频质量的进一步提升提供了新思路。本文对基于深度学习的多参考帧环路滤
论文部分内容阅读
压缩伪影是影响重建视频质量的关键因素之一,现有的视频编码器主要利用环路滤波方法减少压缩伪影。通用视频编码VVC（Versatile Video Coding）中的环路滤波器主要使用单帧视频数据进行滤波重建,没有充分利用视频序列帧与帧之间内容上的连续性,视频质量提升有限。基于深度学习的多参考帧滤波方法可以利用多帧信息进行滤波重建,为视频质量的进一步提升提供了新思路。本文对基于深度学习的多参考帧环路滤波方法进行了优化,提出了一种基于Transformer的多参考帧融合质量增强算法和基于帧间内容相关性的高质量参考帧选择算法。本文的主要内容和创新点如下:（1）现有基于深度学习的多参考帧滤波方法中,各参考帧特征图以相同权重进行拼接,此方法存在两个缺点:第一,网络模型不能更好地关注重点区域,导致重建质量提升有限;第二,低质量参考帧的特征图以相同权重参与特征图拼接过程,会影响重建质量。为解决上述问题,本文提出了一种基于Transformer的多参考帧融合质量增强算法。算法选择当前帧附近的多个视频帧作为参考帧,通过运动补偿网络对参考帧进行补偿后,使用密集连接单元提取参考帧的特征图,随后利用Transformer结构对提取出的特征图进行加权融合,降低低质量特征图对质量增强过程中产生的影响。实验结果表明,在随机访问编码模式下,与VTM6.0参考模型相比,所提方法减少6.81%的BD-BR,BD-PSNR上升0.166 d B。（2）研究发现,参考帧的数量、参考帧与当前帧的相关性,会直接影响质量增强方法的效果。本文提出了一种基于帧间内容相关性的高质量参考帧选择算法。首先,算法利用编码帧之间峰值信噪比的增量,筛选出质量高于当前帧的候选高质量参考帧;随后,利用结构相似度和基于差异哈希的内容相似度指标,从候选高质量参考帧中选择出高质量参考帧。本算法选出的高质量参考帧可以用于本文提出的第一个算法中,进一步提高算法性能。将本文所提出的两个算法相结合进行实验验证,实验结果表明,与VTM6.0参考模型相比,本文算法的BD-BR减少7.34%,BD-PSNR上升0.213 d B。
其他文献
随着智能化时代的到来,目标识别技术已在诸多领域得以实现。针对不同的识别任务人们常依赖于专家经验所设计的网络,这就需要专家具备较高的设计水平和实践能力,无形中拉高了网络框架设计的门槛。因此借助神经网络架构搜索算法实现网络的自动搜索成为了当今研究的热点,通过神经网络搜索出的网络具有参数量小、模型复杂度低、检测速度快等优点。本文的第一个研究内容是选择一个最适合与MobileNet轻量化网络结合的目标识别
铁路环线信号已被应用于轨旁电子设备（Line Side Electronic Unit,LEU）向高铁车载设备的半连续通信,其特点是采用了直接序列扩频调制方式。该信号可以传递行车速度、坡度和列车定位信息。目前,铁路环线通信技术主要应用在欧洲列车控制系统（European Train Control System,ETCS）中。在我国,随着国家关于中欧铁路环线通信合作项目的推进,同样需要开展铁路环线
人体动作识别是计算机视觉领域的一个重要的研究方向,旨在使计算机能够自动识别人体动作。人体动作识别技术在智能监控、无人驾驶、人机交互等方面都有广泛的应用。随着深度学习被应用于人体动作识别领域,人体动作识别准确率有了显著提升。这其中空域特征与时域特征最为常用,然而时空特征存在复杂多样性和时空对应关系利用不足的问题。针对人体动作时空特征复杂多样性以及时空特征之间对应关系利用不足问题,本文对基于多特征学习
人体的细胞液由细胞内液和细胞外液组成,在健康状态下,细胞内外液维持着动态上的平衡。当人体患有某种疾病时,如肾病,细胞内外液水含量将会失衡,从而导致人体出现脱水或者水肿的症状。生物电阻抗技术是利用电学的方法测量人体水分,以此来提取人体的生物电阻抗信息,并根据这些信息来反映人体的生理或病理信息的技术。人体阻抗的测量方式是通过恒流源向人体施加安全激励电流,并采集人体反射回来的电压与电流信号来计算人体的阻
伽玛射线暴是宇宙学尺度上,恒星级天体爆发过程中产生的某一方向伽玛射线强度瞬时增强又迅速减弱的现象,揭示着宇宙学距离起源,伽马射线暴探测是当前天文学研究最活跃的方向之一。伽马射线探测的核心需求有两个,一个是在保证较大视场的前提下,提高位置分辨能力,另一个是提升能量分辨能力。这些探测需求的提升都使得伽马射线探测技术逐渐向着大规模,高集成度的方向演化,这对与之匹配的读出电子学技术也提出了新的需求。本文设
图像去模糊处理是图像复原中重要的研究任务,然而目前图像去模糊研究大部分是针对整张图像,但在实际生活中,人们往往希望对图像中的特定目标进行去模糊,如人脸、行人、指示牌、车牌等,而对图像的背景则没有去模糊的需求。本文研究了主要针对行人的特定目标去模糊算法,工作内容和创新性如下:提出一种针对行人去模糊的生成对抗网络（Pedestrain Deblurring Network,PDNet）,能够针对图像中
在科学技术快速发展的现代社会,通信技术也向着多个技术方面综合发展,但随着人类对各个方面的深度探测,通信场景也愈发复杂。在很多场景下,对通信终端功能的要求不再仅仅是实时通信,还需求通信设备具有测距定位的功能。相较于传统单收发的通信设备,集收发通信测距一体化的通信设备具有更强的通用性、更高的灵活度,能够被更为广泛地被应用在军事、航空航天、电力交通、无人机协同等领域内。但由于在某些条件特殊的通信场景中,
随着人工智能的崛起,手势识别技术在人类的生活中更加普遍。静态手势识别和动态手势识别统称为手势识别技术。相比于静态手势识别,动态手势识别的技术复杂性要大得多。尽管动态手势识别的实现方式有很多种,但大部分技术难点尚未得到完全解决。本文从动态手势识别的手部检测、特征提取、动态手势分类等几个步骤着手,并结合深度学习等方式,首次实现一种应用于航空医学救援飞行模拟器中的动态场景下的医学动态手势识别系统。本文主
“教—学—评”一体化是新课标背景下落实立德树人根本任务、实现学生核心素养发展的重要方式。本研究针对当前教学实践中的教与学“两张皮”、教育与评价二元分离、“教”“学”“评”三者的目标不一致、评价主体单一化和评价方式单一性等问题，提出以发展学生的核心素养作为共享目标，运用标准多维性、主体多级性、方式多元化促进“教—学—评”一体化的策略，以期为促进学生核心素养发展的教学改进提供参考。
有限的电池容量、较高的无线网络传输延迟和低计算力的用户设备长期以来限制着移动计算网络的发展。近年来,随着第五代移动通信技术（5th Generation Mobile Networks,5G）和雾无线网络（Fog-Radio Access Networks,F-RANs）的快速发展使得打破这些限制,实现设备的可持续运行以及高负荷计算任务的本地端处理变成了可能。在雾无线网络中,系统通过将任务卸载到远