基于智能裁剪的视频重定向算法研究

来源 :广西大学 | 被引量 : 0次 | 上传用户:blue_violet
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
由于通信网络和视频压缩技术的快速发展,人们可以在各种媒体终端设备上观看视频。由于终端设备的显示屏幕不尽相同,需要对原始视频的尺寸进行缩放调整,以适应设备屏幕的大小。传统的视频缩放方法如传统裁剪、均匀缩放及边缘填充等,在没有考虑视频重要内容的情况下直接调整视频尺寸,极易造成视频重要内容的变形和失真,视频观感差。因此,如何根据视频内容自适应地调整视频的尺寸,同时最大限度地保护视频重要内容信息,保证视频播放的流畅性,是一个具有挑战性的问题。现有基于智能裁剪的视频重定向方法是通过对视频显著内容的检测,确定视频重要内容区域,并根据重定向视频目标尺寸的大小,自适应的计算裁剪窗口相关参数,并依据该参数对原视频进行重定向操作。主要原因在于目前的相关算法未能较好的检测视频中的显著内容和运动对象导致裁剪窗口会错误的裁去重要内容的信息,和在时域上对视频的连贯性约束力度不够强导致重定向后的视频不连贯,产生抖动。本文深入研究了基于智能裁剪的视频重定向算法,更充分地利用了视觉显著信息以及加强了在时域上的约束力度,从而提高了重定向视频的质量与重定向算法的性能。研究结果如下:(1)提出了一种基于帧间相对位移约束的智能裁剪视频重定向算法。该算法通过计算视频帧的空间显著度图和运动历史图,自适应融合生成重要度图,并计算兼顾裁剪损失和缩放损失的总视觉信息损失量;将相对位移参数和人在视觉上能够容忍的最大不一致的限度系数构成时间约束项,随后对系统进行联合优化求解得到最优缩放因子和裁剪窗口,智能裁剪原视频得到重定向结果。实验结果表明:相比于传统方法和其他基于智能裁剪的视频重定向算法,该算法在主观上能更好保护视频重要内容,视频流畅连贯且几乎不产生抖动,视觉观感好;在客观上,利用TID和SSM指标进行对比分析,通过该算法得到的重定向视频的性能也明显优于其他算法,意味着该算法能保留更多视觉显著信息,和较好地保持视频的时间连贯性。(2)提出了一种基于裁剪的多算子视频重定向算法。针对处理部分运动速度较快、重要对象较多和重要对象分布分散不集中的视频时,可能会造成裁剪窗口无法精确确定,保留过多非重要内容而缺失部分重要对象的部分内容的问题。为了解决上述问题,本文的算法通过修正运动历史图,提高重要度图中的运动显著信息,结合细缝裁剪算法自适应地裁去原始视频中的非重要内容像素缝后,计算在时间连贯性约束下总视觉信息能量损失最小时的最优缩放参数并重定向视频。实验结果表明,针对部分背景复杂、重要对象多以及运动速度快的视频进行重定向时,该算法是有效可行的。且与传统方法、其他基于智能裁剪的视频重定向算法以及本文第二章提出的算法相比,主观上视频无抖动且能更好的保护视频重要运动对象,视觉效果佳;客观上利用TID和SSM指标进行对比分析,该算法的性能也优于其他算法,重定向视频能更好地保持时间连贯性和重要内容的完整性。
其他文献
随着多媒体技术的不断发展,各种视频终端设备如手机、MP4、电脑、高清电视等层出不穷。不同终端设备的屏幕尺寸和宽高比例也不尽相同,这就带来新的挑战——即如何改变原始视频的分辨率使视频满足不同终端设备的显示需求。传统的裁剪、边缘填充,均匀缩放三种方法忽视了视频内容的差异,导致视频内容的显著部分出现失真变形,基于内容的视频重定向方法便由此而生。基于内容的视频重定向算法综合考虑视频内容的不同,其主要目的是
多年来,单图像超分辨率(Super-Resolution,SR)技术被广泛应用到各个领域,如遥感图像、医学成像、视频监控等,具有重要的研究意义。单图像SR技术旨在从给定的低分辨率图像中,通过恢复图像细节信息来提高图像的分辨率。随着深度学习的发展,基于卷积神经网(Convolutional Neural Network,CNN)的单图像SR方法获得了巨大的成功。目前很多基于CNN的图像SR算法通过训
学位
近年来陌生概念出现在高考地理试题中已经成为一种常态,而且难度较大。在地理复习备考高考过程中,教师可以尝试利用陌生概念组织专题复习。本文以"冻融作用"为例,浅谈利用冻融作用涉及的陌生概念组织教学,一方面有利于减轻学生在考试中遇到陌生概念的畏难情绪;另一方面促使学生积极主动地调动所学知识去分析和解决地理问题,提升地理综合思维和创新能力,灵活应考。
具身认知理论与汉语教学的结合,可产生"合作教学"等教师培训形式、沉浸式学习等学习模式。这些教育革新在探索实践过程中形成了广泛适用的基本原则,即悬置与还原原则及匹配性原则。
按照形式逻辑的观点,概念是反映事物具有的本质属性(或特有属性)的思维形式。准确地区分概念,是人们正确认识事物的基础,也是人们对事物进行准确判断和推理的前提。但2019年高考江苏政治卷36A《经济学常识》第(1)问试题,却混淆了"劳动生产力"与"劳动生产率"这两个基本的经济学概念。36A《经济学常识》第一问试题是这样的:亚当·斯密认为,凡是能够采用分工的工艺,一经采用分工便能相应地增进劳动生产
期刊
新能源接入比例的不断提高恶化着电力系统的小干扰稳定性,系统面临的低频振荡挑战不容忽视,如何进一步提高系统的阻尼能力是当前亟待解决的问题之一。优化阻尼控制器参数是增强系统小干扰稳定性的重要手段,但该参数优化问题涉及到特征值优化,属于非光滑优化问题。非光滑优化问题的求解原是数学上的一大难题,前人虽尝试利用启发式算法或数学规划法来求解非光滑优化问题,但这些算法在处理这类问题时难以同时保证最优性和收敛性。
新课标将“培养学生的地理空间观念”作为核心观点,并提出地理空间观念教育是地理新课程教学应重点关注的领域。地理空间思维是地理空间观念的重要组成部分,而学会区位分析是培养学生地理空间思维的重要途径。本文以探究新中国成立以来上海市主要工业部门的区位条件变化为例,落实地理空间思维能力与地理实践力的培育。
学位
学位