基于GAN的全景视频错误隐藏算法研究

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:djlmail
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的不断发展,人工智能在生活中应用广泛。例如:卷积神经网络的出现让视频传输、图像识别、语音识别、无人驾驶等技术有了突破性的进展。由于人们不满足于现有的视频形式,全景视频应运而生。与普通视频相比,全景视频分辨率更高,具有更全面更清晰的观感。同时,全景视频也具有数据量大,难以完整、正确传输的缺点。近几年,虚拟现实成为热门研究方向,全景视频作为其主要的呈现形式之一,保证全景视频的传输质量十分重要。本论文主要针对全景视频的错误隐藏技术,结合全景视频的特点以及生成对抗网络模型进行研究。1.针对全景视频的特点,本论文对全景视频数据集进行预处理。与普通视频相比,全景视频最主要的特点是,全景视频在传输过程中顶部和底部区域基本不变,发生变化的区域主要是全景视频的中间区域。针对于这个特点,本论文首先通过相邻两帧之间的残差信息,以宏块为单位,将全景视频分为相对运动区域和相对静止区域。然后分别对两个区域进行剪裁,得到小分辨率的图片集合。最后,将该图片集合转换为TFRecord文件。经过以上步骤制作了一个基于全景视频的分辨率小的数据集。2.为了解决全景视频在传输过程中出现错误的情况,本论文提出了一个基于GAN的网络模型PV-GAN。对于出现数据缺失的情况,采用该网络模型比其他网络错误隐藏的效果,SSIM和PSNR平均提高了 1%。PV-GAN分为一个生成器网络和两个辨别器网络。其中生成器网络用于修复全景视频传输过程中有损帧缺失的部分,并且修复之后的图片欺骗两个辨别器网络。两个辨别器网络包括一个全局辨别器网络和一个局部辨别器网络。这两个辨别器网络一起用于把生成器网络生成出来的图片和真实图片进行区分。此时,生成器网络和辨别器网络形成博弈。在这个过程中,生成器网络生成的图像更贴近真实图像,从而欺骗辨别器网络,使得辨别器网络分不出是生成的图像还是真实的图像。这样修复之后的帧和真实的帧更为相近,从而能够达到全景视频在传输过程中错误隐藏的目的。
其他文献
阅读的过程也是思维的过程,思维贯穿阅读的始终.思维的发展与提升是学生语文核心素养的重要组成部分.较之单篇阅读教学,群文阅读教学对培养学生的语文核心素养具有更多优势,是学生系统发展思维能力、整体提升思维品质的重要途径.群文阅读教学应注重联想与想象、辨析与归纳、批判与发现,促进学生的思维品质得到均衡发展与有效提升.
随着城市化进程的不断深入,城市交通拥堵问题所带来的影响日益明显,交通流预测已成为城市智能交通系统发展的关键。利用大数据和人工智能算法实现对城市路网交通流的预测,可以为出行者推荐最优出行路线、辅助交管部门提前进行交通管制,对智慧城市建设具有重要意义。本文主要研究城市交通流预测和最优路径规划问题,以时空数据为基础,利用深度学习算法实现时间特征与空间特征叠加的交通流预测,并将预测结果用于城市动态路径规划
作为常规作业的补充,小学数学实践性作业更具体验性、操作性、现实性以及综合性、开放性,能更好地帮助学生积累数学活动经验,发展数学核心素养,提升数学学习兴趣.具体设计实践性作业时,可以围绕让学生在体验中感悟、在操作中探究、在调查中发现、在现实中应用等方面展开.