论文部分内容阅读
随着深度学习技术的快速发展,图像以及视频的风格化成为了近些年来的研究热点。而基于神经网络的风格化应用Prisma甚至风靡了社交网络,在多个国家苹果商店占据了一段时间榜首。目前已有的风格化算法都是为单目的图像视频进行设计,无法在VR及3D显示设备上得到应用。 本文首次提出了基于深度学习的风格化双目渲染框架,解决了双目内容的风格化渲染问题。本文提出了一个全局的损失函数,并基于该损失函数设计了一个能够渲染任意风格双目动画的离线算法。为了使VR游戏能够使用风格化双目渲染,本文基于运动场引导的特征图混合方法,提出了Two Pass实时算法。该算法在牺牲了一些渲染质量的前提下将双目风格化所需要的时间减少了两个数量级。在该算法的基础上继续拓展优化,本文提出了One Pass实时算法,利用固定游戏场景的画面作为先验,每帧的渲染只需要做一个神经网络的前向传播。本文的算法框架内都考虑了时间连续性和视差一致性,因此相对于独立单帧风格化的方法大大减少了闪烁和瑕疵。最后,本文对上述三种算法进行了具体的数据分析与对比并给出了使用的指导意见。