基于深度学习的风格化双目渲染

来源 :浙江大学 | 被引量 : 0次 | 上传用户:d632709901
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着深度学习技术的快速发展,图像以及视频的风格化成为了近些年来的研究热点。而基于神经网络的风格化应用Prisma甚至风靡了社交网络,在多个国家苹果商店占据了一段时间榜首。目前已有的风格化算法都是为单目的图像视频进行设计,无法在VR及3D显示设备上得到应用。  本文首次提出了基于深度学习的风格化双目渲染框架,解决了双目内容的风格化渲染问题。本文提出了一个全局的损失函数,并基于该损失函数设计了一个能够渲染任意风格双目动画的离线算法。为了使VR游戏能够使用风格化双目渲染,本文基于运动场引导的特征图混合方法,提出了Two Pass实时算法。该算法在牺牲了一些渲染质量的前提下将双目风格化所需要的时间减少了两个数量级。在该算法的基础上继续拓展优化,本文提出了One Pass实时算法,利用固定游戏场景的画面作为先验,每帧的渲染只需要做一个神经网络的前向传播。本文的算法框架内都考虑了时间连续性和视差一致性,因此相对于独立单帧风格化的方法大大减少了闪烁和瑕疵。最后,本文对上述三种算法进行了具体的数据分析与对比并给出了使用的指导意见。
其他文献
随着中国网络化和信息化建设的不断深入,由此所带来的信息安全问题已经引起社会的广泛关注。在网络环境下,要为正确的用户提供信息服务,就必须对用户的身份进行认证。目前,传统的
在众多的网络应用中,即时通信(IM)服务是应用得最广的技术之一,它诞生不久却给人们的工作和生活带来了深刻变化。当前,不同厂商的IM产品种类繁多。随着即时通信的迅速发展,不
预测理论作为一门综合性的学科,广泛应用于经济、社会等领域,取得了巨大的发展。所谓预测问题,实质上就是以过去的已知状况作为输入,在预测算法作用下,取得未来结果输出的过程。为
现在,Web应用正在成为获取在线服务的主要方式。同时 Web应用漏洞正以惊人的速度被发现和披露。跨站脚本(Cross-site Scripting,XSS)是Web应用中一个严重的安全问题。这种攻击允
日益高涨的网络应用需求、步步逼近的网格应用以及陈旧的软件开发模式,急迫期望着出现面向网格应用的新型软件开发方法及环境。在这种背景下,实验室提出了面向网格应用的新型
随着信息技术与互联网应用的迅速发展。政府、企业、高校等机构的信息系统的建设面临着巨大的挑战,主要体现在两个方面:一是面对由于历史原因产生的各种“信息孤岛”如何实现
我们正处在信息化的社会,大量信息在给人们带来方便的同时也带来了一大堆问题:第一是信息过量,难以消化;第二是信息真假难以辨识;第三是信息安全难以保证;第四是信息形式不一致,难以
随着互联网技术的迅速发展,形式多样的数字化产品正把人们的生活融入到互联网中;目前,下一代互联网的脚步越来越近,数字家庭的概念也逐步走入人们的视线。在未来的家庭中,通过
随着信息技术在管理上越来越深入而广泛的应用,管理信息系统的实施在技术上已逐步成熟。管理信息系统是一个不断发展的新型学科,任何一个单位要生存要发展,要高效率地把内部活动
研究表明,神经网络对于参数扰动的敏感性是衡量网络性能的一个重要尺度。参数的扰动对于网络的输出会有怎样的影响呢?如何来度量神经网络对于参数扰动的敏感程度是当前最需要