全景视频FoV预测研究

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:lishibo13514244774
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着信息技术的日新月异,多媒体技术正跨入沉浸式(Immersive)时代。全景视频作为重要的沉浸式媒体之一,也迎来了快速发展的阶段。基于用户每个时刻只能观看到全景视频局部的视场范围(Field of View,FoV)内容这一特殊的观看特性,产生了分视角全景视频传输方案,核心在于以高质量传输FoV内的全景内容,降低FoV区域外的内容传输质量。由于系统时延的存在,直接根据FoV反馈信息传输的分视角内容与用户实际FoV不完全匹配,用户在切换FoV时将观看到黑屏或低质量内容。因此,使发送端能够提前传输匹配用户FoV内容的FoV预测技术成为基于分视角传输的全景应用系统不可或缺的重要技术环节。基于不同分视角内容制作技术的分视角传输方案对FoV预测提出了差异化的需求,使FoV预测在直观的FoV视点预测技术之外进一步发展出针对分块全景视频传输的FoV分块预测技术。而如何在看似随机的用户观看行为中挖掘深层次的用户观看行为规律,并建立体现这些规律的预测模型,提高FoV预测准确性,成为FoV视点预测与FoV分块预测研究共同面临的挑战。本研究分别围绕全景视频FoV视点预测与FoV分块预测展开研究:第一,建立针对用户头部转动速度的FoV视点预测模型,通过隐马尔可夫模型(Hidden Markov Model,HMM)与混合高斯分布模型(Gaussian Mixed Model,GMM)建立以用户头部转动速度为观测的时序模型,以HMM的隐藏状态描述对应用户头部转动速度序列的内部模式信息。针对模型参数求解对初始值敏感的特点,本文在分析用户观看全景视频的规律的基础上设计了HMM+GMM模型的初始化过程,在定性分析中表现出优于以随机数设置模型初始值的预测性能。本文提出在确定模型参数后进一步建立HMM的隐藏状态与用户头部转动速度变化信息即用户头部转动加速度间的关联关系,并在用户观看过程中对这一关联关系进行个性化更新。基于这一关联关系建立的FoV视点预测过程能够避免直接利用HMM+GMM模型进行预测的个性化丢失问题。该预测方案在仿真实验中与其他FoV视点预测方案相比表现出预测准确性的提高。第二,针对现有利用LSTM网络预测FoV分块的方案中,输入特征数据量较大且没有充分挖掘用户观看行为规律的问题,以及模型训练目标不符合实际应用场景的问题,提出基于LSTM网络的改进FoV分块预测模型。根据用户观看行为在短时间具有强关联性的特点以及用户的观看行为内在驱动受到全景视频内容影响的特点,提出针对全景内容和用户观看行为的特征提取和处理过程。同时,提出覆盖一定时间范围内用户FoV的预测目标和训练数据标记方式。基于模型的分块级预测序列,提出重点参考预测值较高分块信息的同时结合预测结果在空间域分布信息的FoV区域划分方案。在预测准确度与F-Score性能上均实现了对现有方法的提高。
其他文献
5G致力于为用户提供超高清晰、超低时延的视频流量传输服务,同时支持海量设备连接,以实现万物互联为目标。在移动互联网时代,移动数据流量呈爆炸式增长,传统的无线接入网并不
与传统的光学通信系统相比,基于轨道角动量模的通信系统显著扩大了无线光通信系统的信道容量。然而,大气湍流将引起光强起伏、光束漂移、光束扩展等现象,导致无线光通信系统
随着社交互动与电子商务受到业界关注程度的提升,社会化电子商务模式已经得到越来越多平台、商家和用户的青睐。伴随Web2.0技术的发展与成熟,用户由被动接受内容模式转变为自
目的:研究应用立体心电图和超声心动图检测阵发性房颤(PAF)患者P波相关参数及左房功能,探究其与射频消融术(RFCA)后房颤(AF)复发的相关性,并行多因素分析探究术后复发其他相关因素,
本文采用Aspen Plus和Aspen Dynamics模拟软件对TDI光气化反应精馏过程进行模拟优化和动态控制方面的研究。又利用反应精馏隔壁塔(RD-DWC)对传统反应精馏(CRD)技术进行进一步的节
结构在使用过程中,节点处于受力复杂而且集中的关键部位。因此,节点对于整体结构安全性极为重要。通过监测手段获取节点刚域有助于建立精确的结构有限元模型,为结构设计验证
磁性固相萃取技术具有操作简便快捷、有机溶剂用量少、磁性吸附剂可循环使用等优点,是富集环境水样中痕量污染物的有效手段之一。磁性吸附剂是磁性固相萃取技术的关键因素。
全钒液流电池(VRFB)由于具有能量转换效率高、循环寿命长、维护简单和环境友好等优点被认为是一种优良的绿色大规模储能技术,可广泛应用于电厂调峰、可再生能源发电及智能电网
在土木工程领域,混凝土耐久性研究一直以来都是一门传统的实验科学。但目前的重大工程中,很多处于硫酸盐侵蚀、氯盐侵蚀、冻融循环、干湿循环等极端严酷环境,使得实验研究难
本文根据脂润滑热弹流润滑理论,以深沟球轴承为研究对象,通过对其在脂润滑下的点接触热弹流润滑分析及有限元分析,对影响轴承工作性能的因素及其疲劳寿命进行了研究,探讨脂润