虚拟现实技术随着5G网络、边缘计算、人机交互和传感技术的发展得到进一步完善,逐步展现出其在各个领域的应用价值。目前,虚拟现实已经在教育培训、军事训练、城市规划、娱乐游戏等众多领域得到了广泛应用,谷歌、微软等公司相继推出了虚拟现实商用产品,虚拟现实生态链正在逐步完善。虚拟现实系统给用户带来了较好的沉浸式交互体验,但用户与系统交互时输入的隐私信息面临着多种潜在的侧信道攻击威胁,导致用户隐私信息泄露,例如账号密码等。虽然目前关于虚拟现实终端用户密码输入的安全问题鲜有研究,但其重要性不言而喻。基于上述问题,本论文针对虚拟现实终端用户密码输入的安全问题,对头盔输入和控制器输入的两种不同方式,提出了基于虚拟现实终端运动传感器的侧信道攻击,并进一步针对头盔输入方式提出了基于计算机视觉的侧信道攻击,通过实验验证虚拟现实系统存在安全问题。为了抵御可能的侧信道攻击,设计基于全景图像的安全认证技术。具体工作主要包括以下四个方面:(1)研究基于终端运动传感器的侧信道攻击技术。采集终端运动传感器数据,结合用户输入过程中的行为特点,设计用户点击识别算法。计算输入过程中对应输入设备姿态角的变化量,从而恢复虚拟光标的移动轨迹。结合虚拟键盘参数,设计密码恢复算法,最终实现对用户密码的获取。(2)研究基于计算机视觉的侧信道攻击技术。使用立体相机拍摄用户输入密码的过程,用立体标定与矫正技术对视频进行预处理。用光流法追踪用户手指和头盔运动,判断触摸帧。计算头盔姿态角变化量,估计虚拟光标的移动轨迹,最终恢复用户输入的密码。(3)研究基于全景图像的虚拟现实安全认证技术。结合虚拟现实特性,实现全景图像的显示,设计图像旋转/暂停的交互方式。针对图像密码的存储问题,设计区域分割算法,将图像密码离散化,在保证可用性的基础上添加全景图像随机旋转因子,提高认证的安全性。(4)整合侧信道攻击和图像认证的理论和技术研究成果,实现基于全景图像的虚拟现实用户安全认证原型系统,并对原型系统的功能和性能进行测试,验证认证系统的有效性和安全性。综上所述,本论文针对虚拟现实终端用户文本认证方式的安全性问题展开研究,首先分别设计了基于终端运动传感器和基于计算机视觉的侧信道攻击技术,验证其存在安全隐患,然后研究了基于全景图像随机旋转的虚拟现实图像认证技术,并最终设计实现了一套虚拟现实安全认证原型系统,有效地保护用户的隐私数据安全。