随着虚拟现实技术的发展与在各领域的应用,如何实现人与虚拟环境自然高效的交互一直都是人们研究的热点问题。目前,使用手柄和游戏杆与虚拟场景交互是虚拟现实交互的主流方法。但是手柄交互方法的交互范围有限且无法处理物体间的遮挡问题;游戏杆交互方法则损害了虚拟现实交互的真实性且具有较高的学习成本。本文使用了平面辅助物将智能平板的交互范式引入到头戴式虚拟现实环境中,并通过单RGB相机对平面辅助物与手部的有效跟踪构建了一个高效的交互系统,实现人与虚拟环境的高效交互。本文的主要研究工作如下:(1)基于Unity3D引擎设计并实现了一个基于平面辅助物的人机交互系统,并通过实验证明了该交互系统的有效性;(2)采用单RGB相机恢复用户手部姿态,并针对基于模型驱动的手部姿态恢复结果存在的缺陷,使用RNN网络对恢复结果进行了数据增强,提升手部姿态的恢复效果;(3)针对虚拟空间与真实空间交互平面的尺寸差异所带来的交互错误,提出了一种触觉重定向方法,使得交互操作可以在相邻目标间连续切换,并能有效防止切换时的虚拟手抖动。