混合现实(Mixed Reality,MR)加强了增强现实在空间感知方面的不足,在增强现实基础上能够实现多人协同操作,提高交互的便利性,同时MR将真实场景与虚拟场景较好的融合在一起,增强了操作者的沉浸感。因此MR技术被广泛应用在对未知场景探测的科学问题分析等需要多人共同参与的任务中。巡视探测器运行在未知或先验信息不足的环境,仅仅依靠机器自主智能难以完成复杂的任务规划,以局部自主操作和操作员监督控制结合的监督式遥操作(Supervisory control)成为巡视探测遥操作系统的首选方式,因此需要进行场景建模以了解巡视器运行环境,再做出遥操作任务规划。本文通过深度相机获取地形障碍特征数据并与DEM地形数据融合的方式重建场景,然后搭建了混合现实多人交互遥操作平台。为了实现以上的功能,本文从以下方面展开了相关研究:(1)设计混合现实遥操作平台,在Unity3D物理引擎上进行巡视探测器真实环境采集信息的虚拟场景建模,其物理仿真功能可减小巡视探测器运行产生意外事故的可能性。操作者使用混合现实头戴设备,观察在真实空间中投影的三维场景重建的全息数据,共同商讨交流进行巡视器科学任务规划。(2)提出了基于地形通行性的非结构化地形场景重建方法,将Kinect相机采集到的点云数据通过聚类算法生成障碍物基本特征信息,并与DEM数据相融合生成具有足够细节信息的地形,以满足巡视探测器运行对周围环境的感知要求。这种通过基于地形通行性的重建方法,减小了信息传输通信的压力,同时也突出了地形障碍物的显示。(3)最后进行了混合现实遥操作人机交互设计,对多人混合现实操作设置合理方案,保持各方视角的一致性,设计遥操作多人交互通讯网络,设置丰富的命令请求,以满足不同的操作需求。多位遥操作科学人员在该平台下可以同时对巡视探测器所处环境进行分析判断,并对感兴趣的资源物体增加虚拟标签,实现对信息的更直接的观感。本系统设计提供了一种高效率的地形重建方式,并对地形的呈现效果做了评价,分别从重建效果、传输效率做了测试。实验证明通过基于地形障碍通行性的遥测场景重建,具有场景重建快速性与良好的重建效果。最后多人的混合现实遥操作交互方式,可以极大的提升操作者的操作体验,提高全局场景信息的获取量,能够帮助科学家做出能加准确的遥操作指令,同时可供多人观察以及共同操作的操作方式,提高遥操作效率和准确性。