随着虚拟现实、增强现实、普适计算和其他“脱离桌面”技术的到来，三维用户界面(3D UI)的设计和开发成为一个重要研究领域。三维用户界面与现有的二维wIMP界面有很大不同，在带来更自然的交互方式和有效拓展人机通信带宽的同时，也面临着许多新的设计挑战和更复杂的可用性问题。现有的3D UI不是过于简易就是缺乏可用性，难以满足实际应用的需求。为此，必须对高可用的三维交互技术进行深入研究。　　 目前三维交互技术的研究主要集中在完成通用交互任务和子任务方面，如导航、选择/操作和系统控制等。交互技术仅在较低的几何层上实现，没有充分利用应用领域的约束和特点，缺乏对高层语义的支持，成为导致现有3D UI可用性差的重要原因。为此，本文借鉴认知心理学原理，将虚拟环境下的语义信息应用到三维交互技术的设计和实现中，研究基于语义的三维交互技术，目的是从高层应用角度支持用户更为自然、高效地完成复杂交互任务。　　 论文首先在对虚拟环境下的交互语义进行分析的基础上，面向交互过程提出了语义对象和语义模型的概念。在此基础上，针对复杂交互任务的需求，设计和实现了基于高层语义的三维交互技术，并提出利用场景语义实现多种交互技术融合的方法。根据混合现实环境下的交互特点，结合口腔医学可视化领域的应用实例，研究了基于界面元素语义实现无缝交互的技术。最后，从三维交互系统的设计和开发角度，研究了支持高层语义的三维用户界面体系结构和结构化开发框架，并讨论了基于这些研究成果开发的虚拟现实应用实例——儿童娱乐城。　　 本文的贡献和取得的创新成果可以归纳为以下四个方面：　　 1.虚拟环境下的语义对象和语义模型　　 从支持高层交互任务的角度，提出虚拟环境下语义对象和语义模型的概念，建立了语义对象的多构件结构和基于场景图的语义模型。语义对象包含与交互有关的几何、规则、约束和供给等语义属性，实现高层交互语义的封装和解析，为用户提供“直接操作”之上的高层交互控制。　　 2.基于高层语义的三维交互技术　　 针对复杂虚拟环境下的交互需求，结合应用特点设计和实现了多种基于高层语义的三维交互技术。多比例空间中的无缝导航技术利用交互上下文语义，解决了复杂大场景中导航效率和准确性的矛盾。基于约束语义的混合交互技术利用虚拟对象之间的约束关系和双手交互技术，实现了用简单的交互设备来完成具有更高性能和精确性需求的混合交互任务。基于场景语义的三维交互技术借助场景中的语义对象，使用户能够更自然、更高效地完成复杂交互任务，并在不同交互技术和操作模式之间实现了自然的融合和平滑的转换。　　 3.混合现实环境下基于语义的无缝交互技术　　 针对混合现实环境下的交互任务特点，提出了一个较为完备的交互技术分类体系，设计和实现了空间交互技术、基于命令的交互技术和基于虚拟工具的交互技术。通过增强虚拟对象对高层交互语义的支持，实物界面元素和虚拟界面元素之间实现了多层次的交互映射，使用户更容易在物理空间与虚拟空间之间进行无缝交互。　　 4.支持高层语义的三维用户界面体系结构和三维交互系统结构化开发方法　　 通过建立高层事件处理模型，增强场景图的语义处理能力，提出一种支持高层语义的多层界面体系结构，使虚拟现实系统能够在更高层次上支持三维交互技术的设计和实现。综合运用概念模型、结构化设计和构件技术设计了支持跨学科创作的3D交互系统结构化开发方法。基于构件技术的多层界面软件模型实现了用结构化的文档来描述3D界面构件的空间组织结构和动态交互关系，支持更高语义层次上的交互设计与重用。