随着人机交互技术的发展,自然直观的交互方式越来越受到广大用户的青睐。笔+触控(Pen+Touch)的交互模式源于对“人们单手执笔,双手配合在书本上完成勾勒、注释等任务”的抽象,因其自然、直观和高效的交互特点已成为了研究的重点。笔的输入精度高,常用来写、绘制线条,触控只需使用赤裸的手指即可完成交互任务,但是存在肥手指问题。笔+触控交互结合笔交互和触控交互的优势,弥补了笔交互和触控交互单独设计时存在的缺陷,丰富了界面设计的交互属性。目前,随着硬件设备的发展以及对笔和触控很好的支持,笔+触控输入已被认为是很有前景的交互方式。传统的GUI桌面系统,如Windows桌面,基于鼠标和键盘而设计并且在很多方面并不适合笔和触控的自然交互设备,而且在操作上和视觉上与真实的桌面操作迥异。于是本文提出一个新型的基于"Pen+ Touch"输入的三维桌面系统,此桌面系统模拟真实的物理桌面并且能够使用户以更直观、自然的方式对桌面进行操作。本文首先对桌面元素进行设计,桌面的交互场景以三维的形式展示而不再是二维平面；桌面文档使用长方体的图标进行表示,相对于传统图标增加了文档的厚度,同时桌面文档被赋予了一些自然物理属性如质量、维度、重力等,当用户操作桌面时,桌面文档能够产生一些物理效应(碰撞、反弹等)如同操作真实的桌面一样；另外本文设计了一个3D轴形菜单,菜单通过触发显示在桌面上,并以滚动的方式显示菜单项。其次,本文设计了一些自然交互技术实现对文档的基本操作,如文档移动,文档选择,文档的复制、删除、文档的旋转和缩放,文档的归整和预览等,这些交互技术是基于笔输入和触控输入而设计的,并且对两种输入方式进行了明确的分工。最终,本文实现了基于"Pen+Touch"输入的三维桌面原型系统,针对此三维桌面系统的可操作性,我们进行了评估实验,实验结果表明该桌面系统操作更真实、直观和自然。