人机交互的发展日新月异,触控界面的直观操作方式受到了越来越多的用户的拥戴,这直接体现在当前iphone等触摸型电子产品的普及。由于触控输入的交互方式和硬件构成的原因,触摸界面依然存在两大问题：直接点击精度低,即肥手指问题；手遮挡问题给用户操作带来的不便。众多的研究者围绕这两个主要问题从界面技术改进和交互特征实验分析的角度进行研究,主要集中在改善直接点击精度的问题上。但均是以牺牲操作时间和操作简易度为代价来换取选择精度的提高。笔具有天然的高精度输入特点,笔+触控交互模式可以从根本上解决界面输入精度的问题,同时也保留了触控直观的交互特征。另外,手势的优势在于操作的自然直观,但随着手势集合的增大,为了降低手势的相似度势必增加手势构成的复杂度,这与手势的特征优势相矛盾,因此需要找到两者之间的设计平衡。笔+触控交互拓宽了输入通道,增加了输入模态,这为设计简单高效的新式笔+触控手势提供了可能。综上所述笔+触控交互融合了笔交互和触控交互的优势,弥补了笔交互和触控交互单独设计时存在的缺陷,丰富了界面设计的交互属性。本质上,笔+触控的交互模式源于对“人们单手执笔,双手配合在书本上完成勾勒、注释等任务”的抽象,因此其交互方式亦符合自然用户界面(NUI)的设计理念。在本论文中,我们提出了一个新颖的基于多点触控和笔式交互界面的手势交互技术,该种交互方式将笔和触控两种输入方式组合在一起。这种手势设计融合了手指触摸和笔两种输入方式的优点,通过引入精确的笔尖输入减轻了“肥手指”问题,同时也保留了触控自然直观的交互特征。我们将利用所实现的常用触控手势事件和笔或者手指的笔划手势进行笔+触控交互界面手势设计,提供一种通用的设计方法。经过仔细考虑笔和触控两种输入方式的内在属性,我们提出的手势设计包括了6种手势组合。在文中我们对这6种组合进行了详细的分析和介绍。另外,我们还设计和安排了一个用户体验测试实验对我们所设计的手势进行简单的测试评估。实验结果表明我们所提出的手势技术是非常有效的,给用户以直观自然的体验。最后我们揭示了在基于多点触控界面中设计基于手势技术的设计原则并给出了相应的应用实例加以说明。