论文部分内容阅读
随着多点触控设备的普及,教学环境中逐渐出现了多点触控交互白板、多点触控屏等多点触控设备,多点触控交互已成为一种必然趋势。目前,教学过程中多点触控环境下的手写交互存在着很多不足,教学环境中大部分多点触控设备的交互仍停留两指缩放、三指滚动以及四指拨移等手势交互阶段,现通用的两指缩放手势,虽然在静态的书写阶段,解决了简单放大、缩小这样的动作需要通过缩放工具逐步完成的问题,优化了教师学生等用户体验,但教学过程中多点触控手写输入状态场景下对书写内容进行选择、复制、粘贴、擦除等更常用的编辑操作,仍然需要频繁借助工具栏切换书写和编辑两种状态完成,这一交互方式并没有得到改善。 针对“目前大部分教学过程中多点触控手写输入状态下,在对手写内容进行编辑时,需要频繁地借助工具栏切换手写输入和编辑两种状态”这一不符合日常习惯的交互方式,本文开展了以下研究工作:首先,通过大量文献研究,整理归纳了教学环境下多点触控技术、多点触控手势以及多点触控手势识别等与多点触控手写交互相关技术原理;其次,在总结目前通用的多点触控手势的基础上,根据手势设计原则,设计了选择、复制、粘贴、擦除等简洁、直观的教学过程多点触控手写环境下中常用功能操作的手势,用于提高多点触控手写交互的操作效率,优化用户体验;再次,根据设计的常用手势,提出了“手写交互时需要借助工具栏或辅助按键在输入状态和编辑状态之间切换”这一影响用户体验的交互方式的解决方案,基于手写状态下设计的手势,通过问卷调查,引入用户比较认可的手势,对引入的手势进行识别,并提出了基于触点数目、触点间距离、触点凸包面积、触控时间、触控力度、触点轨迹等六个维度组成的多点触控手势识别模型,实现了多点触控环境下无需借助工具栏或辅助按键操作的手写输入与编辑状态的切换;最后,阐述了该手势识别模型的实施过程,通过实验验证了该方法的有效性,测试计算了该手势识别方法的手势识别率,展示了手势应用示例,并分析了该手势识别模型对其他手势识别的通用性以及引入手势后对教学过程中多点触控手写交互操作效率的影响。 本文的特色之处在于根据手势设计原则,设计了教学过程中多点触控环境下手写交互中操作、复制、粘贴、删除等常用功能操作的手势,并实现了以上手势的识别,为更多的多点触控手势识别提供了参考思路;无需摄像头、特殊触笔等特定硬件设备,花费较小成本,解决了多点触控环境下在线手写交互时手写笔迹与手势笔迹难于辨别的问题,使目前教学过程中多点触控环境下手写交互编辑时完成常用的选择、复制、粘贴、擦除编辑操作可以不需要借助工具栏直接完成,优化了用户体验。目前,此技术已应用在本单位自主研发的教学平台starC的电子白板中,将在第三代产品中发布相应功能。