论文部分内容阅读
虚拟环境下的人机交互方式与传统的二维图形界面计算机交互方式不同,交互空间处在虚拟三维立体环境中,交互手段需要借助特殊的硬件(例如手柄、头盔等)来实现。为了适应三维立体环境下的人机交互需求,特别是基于虚拟现实技术的心理学研究中需要用户尽可能不受无关因素干扰,人机交互就需要以更接近“自然交互”的方式(例如体感交互、视线跟踪等)进行。因此,研究在虚拟场景下的自然方式交互技术具有重要的应用价值。本论文中,利用Kinect平台的RGBD摄像头采集彩色视频流和深度视频流数据来计算获得体感交互数据以及遥测心率数据,结合WorldViz虚拟现实系统平台,通过搭建无线局域网信息通路将体感数据同步传送到虚拟现实应用。主要工作归纳为以下几部分:(1)设计并实现了基于RGBD摄像头的体感数据传感系统。传感系统主要负责采集并输出两种数据:体感控制数据流和面部RGB视频数据流。体感控制数据主要为身体的位置、姿态、手势等数据等;面部RGB视频数据利用了Kinect的面部跟踪技术,输出的面部彩色视频流用于遥测心率等算法使用。(2)设计并实现了基于彩色视频流的非接触式连续心率测量算法。人体皮肤的颜色信号在视频流中存在微弱变化,该变化包含人体的生理参量信息(心率、呼吸率等)。算法使用面部区域作为ROI分析区域,信号经过滤波,通道分离,盲源信号分离等步骤获取到心率值。算法创新的引入区域划分步骤和区域评价系数概念,使正确度进一步提高。(3)设计并实现了无线局域网交互信息通路系统。交互信息通路系统负责连接体感数据传感系统和WorldViz虚拟现实系统。Kinect客户端根据设计的编码规则将控制数据或者体感数据提交给交互信息通路系统,然后交互信息通路系统使用网络协议将信息传输给WorldViz虚拟现实系统,最后进行数据解码并输出给虚拟现实应用。(4)集成体感交互逻辑到虚拟现实系统平台,并进行了详细的实验效果测试。对于非接触式心率测量,实验结果分析了对算法产生影响的三个因素:视频长度、ROI大小和颜色通道。体感交互效果分析时,在不同虚拟现实环境下的心理学实验条件下,分别测试对比了场景交互、模型交互和视角交互下的用户体验。