论文部分内容阅读
随着人机交互、虚拟现实、增强现实和物联网等新技术的出现,传统鼠标和键盘在这些情况下无法满足交互需求。这些新技术的应用环境特征更偏向用户与系统使用简单和高效的自然交互。目前人机自然交互技术主要存在高效的自然交互、用户在场景中的移动与导航、多模态协同交互等关键技术问题。基于计算机视觉的手势、姿势、人脸等识别与交互是自然交互技术的研究热点,本文提出基于深度神经网络的手势识别技术解决自然手势交互问题;提出基于HOG和SVM算法的人脸识别技术与基于Kinect的姿势检测解决自然移动与导航问题;在Unity3D与C#的开发环境下,设计并实现了虚拟现实环境下的自然交互系统;最后通过虚拟空间配置的应用论证了本文所提出的技术方案。本文具体包括以下四方面的工作。(1)采用Kinect Studio录制手势、姿势样本,采集的样本在Visual Gesture Builder(VGB)中进行训练,完成手势和姿势的检测并将其应用于虚拟环境的交互和导航;基于深度神经网络利用Object detection API在Pycharm中完成手势的训练,然后将其检测结果应用于虚拟空间配置中与家具的自然交互,提高了手势识别的精确度;提出Kinect Studio和VGB训练结果与深度神经网络相结合完成手势的检测方案,并分析了三种手势识别方案的识别率。(2)通过Kinect设备获取的人体骨骼数据,定义了姿势和手势(如,原地踏步、挥手等)的语义;利用HOG提取特征SVM训练实现了人脸识别,并采用积分图法对HOG提取特征过程进行了优化,将其应用于虚拟环境中视角的导航;利用opencv_haartraining.exe和opencv_traincascade.exe完成了Haar、和LBP算法人脸检测,并对三种方案的识别率、训练时间、检测时间等进行了对比。(3)构建了拼接屏、Kinect和摄像头设备组合的硬件环境,对其设备的应用摆放等进行了分析。其软件环境为Unity3D及MS-SDK、ML-Agents和TFSharpPlugin主要插件,深度神经网络训练环境为Pycharm和Object Dection API。(4)基于Unity3D引擎及以上自然交互技术的实现完成了虚拟空间的导航和配置。虚拟现实环境的自然交互是目前研究的热点问题,本文通过对虚拟环境中自然交互技术的研究,并应用于基于虚拟环境自然交互的空间配置系统。通过Kinect和普通摄像头设备利用手势、人脸和姿势检测完成了动态场景行为控制,并在拼接屏上实现了效果展示,可以实时体验与房间的动态交互比如:家具的旋转、移动和观赏房间的场景等。用户可以在此平台上选择家电和家居等配置,进行随心所欲地搭配。该系统的导航和交互效果可以最大限度满足用户提前熟悉家居格局的需要。