增强现实技术能够在显示屏幕上将虚拟景象叠加到现实场景中,从而获得超越现实的感官体验,已被应用于数据模型可视化、虚拟训练、娱乐与艺术创作等领域。已有的增强现实应用系统中的人机交互方式有限,为了提高系统交互的娱乐性,本论文针对博物馆、展览馆和商场等公共场所的应用场景,采用Unity3D三维游戏渲染引擎,并结合Kinect体感相机,设计并实现了一款基于增强现实的交互显示软件。该软件具有人脸检测、语音识别、手势识别、虚拟物体生成和叠加等功能,能够在人脸、手掌和背景环境叠加不同的虚拟模型,可以应用在多种增强现实应用系统中,具有良好的实际应用价值。论文主要工作如下:(1)软件总体设计。通过分析增强现实交互显示系统的软件功能和性能需求,选择Unity3D游戏引擎作为系统的软件开发平台,采用Kinect体感相机作为系统的硬件开发平台。将软件分为人机交互、三维注册、虚实融合三大模块,制定了软件开发方案,搭建了系统的软硬件开发环境。(2)人机交互模块设计。该模块包括手势识别和语音识别两个部分,其中手势识别部分采用Kinect相机骨骼识别追踪技术获取交互对象的手部、肘部和肩部关节点的坐标,根据这三个点坐标的空间位置关系来判断是否有挥手动作产生,再将挥手动作转换为手势交互指令。语音识别部分采用科大讯飞的在线语音识别云平台实现,通过语音识别接口将采集到的语音发送到科大讯飞云端服务器,等云端服务器完成识别后,下载并解析识别结果,从而得到用户的语音交互指令。(3)三维注册模块设计。该模块主要是完成空间坐标转换和摄像机位姿估计,找出虚拟物体在真实空间的准确位置,采用了基于视觉的跟踪注册方法。该方法首先使用张正友相机标定法对摄像机进行标定,然后使用Dlib人脸检测库对彩色图像进行人脸特征点检测,最后采用基于标准3D人脸模型的相机位姿估计完成三维注册模块的设计。(4)虚实融合模块设计。该模块主要是生成虚拟场景数据,采用Unity3D渲染机制将虚拟场景和真实场景的数据相互融合。该模块包括手部、脸部和环境三种增强现实模式,使用三维模型软件和图像编辑软件制作了虚拟场景中的模型,使用Unity3D游戏引擎完成了三种增强现实模式下的虚拟场景搭建,实现了整个增强现实交互显示软件。