论文部分内容阅读
增强现实技术是一门基于计算机图形学、人工智能、传感技术和人机交互技术等多种学科的综合性技术,该技术将虚拟世界叠加到现实世界中来加深用户对于现实世界的认知,扩充现实世界,便于用户更加形象具体的理解现实世界。近年来,增强现实技术被广泛应用于教育、工业、娱乐以及军事等多个领域,其主要研究内容包括视频获取、图像识别、三维跟踪注册、虚实融合等模块,其中跟踪和注册是核心研究内容。本文针对增强现实技术在不同应用场景中,标识信息和虚拟信息需要提前置入、虚拟信息的显示受标识信息限制、标识识别效率较低以及增强现实工程不通用,开发成本高的问题,主要研究工作如下:(1)针对增强现实技术中标识信息和虚拟信息需要提前置入的问题,提出了免标识跟踪的模型动态加载方法,以关键字查询的方式动态加载虚拟模型,借助HoloLens独特的空间映射功能实现虚拟模型与现实世界的交互,降低了虚拟信息对标识信息的依赖程度,摆脱了对标识信息的跟踪。设计和提供多种凝视、语音和手势的操作方式进行人机交互,来控制虚拟信息的加载、旋转、位移、详情显示等操作。(2)针对增强现实技术中标识信息识别泛化能力弱,识别效率较低的问题,提出了免注册标识的识别方法,利用迁移学习方法训练卷积神经网络(CNN)来实现目标信息的识别分类。首先预训练AlexNet网络,初始化网络模型参数;其次通过互联网途径收集应用场景的样本数据集,并通过旋转、镜像翻转等方法对数据集进行扩充;再次重新训练网络模型的全连接层来适应应用场景,保留新的全连接层参数;最后将初始化的网络模型和新的全连接层再进行微调从而完成模型的训练。(3)基于HoloLens设计实现了增强现实识别系统。系统以C/S(客户端-服务端)架构解决应用场景和虚拟信息的更新问题,采用HoloLens设备为客户端完成了目标信息采集、模型动态加载、空间映射和人机交互等功能,以此实现增强现实效果;服务端采用迁移学习方法训练网络模型,并根据应用场景的变化更新了系统所需的目标信息和虚拟信息。整个系统采用UDP协议传输信息,并对UDP数据进行了预处理报以解决丢包乱序现象。实验结果表明,在不改变客户端应用的基础上,客户端可以加载全新的虚拟信息来适应新的应用场景,缩短了增强现实系统的研发周期,可以节省人力和时间成本。