基于HoloLens的增强现实识别系统

来源 :中北大学 | 被引量 : 0次 | 上传用户:wangshuo3246
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
增强现实技术是一门基于计算机图形学、人工智能、传感技术和人机交互技术等多种学科的综合性技术,该技术将虚拟世界叠加到现实世界中来加深用户对于现实世界的认知,扩充现实世界,便于用户更加形象具体的理解现实世界。近年来,增强现实技术被广泛应用于教育、工业、娱乐以及军事等多个领域,其主要研究内容包括视频获取、图像识别、三维跟踪注册、虚实融合等模块,其中跟踪和注册是核心研究内容。本文针对增强现实技术在不同应用场景中,标识信息和虚拟信息需要提前置入、虚拟信息的显示受标识信息限制、标识识别效率较低以及增强现实工程不通用,开发成本高的问题,主要研究工作如下:(1)针对增强现实技术中标识信息和虚拟信息需要提前置入的问题,提出了免标识跟踪的模型动态加载方法,以关键字查询的方式动态加载虚拟模型,借助HoloLens独特的空间映射功能实现虚拟模型与现实世界的交互,降低了虚拟信息对标识信息的依赖程度,摆脱了对标识信息的跟踪。设计和提供多种凝视、语音和手势的操作方式进行人机交互,来控制虚拟信息的加载、旋转、位移、详情显示等操作。(2)针对增强现实技术中标识信息识别泛化能力弱,识别效率较低的问题,提出了免注册标识的识别方法,利用迁移学习方法训练卷积神经网络(CNN)来实现目标信息的识别分类。首先预训练AlexNet网络,初始化网络模型参数;其次通过互联网途径收集应用场景的样本数据集,并通过旋转、镜像翻转等方法对数据集进行扩充;再次重新训练网络模型的全连接层来适应应用场景,保留新的全连接层参数;最后将初始化的网络模型和新的全连接层再进行微调从而完成模型的训练。(3)基于HoloLens设计实现了增强现实识别系统。系统以C/S(客户端-服务端)架构解决应用场景和虚拟信息的更新问题,采用HoloLens设备为客户端完成了目标信息采集、模型动态加载、空间映射和人机交互等功能,以此实现增强现实效果;服务端采用迁移学习方法训练网络模型,并根据应用场景的变化更新了系统所需的目标信息和虚拟信息。整个系统采用UDP协议传输信息,并对UDP数据进行了预处理报以解决丢包乱序现象。实验结果表明,在不改变客户端应用的基础上,客户端可以加载全新的虚拟信息来适应新的应用场景,缩短了增强现实系统的研发周期,可以节省人力和时间成本。
其他文献
古沙漠是地质历史时期形成的沙漠体系,对其演化开展系统研究对认识现代沙漠形成演变具有重要指导意义,同时也具有指导找寻相关矿产的实际价值。目前国内对于古沙漠沉积体系研
目的:评价依那普利联合倍他乐克治疗原发性高血压合并冠心病临床有效性和安全性.方法:对65例原发性高血压合并冠心病患者分为治疗组和对照组,治疗组采用依那普利和倍他乐克,对
<正>植入前遗传学诊断(preimplantation genetic diagnosis,PGD)通过对卵子极体、卵裂胚胎卵裂球或囊胚滋养层细胞活检和遗传学分析,选择遗传学诊断结果正常胚胎进行移植,可
会议
从出水水质和运行参数控制两方面,对EDI模块受化学污染情况进行了试验研究。结果表明,根据产水电导率的变化可判断出EDI模块的结垢初始点,且化学污染主要发生在阳离子树脂上;为有
卢山冰、黄孟芳在《河北学刊》2015年第5期撰文指出,2015年作为“一带一路”战略实施元年,“一带一路”建设将在重点区域和重点项目上开展建设工作。对中国和俄罗斯及中亚国
提出了一种彩色序列图像中的实时运动目标跟踪算法,该算法首先利用综合帧间差分法与背景差分法两种方法优点的动态背景更新算法来检测各种运动目标,在后续的图像序列中,利用运动检测算法来确定目标跟踪的起始点,并利用Mean Shift算法来跟踪运动物体;然后再更新Mean Shift的目标模板。实验结果表明,该算法能够克服Mean Shift算法对尺度变化的物体的跟踪效果较差且不能检测突然出现在图像序列中的