人机交互多维度数据融合的目标捕获研究

来源 :西安工业大学 | 被引量 : 0次 | 上传用户:lyzyk413026
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在航空领域中,现多使用触屏或操纵杆进行多功能显示器(MFD)操控,但由于飞行时操作者双手动作有限,视线交互技术被视为一种前瞻性的输入方式。然而仅使用视线交互存在“米达斯接触”问题即无法有效判断视线是有意还是无意,所以一般将多种交互方式结合使用。其中,通过运动想象(MI)产生的脑电信号与眼动数据相结合方式较为常见。但简单的结合有一定的局限性,不能很好的体现用户意图。故本研究以战机MFD交互为研究背景,在多模态交互的基础上,将对操作员所产生的生理信息进行多维度数据融合目标捕获研究,以便计算机能够更加全面地理解用户意图,对目标进行高效的捕获,本文研究主要分为三个方面:1)眼动数据的特征提取与分析对于眼动目标捕获研究,利用Res Net50基础上引入注意力机制ECANet,建立视线落点估计回归模型,该模型在自采集的数据集中平均误差精度可达22.84像素。通过视线落点与MFD按钮目标位置匹配进行指向,并提取特征使用SVM进行了初步的目标捕获分析,在测试集上平均识别率能达到77.29%。2)脑电数据的特征提取与分析本文采用一种基于运动想象脑电信号(MI-EEG)的目标捕获意图识别方法,对数据同步自采集实验中以图片引导的方式采集的运动想象脑电信号进行预处理与可视化特征分析。最终以时序脑电信号作为输入,使用经典的卷积神经网络Shallow Conv Net模型实现对MFD上按钮目标的“确认捕获”操作意图分类,在测试集上平均识别率能达到90.95%。3)多维度数据融合目标捕获模型根据上文对数据的初步分析,本文通过数据层、特征层、决策层三种不同的数据融合方法对同步自采集实验中的眼动和脑电数据进行了讨论,并主要在特征层和决策层进行了融合分析。在特征层上使用特征拼接方法,平均捕获识别率可达78.82%。在决策层上使用D-S证据理论进行融合,平均捕获识别率可达93.15%。最终采用决策层融合的目标捕获方案可达到较高的目标捕获识别率且目标捕获速度在现有的MFD目标捕获研究中位于前列,为人机交互研究提供一种新的设计思路,从而实现人机之间的高效协同。
其他文献
高质量图像在人们生活中具有重要的指导作用,但在日常生活中经常会出现模糊图像,比如失焦模糊、运动模糊等,这将会难以获取图像中的重要信息。本文主要解决的问题是在道路交通视频监控中发生的运动模糊现象,例如在道路交通中,所拍摄物体很容易发生运动模糊。通过对模糊图像进行处理,可为道路交通系统提供重要帮助。本研究对现有图像数据集和去运动模糊算法进行了研究,设计出了有关道路交通的模糊图像数据集和基于深度学习的图
学位
在经济高速发展的今天,人们在享受着科技潮流带来的舒适体验的同时,也越来越注重身份安全认证问题。生物特征识别技术是当今社会用以处置身份安全认证问题的重要手段,生物特征识别技术更加的方便与安全,其拥有高扩展性、极易区分、容错率低、稳定性高等众多优点,因而被广大学者、机构广泛研究。虹膜识别作为生物识别技术中最为安全可靠的技术之一,由于其结构特性,个体自童年以后,便基本不会发生变化,因而相比较其他生物识别
学位
在公共安全领域,视频监控已经成为安全防范系统的重要组成部分,它可以为管理者提供实时、全方位的视频流,但依靠人力24小时监管暴力事件的发生并不现实,既耗费精力,又易产生盲区,很难完成实时监管任务。将深度学习技术应用于视频监控领域,从摄像头捕捉的视频流中自动检测并分析,识别是否存在暴力行为,并提供实时的告警,有利于解放人力,提升应急事件处理效率。现有暴力行为检测技术在工程应用中存在很多挑战,例如复杂背
学位
随着科学技术的突飞猛进,图像分类技术已经成为计算机视觉领域的一个热点,其中基于局部特征的图像分类在越来越多的领域得到广泛的应用。局部特征算法缺乏足够的普适性,在不同领域上进行实际应用时,都需要进行相应的调整与改进。本文通过对局部特征图像分类技术的研究和分析,提出了基于图像检索与匹配的SURF算法(RM-SURF),并将其应用于子弹弹壳的图像分类上,实现了子弹的溯源。由于弹壳图像数据大规模采集难度大
学位
互联网新闻数据具有时效性强、自由性高、流动性强的特点,它可以及时的反映出社会对某个事件发展情况的态度,因此研究面向新闻领域的事件预测具有重要的意义和价值。以往的研究主要基于时间的事件序列进行事件预测,忽略了词语间的结构关系对事件预测的影响。这使得事件预测存在特征提取不足和预测准确度较低的问题。本文为了更好的提取事件特征以及提高事件预测的准确率,首先设计了基于动态图注意力网络的事件预测算法,同时编码
学位
自然语言是人类进行通信的主要工具,人类间通信的目的主要是进行知识交互。知识是对识的理解和描述,所以对自然语言的研究应该从知识的表示开始,进而研究知识怎样转换成人类能理解的自然语言形式。传统的知识表示方法不能全面统一地表示人类智能的自我意识性、互表性、模糊性及动态性等特点,而基于唯识心理学建立的AORBCO模型能够对多模态知识进行统一表示。为使AORBCO模型所表示的知识能够使人类理解并进行交互,本
学位
目标跟踪作为计算机视觉领域的研究热点,旨在探索如何准确快速地捕获感兴趣目标运动状态,实现强鲁棒性的目标跟踪,相关技术方案可以广泛应用于安全监控、智能交通等诸多领域,具有重要的理论意义与应用价值。然而,现有跟踪方法大多缺乏对全局信息的关注,不能充分利用深层和浅层信息。此外,单纯依赖初始帧的特征进行模板匹配,无法适应跟踪整体过程中目标持续发生外观变化的问题。尤其是对于航拍视角下获取的目标对象,存在目标
学位
UV展开是计算机图形学领域用于三维模型表面纹理贴图的一项技术,主要通过三维模型表面网格的形变,建立三维坐标到二维图像坐标之间一对一的映射关系。由于三维物体表面,特别是非刚体三维模型(例如人体)对于空间坐标不具有不变性,而其相对于表面的二维坐标一般是固定不变的,因此可以将三维模型转化到二维平面下进行研究,另一方面,三维模型的二维图像表示对于基于深度学习的三维物体识别等方面具有一定应用价值和实际意义。
学位
三维人体表面特征点标定的目的,是为了快速、准确的定位受到放射性污染的人体部位,以便于紧急救援工作的开展,保障工作人员和救护人员的生命健康。为了高效的完成人体表面特征点位的准确标定。本文采用了基于三维重建的人体尺寸测量,结合可缩放标准人体模型来实现。主要的工作内容有以下几点:1)人体点云数据获取。在开始使用Kinect获取深度图像数据前,先通过相机标定得到内部参数。通过相机标定得到的成像参数来将深度
学位
目前,公共场所存在极大安全隐患,例如新闻常报道所失踪。行人重识别技术可以有效解决此类人口失踪问题,从同一区域下的不同的摄像头拍出的图像中快捷地检索出失踪的行人。但是在现实情况下,行人身体部分会受到如光线不同、杂乱的背景、分辨率高低、不同摄像机视角和遮挡等条件影响,从而老人或者小孩在大型游乐场会导致行人重识别模型在提取行人特征时会被干扰,没有办法满足应用场景的需求。本文针对以上问题出发,对行人重识别
学位