基于场景和交互信息的循环传递凝视识别网络

来源 :东北师范大学 | 被引量 : 0次 | 上传用户:leon_xu23
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人类拥有精确跟随他人视线的能力,这种追随他人视线的能力被称为凝视识别,这种能力可以让人们更好地理解他人的意图,甚至可以预测他们未来的行动。计算机一旦掌握这种能力,就能在多个领域(教育、医疗、智能监控、VR游戏或人机交互领域)为人类提供更方便、更智能的服务。近年来,随着深度学习的不断发展,凝视识别这一基础研究取得了一系列的突破,这无疑推动了计算机视觉的进步。虽然目前大多数凝视识别算法取得了令人印象深刻的性能,但是它们中的大多数只关注凝视识别任务本身,而忽略了很多影响人凝视方向的因素。众所周知,影响人视线的因素有很多:比如场景信息这一全局上下文信息、人与物体之间的交互关系以及场景与交互关系之间信息的传递,忽略这些信息不可避免地会对凝视识别任务产生一定的影响。于是,本文提出了一种新的深度网络,并将其命名为基于场景和交互信息的循环传递凝视识别网络。基于场景和交互信息的循环传递凝视识别网络有以下创新点:(1)此网络利用图卷积网络动态更新节点间关系的方式自适应地建立人/物之间的交互关系信息。同时,为了使得网络具有更加丰富的细节信息,此网络还提取了场景级的全局信息,将其与交互关系信息进行融合,共同指导凝视识别任务;(2)对提取到的场景、人/物交互信息,此网络还设计了信息传递模块,将不同类型的信息进行更好的融合,同时将重要的信息继续传递,得到更好的凝视识别效果。为了验证所提网络的有效性,本文在Gaze Follow和DL Gaze这两个经典的数据集上进行了实验。同时,本文还将所提方法与目前一些性能优越的经典凝视识别算法进行了对比。通过实验结果表明,本文提出的基于场景和交互信息的循环传递凝视识别网络可以取得较好的效果,性能总体上优于其它经典对比方法。
其他文献
计算机技术的飞速发展,使得深度学习方法焕发了新的生机与活力,并在各个领域中都取得了相当不俗的成绩。伴随深度学习方法可以解决更多的难题,越来越多的研究者投入到利用深度学习视频内容分析领域之中。虽然目前已有的深度学习方法能在视频行为识别与视频动作定位任务上取得不俗的效果,但在视频动作分割任务中仍然有边界模糊与过度分割的问题急需解决。为了解决动作分割任务中边界模糊与过度分割的问题,本文利用视频不同尺度时
学位
外膜蛋白(Outer Membrane Protein,OMP)是跨膜蛋白的一个重要类别,对于疫苗设计、抗生素抗性以及癌症诊疗研究均有重要意义。外膜蛋白处于生物外膜特殊环境,因此,生物实验技术无法大规模解析其蛋白结构并深入探究由结构决定的生物功能。基于当前条件,采用计算手段探索克服外膜蛋白小样本问题的结构特征预测方法成为领域内研究的重要途经。拓扑结构是体现外膜蛋白家族功能的显著结构特征。拓扑结构预
学位
部分集合覆盖问题是集合覆盖问题的扩展,其目标是用尽可能少的子集覆盖至少k个集合。部分集合覆盖问题在覆盖目标或带约束的放置等问题中有着广泛的应用,并已被证明为NP难组合优化问题。随着技术的发展与进步,集合覆盖问题及其延申问题愈发得到研究者的关注,如何有效地解决这类优化问题具有重要的理论价值和现实意义。求解集合覆盖问题的方法主要分为精确算法与启发式算法。精确算法能够求出问题的最优解,但当问题规模较大时
学位
癌症是全球范围内致人死亡的重要原因之一,其特点是由基因突变导致细胞异常增殖和失控。作为一种十分复杂的异质性疾病,癌症的诊断传统上主要基于组织病理学和临床特征,因此需要人工检查和临床医生精湛的专业知识,难以统一实施。尽管这些癌症诊断结果对病人的预后价值无可争议,但是由于缺乏明确的分子基础数据,其在预测抗癌药物疗效方面的效果还存在一定的提升空间。为了可以促进患者的后续治疗和个性化管理,癌症亚型的诊断和
学位
具有超凡属性的类石墨烯结构的磁性薄膜材料,被认为是理想的半导体材料,在量子芯片领域具有十分广阔的前景。本文在海森堡模型的框架下,研究了“铁磁-反铁磁-铁磁”和“铁磁-铁磁-铁磁”这两种典型的类石墨烯薄膜。论文采用线性自旋波理论,引入推迟格林函数方法,对系统哈密顿量进行了对角化求解。基于谱定理和关联函数,对比研究了交换耦合相互作用、各向异性以及自旋量子数等因素对能隙、共振频率和基态磁矩的影响。研究发
学位
2020年初新型冠状肺炎病毒爆发,迅速蔓延并肆虐全球,疫情持续时间长,对特定人群危害程度大,引起社会各界的高度重视,在各个社交平台关于疫情话题急剧增加。了解大众舆论热点话题,分析人们对各类疫情信息的情感反馈,从而对社会舆情进行正确导向,同样是战“疫”的重要一环。然而,如何有效地对大规模的文本数据进行提取、分析、处理和决策,是舆情监测问题面临的巨大挑战。本研究提出一套面向舆情数据的主题情感演化可视分
学位
免疫信息学是在现代信息学和免疫学的基础上建立的新兴学科,它是一种使用信息学的相关方法理论来处理免疫和疫苗学相关问题的学科,同时也是研究生物免疫应答过程中信号传输规律以及免疫系统调节的学科。作为免疫信息学研究的主要问题之一,表位预测是研究疫苗、抗体、变态反应和移植免疫计算分析的基础。表位是在抗原分子中能够与抗体或受体结合、引发特异性反应,从而引发免疫应答的特殊化学结构。B细胞表位是指抗原表面上,能够
学位
随着现代科技的进步,视频和图像已经成为人们最主要的信息传递方式,如何更好地利用这些信息是一个值得深入探讨的问题。3D人体姿态估计是计算机视觉领域的一项热门研究话题,它是指从视频或图像中估计人体关节点的3D位置。3D人体姿态估计技术拥有十分广泛的应用场景,如人机交互、自动驾驶和视频监控等。但是目前该技术的发展仍然不够成熟,取得的成果距离人们满意的效果还有很大差距。本文研究的主要内容是设计一个深度网络
学位
约20%的人在其一生中都会患有癌症,其中乳腺癌的发病率逐年提高并在新发患者数量和死亡数量上都位居第一。据统计结果显示,45岁到55岁是乳腺癌病症的高发期,早期乳腺癌的治愈率可达到90%,所以越早发现越能提高乳腺癌患者的治愈率。由于传统的乳腺检测方式时间周期长、费用高,所以提高检测速度并降低费用变得越加重要,拉曼光谱作为一种分子散射光谱,能够检测到物质中分子结构和含量的变化,在疾病诊断方面具有一定的
学位
随着科技的不断发展,以物联网、云计算等技术为支撑的大规模开放在线课程正逐渐成为一种大众喜爱的学习方式。在线课程摆脱了传统课堂的时空约束,对学习者的资质限制较少,具有自由、灵活的优势,但是其也面临着管理难以规范化、辍学率高、通过率低等问题。为了提高课程的完成度,研究人员通常基于平台中学习者的历史学习行为数据,采用机器学习模型预测学习者发生辍学的可能性。机器学习模型强大的建模能力,能够实现对学习者学习
学位