基于深度学习的人眼视线检测研究

来源 :天津职业技术师范大学 | 被引量 : 0次 | 上传用户:zhongbeiljb
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
20世纪70年代起,视线追踪的研究迅速发展。如今,视线检测在人机交互、医疗等领域的都具有良好的应用场景。传统算法对不同情况下的图像提取特征能力较弱,基于深度学习的方法逐渐流行。但目前使用深度学习进行视线检测的研究处于起步阶段,可用数据较少,且网络对视线的检测效果极度依赖眼部特征。因此,本文设计了一种基于深度学习的双阶段视线检测网络,通过检测人眼区域检测进一步获取眼部特征,制作了不同检测任务下的数据集,并提出了一种视线检测方法,实现了从图片端到视线端的检测。论文的研究内容主要有以下几个方面:设计人眼视线检测网络。通过分析目前视线检测方式,结合注意力机制提出一种基于深度学习的双阶段视线检测网络,首先在人脸图片中进行目标检测实现人眼区域的检出,之后在人眼图片中进行关键点检测实现眼部关键点的检出。根据各阶段检测任务的不同分别设计了评价标准和网络性能评价标准。设计人眼区域检测网络。通过对当下视线检测主流数据集的统计和分析,以图片质量和特征明显程度筛选并建立了包含500张图片的人眼区域检测数据集。通过分析数据集,对YOLO V5的特征提取网络、特征融合网络和损失函数进行优化来提高网络对人眼区域的检测性能。使用建立的人眼区域检测数据集训练,优化后的网络参数量比原始结构少20.88M,在测试集上的检测误差降低了0.52,在MX350上的推理时间减少了5ms。设计眼部关键点检测网络。通过收集人眼区域检测网络对人眼的检出图像,以图片质量和特征明显程度筛选并建立了包含1745张图片的眼部关键点数据集。通过分析数据集,对PFLD的主网络、辅助网络和损失函数进行优化。使用建立的眼部关键点数据集训练,优化后的网络参数量和单张图片检测时间与原始结构基本一致,检测误差降低了12.58。搭建双阶段视线检测网络。提出一种视线方向判断与绘制方法,通过得到的眼部关键点信息分类出视线方向,并将计算出视线的方向向量,绘制到原图片中。将人眼区域检测网络、眼部关键点检测网络和视线分类方法级联,图像的分类正确率为93.6%。
其他文献
进入21世纪,智能化、无人化的发展成为了当今世界发展的主流。无人机作为代替人类完成高难度任务的智能设备,在面对任务的复杂化、高难度化,对无人机的功能提出了更高的要求。随着无人机设计的复杂化,无人机设计的难点和重点也转化为无人机通信类专用芯片的设计上。而在芯片的设计上,随着工艺节点的降低、功能的复杂化以及时钟芯片工作频率越来越高,对芯片设计提出了新的挑战。时钟网络设计作为数字集成电路物理实现中最重要
学位
随着互联网和高新科技的发展,电子商务领域出现了新的购物模式——直播电商,通过直播来展示商品并最终完成交易。直播电商起源于2016年,这几年其市场规模以高增势头迅猛发展,尤其在新冠疫情影响下,直播电商的成单量和交易额呈现爆发式增长的趋势,直播电商不仅带来了意义深远的社会效益,还为国家经济发展注入了新活力,因而政府相关部门应做好监管和引导,确保直播电商行业健康可持续发展。以往针对直播电商的研究多是采用
学位
随着经济的全球化与城市化发展,区域经济一体化已成为当下经济发展新格局。京津冀区域是中国经济发展重要区域之一,其协同发展进程备受关注。金融是保持实体经济繁荣发展的血液,京津冀区域金融一体化与金融资源配置效率是影响京津冀区域经济发展的重要因素。自2014年京津冀协同发展上升为国家级战略以来,三地政府持续深化区域合作,创新京津冀区域协同发展机制,推进区域内基础设施建设,逐步调整三地产业结构,京津冀区域发
学位
当今社会信息技术的发展非常迅速,对车辆的研究也越来越深入,现代社会自动驾驶变得普及,同时也提高了对VCU(车载控制器)的要求。VCU通过采集传感器的信息和环境信息来制定行驶策略,制定车辆的能量管理策略,采集的车载传感器信息进行分析和处理并通过CAN总线向各个单元发送控制命令,保证车辆的安全行驶的同时达到更省电的效果。本文以车载VCU为研究对象,对国内外自动驾驶与车载控制器的研究现状进行了分析和研究
学位
随着信息技术的快速发展,为了满足人们随时随地收听各类音频资源的需要,以“听”代“看”的新型移动阅读形式—有声阅读应运而生。然而,在其蓬勃发展的同时,同其他社交平台一样,有声阅读平台也出现了用户粘度不足,留存率较低,用户行为从积极使用转向消极使用的现象。因此,如何通过提升消费者在有声阅读平台的使用体验,从而提升消费者满意度,形成并留住有效的客户群,是有声阅读平台及其内容提供商亟待解决的问题。因而,本
学位
互联网的迅猛发展加速了全球信息资源的整合,促进交易平台趋向多元化,突破了传统的交易平台的局限性,使得广大用户倾向于线上进行消费及交易。然而由于跨境电商的快速发展,跨境电子商务活动不再局限于本国的产品,其作为一种全球性贸易的新形态,打破国家与地区的壁垒,具有交易简便、节约成本等优势。现阶段B2C跨境电商已形成一定交易规模,B2C跨境电商拥有较好的发展前景,仅2021年跨境电商的交易规模为33434亿
学位
随着科学技术的进步与社会生产力的提高,消费者的需求变得更加丰富多样,产品的生命周期缩短,越来越多的产品被淘汰,由此造成的废旧品资源浪费与环境污染问题日益突出。“十四五”规划提出加快构建废旧产品循环利用体系,全面提高资源利用效率,强调实现可持续发展的重要性,废旧产品的回收和再制造问题也日渐成为社会关注与研究的重点内容。如今再制造工艺水平发展迅猛,大大减少了原材料、生产资源等方面的消耗,提高了资源的循
学位
随着中国经济的高质量发展,制造业在带动经济增长的同时也产生巨大的能源消耗。在智能制造中,针对产品智能化生产需要,制造业也在不断升级和优化,制造车间节能排产变得十分重要。在生产的过程中需要降低车间生产能耗和提高生产效率,最终减少碳排放量对生活环境造成的不利影响。因此,满足生产制造中节能减排目标,从而促进能源和经济的协调发展具有重大的意义。目前在生产车间中虚拟车间和物理车间存在交互性和同步性不足问题,
学位
随着近年来生活水平的提高,人们对于糖类食品添加剂尤其是果葡糖浆的需求大大增加,同时对产品纯度提出新要求。而传统的果葡糖浆除杂技术存在自动化水平不高、原料消耗量大、成本高等弊端,直接影响着企业的生产效率以及生产安全。因此为改变原有状况,亟待进行技术革新。研发新的果葡糖浆生产设备和控制方法已是大势所趋,对工业生产自动化技术进行研究具有重要意义。连续离子交换技术去除糖液中的无机盐、杂质是果葡糖浆精制过程
学位
复杂环境是影响履带车运动性能的一个重要因素,这种环境下的运动对于车体是一个极大的挑战,其中,军用履带车在进行军事活动或者越野时,需要根据各种复杂的环境,采取不同的运动控制方式,实现稳定可靠的运动。因此,车辆在运动或执行任务的过程中必须具备能够迅速分辨各种路面的能力。目前针对路面运动的研究都是围绕定位、导航和循迹等展开,其中的路面识别研究对复杂环境下履带车的稳定运行和自动调整具有重大的意义。本文研究
学位