随机场景人眼检测实时追踪及其应用技术研究

来源 :中国科学院大学(中国科学院西安光学精密机械研究所) | 被引量 : 5次 | 上传用户:daxing_hhx
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近几年,人眼检测技术已经逐步成为机器视觉和模式识别领域的热门研究话题之一。由于人类百分之五十以上外界信息都是通过视觉方式获取,并且人眼作为人脸的重要特征之一,对于人眼位置及其运动规律的研究是分析人类心理和行为的重要方式。随着计算机硬件性能的提高和成本的降低,基于计算机视觉的人眼检测技术由于具有非介入性、易采集图像数据、精度高、鲁棒性强等特点,已经成为了研究人眼特征及运动轨迹的主流方式之一。人眼检测技术目前已经广泛的应用在人脸检测、虹膜识别、身份验证、表情分析、疾病诊断、行为研究、军事侦查、辅助驾驶、人工智能、虚拟现实、数据分析等多个领域。因此如何高效、准确进行人眼检测具有非常重要的意义。目前研究人员已经提出了多种类型的人眼检测算法,例如眼电图法、角膜反射法、近红外传感器定位法、人眼特征提取法等。但是现有的人眼检测算法大多存在:(1)需要使用单个高分辨率近红外或可见光相机,或多个级联的低分辨近红外相机采集人眼图像。人眼图像采集装置结构复杂、操作繁琐、应用场景受限、成本较高;(2)人眼检测算法过度依赖于采集图像的清晰度,对于人脸受到外部遮挡的随机场景算法鲁棒性和实时性差,检测精度较低。这些问题都在一定程度上限制了人眼检测技术的实际应用。针对目前人眼检测算法存在的问题与不足,本文基于现有的人眼检测技术并深入分析人眼结构特点,提出了一系列在随机场景中基于图像的抗外部遮挡的人眼检测算法,并以这些算法为基础建立了多款针对不同应用场景的低成本视线追踪系统。本论文还将提出的人眼检测算法在医疗诊断和行为分析两个领域的应用进行了探讨,对人眼检测算法的性能和检测精度进行了全面分析与讨论。本论文的研究内容和创新点主要包括:1.为了解决在近红外局部人眼图像中由于外部光照变化、睫毛、眼睑的遮挡,传统人眼检测算法无法准确定位人眼区域和瞳孔中心的问题。本文提出一种基于自适应模板匹配的瞳孔区域与中心定位算法。该算法根据人眼结构特点首先建立“回”形Haar特征在包含人眼的局部区域图像中定位瞳孔区域和位置;接着在瞳孔区域图像中提出基于区域特征极值点和自适应模板拟合瞳孔边缘和中心;在不同人眼数据集测试结果表明提出的算法可以有效抑制光照变化,外部遮挡对人眼图像的干扰,在包含人眼的局部区域图像内准确定位瞳孔区域并精确拟合瞳孔轮廓和中心。瞳孔中心定位精度在5个像素误差范围内,Swirski数据集和我们采集的人眼数据集的检测率可达84%和91%。该算法提取的瞳孔中心可以作为人脸检测、虹膜识别以及人眼注视点提取的特征信息。2.为了解决目前多数人眼检测算法只能在近红外局部人眼图像中定位人眼位置,针对低分辨率随机场景人脸图像检测率低,算法鲁棒性差的缺点,提出一种基于机器学习和回归树模型的混合人眼区域定位与瞳孔中心检测算法。该算法能够在近红外光和可见光条件下拍摄的低分辨率人脸、人眼图像中同时进行人眼区域定位和瞳孔中心检测,并且该算法考虑不同图像分辨率对人眼轮廓清晰度的影响,对图像分辨率要求较低(最低人脸图像分辨率可达384?286像素)。提出的算法在BioID和GI4E公开数据集中进行测试,并与目前常见的几种人眼检测算法进行对比,实验结果表明提出的算法可以在近红外或可见光低分辨图像中快速、准确的定位人眼位置和轮廓。其中当归一化误差小于0.05时,在BioID和GI4E数据集中瞳孔中心检测率可以达到90.8%和95.4%,均优于现有的大多数方法。3.为了解决目前人眼检测算法在随机应用场景中抗外部遮挡能力弱和实时性较差的问题,提出一种基于级联神经网络的人眼实时定位算法。该算法利用一系列结构类似的卷积神经网络针对随机场景中的人脸图像分别精确定位其左右眼位置,并利用下一级卷积神经网络定位左右眼中心。该算法完全采用基于数据集训练的思想,通过级联的卷积神经网络缩短网络模型训练所需时间,增强算法对受外部遮挡人脸图像的人眼检测率并生成高效的人眼检测模型。为了减小卷积神经网络中参数的数量,避免因为图像全局搜索导致网络训练时间较长,算法运行效率低的缺点,提出了基于SIFT算法的改进梯度金字塔模型用于简化输入第一级神经网络中人眼候选区域的数量。基于该算法训练的人眼检测模型在不同数据集与现有算法在运行效率和检测精度进行对比:当归一化误差小于0.05时,BioID数据集检测率分别可达85.6%,单张人脸图像人眼检测时间仅需13ms,该算法可以满足使用普通网络摄像头(帧率为30-60帧/秒)进行人眼实时检测的要求,实验结果表明提出的算法具有较高的实时性和检测精度。4.为了解决目前商业化视线追踪系统价格较高,而实验室级的视线追踪系统检测精度较低的问题,利用已经提出的一系列人眼检测算法设计一种新型的低成本视线追踪系统,并基于该系统不断完善与改进。该系统的主要特点在于:首次提出将近眼显示技术应用在视线追踪系统中,将人眼检测算法与注视点追踪模型很好的融合;提出了一种高效的基于卷积神经网络和几何模型法的视线追踪算法。该系统利用低成本近红外微距摄像头捕捉人眼运动轨迹,并将外部场景实时显示在近眼显示器中。基于提出的视线追踪平台本文还分别提出了的用户注视点追踪、“眼控键盘”和注视点实时分析三种不同的应用场景,充分验证了人眼检测算法的在实际应用中的检测精度(0.53°)以及提出的视线追踪平台的可靠性。
其他文献
期刊
目的:脑血管病已成为危害我国中老年人身体健康和生命的主要疾病,急性缺血性脑血管疾病占脑血管疾病的43%-65%,病死率为15%-25%,其高发病率,高死亡率和高致残率给国家及患者带
随着我国电力经济的飞速发展,电力系统网络的逐渐增大,使投入使用的变压器数量逐渐增多,操作也越来越频繁。空载合闸作为变压器最常见的操作之一,随着操作次数的增多,其暂态
随着我国经济社会的不断发展和社区治理体系、治理能力现代化的不断推进,社会工作已经成为加强、创新社区治理和社区服务的基础力量与重要手段,正越来越多地得到政府与社会的
INCONEL 783合金作为一种航空用低膨胀高温合金,目前已被用于制作超超临界火力发电机组的螺栓,并有可能用于未来更高参数如650oC以上的机组。然而,目前国内外对该合金在汽轮
针对柔性作业车间调度(FJSP)过程的多目标、动态和信息不确定等特征,文章提出了一种实时调整的FJSP动态调度方法。首先,建立了FJSP动态仿真求解模型,该模型受自适应控制启发,并结合
目的了解唐山地区龟头炎患者的致病真菌感染情况,为临床防治提供理论依据。方法对323例龟头炎患者进行标本采集,致病真菌镜检阳性者行真菌培养、分离、鉴定及分析。结果 323
经过数次跳票,充满神秘色彩的新一代移动平台——Sonoma终 于揭开了它神秘的面纱,于2005年1月19日正式展现在大家眼前。 作为第二代“迅驰”标准,Sonoma的问世拥有诸多亮点,
随着世界上产品日益小型化及精密化,作为非接触精微加工方法之一的微小孔电火花加工技术以其超精细和高精度的加工特点倍受学术界和工业界关注,目前己经成为微机械制造领域的
作为电厂寿命损耗最薄弱的部件之一,汽轮机转子在高温,高压,高转速的恶劣环境下工作。温度梯度,载荷波动及大的离心力的作用易使转子产生较大塑性变形,进而产生较大的寿命损