论文部分内容阅读
注视点估计,或称视线追踪,是一种估计人眼视线落点,即人眼朝哪里看的技术,可分为2维注视点估计与3维注视点估计。2维注视点一般为电脑屏幕上的注视点,用于人机交互与网页分析等。3维注视点为3维空间中的视线落点,可用于安全辅助驾驶等。3维注视点估计可在2维注视点估计的基础上,通过双目视线相交的方式计算得到。本文主要研究内容如下:
(1)研究对比各种瞳孔定位方法及眼部特征点提取方法,包括基于亮暗瞳效应、基于CNN模型和基于模板匹配等方法并进行实验验证。瞳孔轮廓检测采用星射线算法,并采用RANSAC算法和最小二乘法进行瞳孔椭圆拟合,获得瞳孔中心坐标。
(2)研究从眼部特征点到2维注视点的映射方法,包括二阶非线性多项式映射法与BP神经网络映射法。设计网络结构,拍摄眼部数据制作训练集,进行映射模型训练。最后编写标定与图像处理程序,进行屏幕2维注视点的实时计算与注视路径显示测试。
(3)研究基于双目视线相交的3维注视点估计。针对眼球光心3维坐标不易测量的问题,提出一种通过注视前后可移动的标定平面实现眼球光心坐标获取的标定方法,并设计和搭建相应的标定装置。针对3维注视点距离方向估计值存在较大抖动的情况,提出一种数据滤波与Z平面截取修正法来减小误差。在30~50cm的测试距离内,3维注视点角度误差0.7°,欧式距离误差17.8mm。
(4)研究更远距离情况下的3维注视点估计。双目视线随着注视距离的增加而趋于平行,此时很难计算出准确的视线交点。提出一种借助毫米波雷达检测场景物体信息用于辅助3维注视点估计的方法。同时,提出一种通过可移动标定物形成虚拟标定平面的方式实现大空间下的平面注视点标定方法。最后设计和搭建实验装置,编写对应的上位机实验软件。在4~10.2m的测试距离内,3维注视点角度误差0.9°,欧式距离误差130mm。
(1)研究对比各种瞳孔定位方法及眼部特征点提取方法,包括基于亮暗瞳效应、基于CNN模型和基于模板匹配等方法并进行实验验证。瞳孔轮廓检测采用星射线算法,并采用RANSAC算法和最小二乘法进行瞳孔椭圆拟合,获得瞳孔中心坐标。
(2)研究从眼部特征点到2维注视点的映射方法,包括二阶非线性多项式映射法与BP神经网络映射法。设计网络结构,拍摄眼部数据制作训练集,进行映射模型训练。最后编写标定与图像处理程序,进行屏幕2维注视点的实时计算与注视路径显示测试。
(3)研究基于双目视线相交的3维注视点估计。针对眼球光心3维坐标不易测量的问题,提出一种通过注视前后可移动的标定平面实现眼球光心坐标获取的标定方法,并设计和搭建相应的标定装置。针对3维注视点距离方向估计值存在较大抖动的情况,提出一种数据滤波与Z平面截取修正法来减小误差。在30~50cm的测试距离内,3维注视点角度误差0.7°,欧式距离误差17.8mm。
(4)研究更远距离情况下的3维注视点估计。双目视线随着注视距离的增加而趋于平行,此时很难计算出准确的视线交点。提出一种借助毫米波雷达检测场景物体信息用于辅助3维注视点估计的方法。同时,提出一种通过可移动标定物形成虚拟标定平面的方式实现大空间下的平面注视点标定方法。最后设计和搭建实验装置,编写对应的上位机实验软件。在4~10.2m的测试距离内,3维注视点角度误差0.9°,欧式距离误差130mm。