论文部分内容阅读
视线跟踪系统通过收集用户观察外界时眼睛的相关数据来估计人眼的注视落点,为残疾人的人机交互提供了一种更加有效的方法。然而,当前的低成本桌面式视线跟踪系统往往由于精度不够而不能应用于人机交互领域,而高精度桌面式视线跟踪系统由于大多使用全局快门高端图像传感器而造价昂贵;而且大多数视线跟踪系统只能应用于特定PC端操作系统,不利于视线跟踪算法的研究与设备的推广。本文将原本应用于高精度眼动仪的亮暗瞳差分曝光瞳孔检测技术与低成本卷帘快门图像传感器相结合,开发出一套基于3D眼球模型并可跨平台使用的低成本桌面式视线跟踪系统。使用低成本卷帘快门图像传感器来实现差分曝光技术的问题在于,卷帘快门的曝光特性导致差分曝光的过程中容易出现串扰现象。本文针对这个问题,提出并推导了一种卷帘快门差分曝光模型,利用这个模型可以针对不同参数的图像传感器计算出最优的差分曝光起始时间和曝光时间长度,从而实现利用廉价卷帘快门传感器构建高精度视线跟踪系统的目标。此外,论文还针对亮暗瞳图像采集丢帧问题、系统跨平台问题以及视线鼠标应用中注视过程的识别问题分别给出了解决方案。本文首先在第二章对桌面式视线跟踪系统进行整体设计,将系统分为FPGA采集底板、USB3.0传输子板以及上位机框架层和算法层;然后在第三章为卷帘快门图像传感器设计了一种差分曝光模型,用于计算亮暗瞳灯光曝光参数,并对亮暗瞳图像采集丢帧的问题进行分类,提出了计数补偿、组帧等方法来优化这些丢帧问题;接着在第四章中,为解决图像的传输与设备的跨平台问题,在CYUSB3014芯片上设计并实现了UVC固件,同时利用QT、DirectShow和V4L2等技术解决上位机软件的跨平台问题,并实现了上位机框架程序,在第四章最后,利用该桌面式视线跟踪系统设计并实现了一套用于残疾人人机交互的视线鼠标应用,并对应用使用的I-DT注视点分类算法进行改进。在桌面式视线跟踪的研究与实现过程中,本文的主要贡献有:(1)提出了一种用于卷帘快门的差分曝光模型(2)针对亮暗瞳图像采集过程中的丢帧问题,提出了计数补偿与组帧技术进行优化(3)设计了FPGA采集底板的硬件,并对其编程(4)设计并实现了一套UVC固件(5)开发了一套跨平台的上位机框架软件(6)开发了一套用于残疾人人机交互的视线鼠标应用,并改进I-DT算法。最终,本文实现了以60fps的速度同步采集两路1280x720灰度图像,并利用亮暗瞳差分曝光瞳孔检测和3D眼球模型来估计注视点的低成本、跨平台、高精度桌面式视线跟踪系统,系统平均误差为0.8°。