随着计算机技术、传感技术、人工智能的发展,眼动跟踪与视线估计技术取得了巨大突破,应用领域也不断扩展。然而将眼动作为自然人机交互手段,还面临诸多问题。例如,设备佩戴复杂或具有侵入性、米达斯接触问题、手眼冲突问题等。本文在研究了国内外的相关视线估计方法后,对现存问题进行分析后提出了相应的算法进行解决,进而设计了基于眼动的多屏控制系统对本文提出的算法进行验证与应用。具体包括以下内容:为确保设备在无侵入性的同时能具有较高的精度,本文提出了基于单目图像的凝视点识别算法。因为视线方向与头部位姿关系密切,所以在计算视线方向前需要先对头部位姿进行估计。本文首先使用Pn P算法对2D-3D人脸特征点的对应关系进行求解,从而得到头部的位姿。接着基于3D眼球模型及眼部特征点计算出眼球中心与瞳孔中心,进而得到眼睛光轴与视轴的方向。最后基于得到的头部位姿与视线方向,对眼睛、相机、屏幕三者的空间关系进行建模,计算出用户的凝视点。本算法对硬件要求低且无侵入性,只需在屏幕上方固定一个用于采集人脸图像的摄像头即可,经过实验表明,本算法在有较高的精度的同时且能保证较好的实时性。针对米达斯接触问题,本文提出了基于凝视点序列的操控意图预测算法。在本文中,首先对交互行为进行分析,接着设计实验采集交互行为数据,通过分析数据得到凝视点序列与交互行为间的关系,进而提出操控意图预测算法。该算法的思想在于,在不确定用户的操控意图时,将用户实时的凝视点序列与根据用户操控习惯生成的序列集合进行模式匹配,从而确定用户的操控意图。另外,针对眼动与手控的冲突问题,本文根据采集的交互行为数据提出了一系列策略进行解决。为了对本文所提出的算法进行测试、验证与应用,本文设计了一套基于眼动的多屏控制系统。此系统分为硬件、算法、软件交互三个部分,其中硬件系统负责采集图像,算法模块负责基于凝视点识别算法对图像进行处理,软件交互模块会根据算法模块生成的凝视信息预测用户的操控意图,对手眼冲突进行协调,最后向界面上的控件发送控制信号完成与用户的交互。本文设计实验对眼控系统进行测试,结果表明,眼控系统可以大幅减少用户手控鼠标移动的距离,有效提高用户操作效率。本文提出的基于眼动的多屏精准控制系统对硬件要求低,具有良好的用户体验,可以有效提高人机交互效率,对非侵入式桌面眼控系统的研究具有重要意义。同时,本文提出的眼控系统对多通道融合的人机交互系统的研究具有借鉴意义。