针对不同地区教育资源发展不平衡,贫困地区高素质教师短缺的问题,本文设计了一种可应用于远程教学的基于头眼姿态结合的智能云台人机交互系统。基于教师端的普通摄像头获取远程教师的实时头眼姿态信息,将数据发送至学生端驱动云台实时跟踪旋转至对应视场,返回实时状态值至教师端上位机,实现远程教师与学生端云台的人机交互。本文所设计系统搭建了数据采集端和云台交互端,模拟远程教学场景下的教师端和学生端。本文主要研究工作如下所示:首先,在数据采集端,进行人脸特征点的定位。本文采用级联回归的ERT（Ensemble of Regression Trees）人脸对齐方法,即基于梯度提升的回归树方法对实时帧进行特征点提取处理,并存储特征点坐标信息至点集。其次,遍历筛选人脸轮廓面积,选定目标对象,进行头部姿态估计。本文基于3D-2D位姿估计方法,从特征点集中选定具有代表性的6个特征点,将2D人脸图像与标准3D人脸模型相匹配,根据3D特征点与对应2D点间的转换关系,获取实时头部姿态数据。再次,获取头眼相对偏移关系,本文根据眼部特征点坐标信息,裁剪眼部感兴趣区域,获取眼部最小矩形图像。结合直方图均衡化、形态学处理和轮廓提取等方法,获取虹膜最大连通区域。基于图像矩原理计算眼部最小矩形中心和虹膜最大连通区域重心坐标,获取头-眼偏移向量,输出头眼姿态结合信息。最后,对于数据采集端输出的头眼姿态结合数据进行处理。第一步,对数据进行进制转换,定义数据输出格式。第二步,调用云台控制接口函数,输出控制命令至交互端智能云台,驱动云台双轴向旋转至指定视角。第三步,云台交互端返回实时值至数据采集端上位机,上位机根据返回值与发送值的偏差,控制云台进行步进变量的调整,从而更为准确的获取对应视角实时视频。为了验证本文所提出算法的有效性,选取多名实验者进行交互实验并进行精度评价。实验数据显示,头眼姿态结合算法的平均识别率达到98.33%,云台交互实验的平均准确率达到94.35%。实验结果表明,本文所提出的基于头眼姿态结合的智能云台人机交互方法,在不同姿态条件下都可实现较好的交互结果。本文所设计方法打破了异地空间内视场的限制,使体验者可根据自身姿态变换自由获取多维全视角视频,未来可以与教育、医学、交通等更多应用场景相结合。