近年来,脑科学、认知科学以及人工智能技术的发展,使得人机交互理念已经逐步开始从传统的“人控制系统”向以人为中心的“系统为人服务”进行演进。人机接口（Human-machine interface,HMI）作为实现人与机器间“对话”的特殊设备,将人的意图或想法转换成机器设备的控制指令。而对于一些特殊的使用场景或用户群体,例如,火灾现场、军事战场以及高位截瘫患者、肌萎缩侧索综合征患者等,传统的人机交互模式已经无法满足目前智能交互技术发展的需求,因此,提高人机交互的智能化水平与拓展交互模式的多样化意义重大。论文依托国家自然科学基金和贵州省自然科学基金项目,围绕视觉诱发的混合人机接口（hybrid human machine interface,hHMI）建模这一基础问题,主要研究内容如下:（1）针对EEG模态识别过程中传统模型对其数据的损失破坏,以及识别性能欠佳等问题,提出一种基于一维卷积胶囊网络（1D-CapsNet）的P300事件相关电位识别检测模型。该算法是将胶囊间的动态路由理论引入到P300事件相关电位的识别过程中。通过重构网络的拓扑结构以及模型超参数,设计了基于1D-CapsNet模型的两个分类器:1D-CapsNet-64和1D-CapsNet-8,分别用于64电极EEG数据分类与8电极EEG数据分类。为了验证1D-CapsNet的有效性与优越性,将其在第三届BCI竞赛的数据集II中进行测试比较,最终使用1D-CapsNet模型在64电极EEG数据分类中获得最佳结果,识别率为96%。另外,该算法在信息传输率、多分类器策略以及训练过拟合问题上均优于目前的CNN方法和各种传统的机器学习方法,扩展了EEG模态识别模式的思路,为更加实用的脑机接口应用提供理论参考。（2）针对单模态脑机接口交互指令数量的局限性以及系统泛化能力低等问题,本研究将眼动跟踪技术引入到脑机接口中,提出一种基于EEG/EyeGaze的混合人机接口（2E-hHMI）模型。该模型借助EyeGaze动态跟踪与SSVEP模态识别手段,在同一个视觉刺激范式内,设计出多个基于SSVEP识别的视觉子模块,然后通过EyeGaze模态来识别视觉子模块中的目标意图,形成基于EEG/EyeGaze的混合人机接口。然后,针对该接口模型提出AOI判定驱动的混合范式识别方法（AOI-CCA、AOI-FBCCA与AOI-TRCA）。最后,为了验证该方法的有效性与优越性,本研究开发了2E-hHMI混合拼写系统,并对其交互性能进行测试。实验结果表明,基于2E-hHMI的混合拼写系统在分类精度与ITR方面均高于单模态脑机接口,同时对“Midas touch”问题具有一定的约束作用,为单模态脑机接口提供了良好的扩展策略。（3）针对hHMI视觉诱发范式的欠缺以及模式识别的容错性问题,在基于EEG/EyeGaze的混合人机接口模型基础上,研究BCI视觉诱发范式机制的原理,对其单模态HMI（S-HMI）、双模态hHMI（D-hHMI）、多模态hHMI（M-hHMI）交互策略进行推演。在此基础上,将AOI信息聚类原则引入到多模态hHMI交互策略中,提出了一种基于AOI信息判定的多模态hHMI（AOI-hHMI）交互策略,该交互策略通过信息相关性聚类,将信息相关性一致的交互指令划分至同一AOI区域内,以提升系统的容错能力。最后,从环境感知、刺激诱发以及视觉注意力分配三个层面对其视觉刺激界面进行设计。将AOI-hHMI交互策略有效的转化为视觉诱发范式,为进一步探究AOI-hHMI的交互性能提供策略支持与设计依据。（4）针对AOI-hHMI在实际应用中的交互性能模糊以及系统泛化性的评估问题,通过真实环境中的“绕桩移动-抓取”多任务协同控制实验,对其AOI-hHMI交互性能进行评估研究。构建移动-抓取协同交互平台,并针对实验设计研发面向移动控制的视觉诱发界面（AM诱发界面、PM诱发界面）与面向抓取控制的视觉诱发界面（AG诱发界面、PG诱发界面）。最后,将自主避障、定位导航等自动化技术引入到系统控制执行过程中,对AOI-hHMI的移动-抓取协同控制性能进行了测试评估。实验结果表明,AOI-hHMI在绕桩移动-抓取协同控制测试中表现出良好的交互性能与系统适应性。系统整体的执行情况、AOI-hHMI模式识别准确率、视觉诱发范式的实用性以及智能模态技术的辅助性能均取得较为良好的成绩,被试者对系统的适应性较好,变异性较低,系统具有高度的同质性,集成效果显著。（5）将上述理论模型集成,开发了视觉诱发的hHMI智能辅助原型系统,并通过实际测试对其进行了应用验证,实现用户的语言意图表达与行为交互控制等多功能的实时交互控制。