据统计约80%的海上事故是由船员的操作不当引起的,其中当驾驶员发出操纵命令时,由于舵工的疏忽而没有正确执行,甚至反向操纵车钟、舵轮,从而造成的事故偶有发生,且又很难发现。目前尚未有预防此类事故的有效措施。此外,大连海事大学现有的船舶操纵模拟器桌面系统中只能采用鼠标和键盘来操纵车钟、舵轮及仪器仪表等,界面较多,用户注意力较易分散,人机交互体验较弱。语音识别及图像跟踪技术近年来得到飞速发展,已在许多领域得到成功应用。本文分析了语音信号的预处理、MFCC特征；研究了语言模型和声学模型的常用算法,面对海量网络文本数据,从对网络文本数据的筛选、数据困惑度筛选以及模型插值方面对语言模型进行了改进,提升了语言模型性能；同时研究了图像跟踪相关技术,包括基于高斯混合模型的前景分害、Camshift算法的人手跟踪及基于历史图像更新的运动方向识别等；最终将以上语音识别及图像跟踪技术应用到船舶操纵过程中,搭建了以下系统及实验平台：首先,搭建了船舶操纵安全监测原型系统。该系统可自动识别船长或驾驶员所下达的命令同时实时监测舵工的操作,对错误的舵轮与车钟操作方向及时发出警告,保证船舶安全航行。其次,在船舶操纵模拟器桌面系统中加入语音识别功能,用户可通过语音对系统发出指令,控制车钟、舵轮、仪器仪表及锚泊等的操纵,实现自然的人机交互。最后,为了使语音识别技术在航海领域得到更广阔的应用,搭建了基于隐马尔科夫模型和深度学习声学模型方法的大词汇语音识别平台,为今后的进一步深入研究做好准备。