近年来,随着人工智能技术的快速发展与应用,各行各业对智能体与环境之间智能交互的需求越来越多。场景深度信息的准确获取是实现智能交互的关键。例如,自动驾驶过程中,智能车需要感知前方场景深度以实现避障;机器人需要了解自身与周围环境中对象物的相对距离以实现路径规划或与对象物进行互动。立体匹配是获得场景深度信息的关键技术之一。相比激光测距等其他场景深度感知方式,基于立体匹配的深度计算方法成本低且不受测量距离限制,因而受到广泛关注。立体匹配是当前计算机视觉领域中的一项重要研究课题,也是其他热点研究问题的子环节,如三维模型重建、即时定位与建图等。现有立体匹配方法众多,深度学习技术的出现也为立体匹配带来新的机遇,但现有立体匹配算法仍存在以下问题:1.传统能量优化式立体匹配算法在设计能量公式时所依据的颜色一致性假设,在面临场景光照变换较大的情形时不够鲁棒,容易出现计算错误;同时,传统能量公式依据的邻域约束在场景深度急剧变化的区域表现较差。2.现有基于深度学习的端到端立体匹配网络,常源自求解其他视觉任务的网络结构。这一过程往往忽视了不同视觉任务之间的特性差异。另外,现有网络采用的三维卷积参数数量较大,导致难以增大卷积核以扩大感受野。3.基于深度学习的立体匹配算法忽略了像素所属对象物结构等信息,在物体轮廓处容易出现匹配错误。同时,受限于现有数据集,在一些区域因缺少足够监督数据而导致结果表现受限。针对以上问题,本文完成了以下研究工作:1.针对传统能量优化立体匹配中公式设计的不足,本文在能量优化框架下融合颜色线索与分割线索设计能量公式。公式包含卷积神经网络数据项与分割约束项,分别利用了颜色与分割线索。然后,在MRF中求取最优解,得出最终视差结果。通过实验验证:相比传统能量公式,本文设计的能量公式有显著优势,且算法准确度与同期其他算法相近。2.针对现有深度学习端到端网络未考虑立体匹配特性的问题,以及三维卷积难以取用较大卷积核的问题,本文首先分析了立体匹配任务的特性,确定了适合立体匹配任务的特征提取网络结构;同时提出了分离三维卷积结构,能够有效避免增大卷积核带来的参数量爆炸问题。通过对比实验验证了所提出的特征提取结构和分离卷积结构的效果。3.针对现有深度学习立体匹配算法在物体轮廓区域容易出现匹配混淆的问题与训练真值缺乏区域表现差的问题,本文设计并实现了分割任务与立体匹配任务的联合优化网络。该网络通过卷积LSTM结构构建循环神经网络模块,联合两个任务共同优化。网络在循环过程中提取视差与分割图上的左右一致性特征用于提升立体匹配视差结果与语义分割结果准确度。实验证明:本文优化算法实现了两个任务的共同优化,并能在物体边界区域缓解匹配混淆问题及改善缺少训练监督数据区域的结果。