双目立体视觉是计算机视觉领域内的一项重要研究课题,它通过一个场景在不同视角下捕获的多个二维成像可以重建3D场景,在无人驾驶、虚拟现实和机器人等领域有着广泛的应用前景。立体匹配是双目立体技术中的最重要、最困难的一个环节,立体匹配的目标是通过给定立体相机拍摄到的两个图像,计算参考图像中的每个像素的视差,得到视差图从而计算深度。传统的方法一般遵循四步流程:匹配代价计算、代价聚合、视差计算和视差优化,但是这种手工制作特征描述符的方法往往受到效率低下的困扰。最近几年,由于卷积神经网络超强的特征提取能力,一度取代了传统手工制作特征描述符的方法。基于神经网络的方法可以将视差估计看成一项学习任务,利用大量数据不断优化模型参数进行学习,使用学习过后的神经网络模型处理输入图像输出视差图。相对于传统立体匹配方法,基于卷积神经网络的方法可以更好地捕获局部上下文信息,对于不适定区域(遮挡、弱纹理和深度不连续等)的表现更加鲁棒,在匹配速度和精度方面都有了不错的提升。本文对双目立体视觉匹配算法的国内外研究现状和重难点问题做了深入的了解和研究,针对传统四步法中多步骤、多模块的任务处理方式导致的一些问题,容易造成误差累积并且计算过程繁冗复杂,本文设计了一个端到端的视差预测框架输出良好视差图,不需要任何后处理步骤。本文在先前卷积神经网络立体匹配算法工作的基础上改进了网络结构。针对基于卷积神经网络的立体匹配算法在不适定区域的特征提取能力不足问题,本文充分利用所提取图像的不同层级特征信息,在孪生网络结构两个分支的前端部分设计了一个池化金字塔层,提取多尺度低层结构特征,并且在网络后端融合其后三层的高级语义特征,强化了卷积神经网络结构的图像特征表示和提取能力。提取完左右图像特征后进行相似性度量,最后输出视差图。在KITTI 2015数据集上验证了所提算法的有效性,与其他类似算法进行了对比,提高了一定立体匹配精度。