与传统的基于二维图像的识别相比,三维的图像识别由于其引入的深度信息,使得其具有更高的准确率和鲁棒性。这是因为三维的RGB-D图像不仅包含了二维图像的颜色、纹理信息,其中的深度图像还包含了目标的表面几何信息。随着Kinect、Xtion等三维体感设备的兴起,RGB-D图像的获取越来越便捷,RGB-D图像的识别技术也越来越成为机器视觉领域的研究热点。另一方面,近年来机器学习在图像识别领域取得了令人瞩目的成绩,特别是卷积神经网络,在大规模数据集的图像识别任务中取得了突破性的进展。基于机器学习算法的RGB-D图像识别成为了机器视觉中的热点问题。针对以往RGB-D图像的特征提取算法存在计算复杂、特征提取不充分以及特征信息冗余等问题,本文提出了一种RGB-D图像的彩色-深度局部Gist特征提取算法。首先将RGB图分解为R、G、B三个通道的图,分别提取三个通道图的局部Gist特征,同时提取深度图的局部Gist特征,通过按行融合的方式组成RGB-D图像的彩色-深度局部Gist特征。对彩色-深度局部Gist特征使用主成分分析法降维后,用K-means++算法聚类构建RGB-D图像的视觉词典,最后基于支持向量机分类器对RGB-D图像进行分类。实验结果表明本文的特征提取算法可以有效提高RGB-D图像分类的准确率。鉴于目前卷积神经网络在大规模图像数据集上的优异表现,本文提出一种改进的双流卷积神经网络的RGB-D图像识别算法。该算法设计了两个结构相同的卷积神经网络分别以RGB图与深度图的彩色映射作为输入,两个网络独立训练,再在全连接层进行网络的融合。针对融合的方式,本文设计了一种最优权值法,即根据两个网络的识别准确率赋予两个网络不同的融合系数。通过实验表明,改进的双流卷积网络识别准确率比单输入卷积网络的高,且采用最优权值法提高了双流卷积神经网络的RGB-D图像识别准确率。