根据世界卫生组织2017年的统计数据,全球盲人数量高达3600万。盲人难以辨别周围场景及场景中的障碍物目标,内心对未知场景的恐惧导致他们很少出行。目前,大多数导盲设备只能检测障碍物的距离,无法获取周围场景信息。如果把场景语义解释技术融入到导盲设备中,就能够更好地辅助盲人出行。本文的导盲场景语义解释技术以场景图像为输入,场景语义信息为输出,研究的是图像为何种场景;场景中的目标属于何种类别,处于什么方位,距盲人多远距离。近几年来,随着深度学习的相对成熟,图像处理技术飞速提升,使用卷积神经网络来提取场景语义信息是场景语义解释技术的发展趋势。本文将导盲场景语义解释技术划分为场景识别和目标检测及测距两个模块。其中,场景识别模块通过迁移学习方法实现场景类别的识别;目标检测及测距模块通过目标检测算法提取目标的类别和方位信息,通过双目测距技术提取目标的距离信息。本文具体研究内容如下:(1)针对场景识别问题,本文自制了导盲场景数据集,为避免数据样本不足导致训练时产生过拟合问题,采用迁移学习的方法进行训练。首先应用导盲场景数据集,在VGG19、Inception V3和Res Net50三种预训练的卷积神经网络模型上,以冻结全部卷积层,只训练顶层的方式进行迁移学习;随后在Res Net50上探索冻结网络的深度对识别结果的影响。最后通过实验验证了迁移学习在场景识别任务上的优越性。(2)针对目标检测问题,采用轻量化的卷积神经网络Mobile Net作为前端的基础网络,搭建轻量化的目标检测网络MSSD(Mobile Net-Single Shot Multibox Detector)。MSSD利用卷积神经网络提取图像特征,通过多尺度特征图预测,完成目标种类的预测和位置的回归。在MSSD网络上对自制的导盲目标检测数据集进行训练。将训练好的模型在真实场景下进行定性分析,模型的检测速度和准确度均能满足要求。(3)针对目标测距问题,首先完成了双目相机的标定和双目立体校正工作,并对BM、SGBM和GC三种立体匹配算法的性能进行分析,最终选择SGBM匹配算法来生成视差图。针对目标之间的遮挡问题,提出一种基于灰度值排序的目标测距策略。将目标检测结果与双目视差图相结合后,应用该策略可获取较精确的目标距离信息。(4)设计了一套可实现导盲场景语义解释的系统。利用双目相机采集静态图像或动态视频,通过计算机处理完成场景语义信息的提取,将获取的语义信息以语音输出的方式反馈给盲人。对多个真实场景进行测试,从测试结果得出,本系统基本满足了设定的功能需求。