近年来,随着移动机器人技术的发展,能够进行搜索与救援任务的救援机器人逐渐出现在灾后环境中,并展现了巨大的应用前景。本课题结合计算机视觉、自然语言处理和移动机器人三大领域,通过将视觉信息和语言信息进行多模态融合的方式,让救援机器人理解救援人员发出的自然语言指令,并结合自身传感器获得的视觉信息,在救援场景中执行导航任务。为将自然语言与视觉有效地进行深度融合,本课题首先提出一种多模态融合的神经网络模型,来实现视觉信息（RGB图和深度图）和语言信息（自然语言导航指令）的融合。不同于在仿真环境中基于导航图的移动方式,该网络模型通过输出低级动作,来实现了救援机器人在现实环境中的移动。本课题还提出了一种面向危险品搜索的视觉语言导航方法。该方法可在导航地图的基础上建立语义地图,救援机器人对救援导航指令进行解析并与语义地图中的地标物体进行匹配,以此来让机器人在复杂的救援场景中进行路径规划,有效地增强了救援机器人在现实环境中的避障及导航能力。在救援机器人运动的过程中,通过YOLOv5目标检测算法来对危险品标识进行检测,以此实现救援机器人在运动过程中对危险品的搜索。