移动机器人因能在更大空间范围内作业而具有比一般机器人更强大的灵活性。自主定位和环境感知对于身处未知环境中的移动机器人而言是两种重要的能力,正确定位信息的获取以及对一般周围环境和特定目标对象的理解有助于移动机器人更好地完成任务。本文围绕移动机器人自主定位与目标感知问题开展研究,设计并实现了基于多传感器融合进行自主定位并能通过视觉感知目标运动状态的移动机器人系统,对于提升移动机器人自主性具有一定参考价值。本文首先设计了抗动态环境干扰的RGB-D视觉里程计,利用轮式里程计和惯性测量单元提供的先验运动信息高效地检测并去除属于运动前景的动态特征点。此外,本文考虑了传感器故障导致先验运动信息不可获得的情况,通过引入对极几何约束使机器人只依靠图像信息亦能实现动态特征点检测。为进一步提升定位准确性和可靠性,视觉里程计、轮式里程计以及惯性测量单元所提供的机器人位姿信息在扩展卡尔曼滤波框架下实现融合,为了获得更好的融合效果,传感器测量数据在融合之前经过数据同步和优化。RGB-D相机除了可以用于机器人自主定位,还能够作为机器人感知外界的眼睛。本文利用目标对象的颜色特征与几何特征从图像上对其进行快速和准确的检测,并基于机器人已知的绝对定位信息以及机器人对目标的相对测量信息获取目标的全局坐标,其运动速度则可通过位置差分得到。由于目标不一定始终位于相机视野内,因此根据目标的位置变化情况可以判断目标是否偏离前次被观测位置、是否从前次被观测区域中消失、是否正在当前视野内运动。本文将这些从目标运动数据中提取得到并能反映目标位置变化情况的语义信息定义为语义运动状态,并对状态判定方式和状态转移方式进行详细的讨论。本文还对系统中各坐标系间的变换关系进行推导,对相机的内外参数及畸变系数进行标定与验证,并解决了估计轨迹与真实轨迹在无时间戳的情况下的数据点匹配问题。这些工作为系统运行与数据分析提供基础性保障。本文的定位与感知算法最终在实际的移动机器人实验平台上通过了有效性验证并获得很好的实验效果。