为实现移动机器人通过其视觉系统来感知环境,使其能够在环境中自主运动,从而获得更广的适用范围。本论文从移动机器人视觉系统、多视角目标检测、目标定位等几个方面展开研究。视觉系统分为硬件组成和软件架构两个方面。在硬件组成方面,以Pioneer 3-AT型移动机器人为研究平台,在其上装载一个二自由度的云台PTU-46,使得相机可以在不改变移动机器人运动状态的情况下,通过云台上下俯仰和左右转动来全方位地观察整个环境。在软件架构方面,随着机器人领域的快速发展和复杂化,代码复用和模块化的需求越来越强烈。本文基于ROS (Robot Operating System, ROS)来构建移动机器人的软件系统,采用节点式的结构将一项功能分成不同的小功能,而每一个小功能又能自由地组合。这使得执行程序可以各自独立地设计,并且可以松散地、实时地组合起来。目标可能会以各种不同的姿态出现在移动机器人视野范围内。为了移动机器人可以检测出各个视角下的物体。首先,使用Adaboost算法学习基于类Haar型特征的检测器。其次,针对多视角目标检测问题训练基于视图的瀑布型检测器。最后,通过各个子类检测器的组合实现多视角目标检测。实验结果表明此方法十分有效。基于二维图像的方法一般较难实现快速且准确的目标定位,而基于深度图像的方法可以快速且准确地得到目标的空间位置信息。对于基于深度图像的目标定位问题,首先,分析了传统相机使用的针孔模型在定位问题上的局限性。其次,阐述深度图像数据的意义,并对其数据结构进行了分析。再次,通过在针孔模型中加入距离信息从而恢复出各个像素在空间中的三维坐标。最后,通过对彩色图像与深度信息进行融合,实现了目标的定位。实验结果表明此方法十分有效。