自主式移动机器人可以工作在复杂非结构化环境中,无需人工干预,对环境无特定要求,具有高度自规划和自适应能力,这是一种有目的地自主式移动和完成任务的智能系统。其中,导航技术是移动机器人实现智能化的关键技术之一。在未知环境中,移动机器人需要拥有快速的学习能力,以提高对环境的适应能力,解决在自身不完备知识情况下的复杂问题。强化学习具有通过自我学习来逐渐获取智能行为的特征,在自主式移动机器人导航应用中受到广泛关注。强化学习模拟动物学习的过程,通过不断试错寻求从状态到动作相适应的映射关系,最终获得最优化的动作状态策略集。针对学习过程中传统算法存在收敛慢,非即时报酬的估计存在时间约束,占用较多内存资源和计算时间的问题,本文通过对传统强化学习理论的研究,结合了相对值迭代理论和最优化理论,通过合理变形,提出了一种相对值迭代强化学习(RVI-RL)算法,这是基于离散马尔科夫决策过程(MDP)环境下的无需估计平均报酬的强化学习算法。RVI-RL算法是一种无模型算法,免除了对整个任务平均报酬的估计,也免除了因不断修正平均报酬估计所带来的偏差。本论文的实验环境为经典的出租车问题,初始化为栅格型地图,相对于出租车为未知或动态环境,出租车自主行驶过程中,通过试错技术来获取环境状态信息,最终寻求状态与动作的最佳映射。实验表明,在单自主移动机器人导航过程中,RVI-RL算法比Q学习算法和R学习算法更快更稳地收敛于最优策略集;在多自主移动机器人导航环境中,新算法表现出诱发两个机器人协作规划行为的特征,比传统的Q学习算法更合适多机器人协作规划的应用环境。尽管RVI-RL算法消除了平均报酬参数的估计,在大规模状态空间中仍然存在“维数灾难”问题,本论文也讨论了将分层概念引入RVI-RL算法的可行性,实验表明,在收敛于最优策略速度上,RVI-RL算法比MAXQ算法也具有优越性。