随着科技的发展与进步,机器人已经开始广泛应用在人们的生产生活中。双足机器人是其中的热点领域,其具有灵活性高、适应性强的特点,可以直接使用一些为人类设计建造的设施,融入人类的工作生活中。在双足机器人的应用中,稳定的步行能力是其顺利完成工作任务的基础。但双足机器人结构复杂,步行控制困难,传统的步态规划控制方法具有模型复杂度高、应用场景局限、生成的步态与人体步态差异较大等缺陷。因此,进行步态规划控制方法的创新研究具有重要意义。针对上述传统步态规划控制方法存在的问题,本文设计了一种基于强化学习框架的步行控制器,在仿真环境中进行智能体步行策略训练,并将步行策略移植到机器人物理样机上进行实验验证。本文主要研究内容包括:（1）根据实验任务不同分别研发了两台机器人实验平台,10自由度机器人样机具有仿人体的质量分布和结构设计,旨在生成与人体步态相似的步行动作;6自由度机器人样机具有简单的结构和较低的制造成本,承担步行策略在物理样机上的验证任务和步态的鲁棒性实验任务。分别对两台机器人进行了结构设计和硬件选型,并搭建了基于RTOS（Real Time Operating System）和ROS（Robot Operating System）的控制系统。（2）分析说明了几种主流的强化学习算法各自的特点,设计了基于近端策略优化（Proximal Policy Optimization,PPO）的步行控制器,进行了奖励函数、噪声条件等部分的设计与搭建。（3）构筑了仿真实验环境并进行仿真步行训练。在Gym强化学习标准化环境的基础上,结合Mu Jo Co仿真平台,智能体由步行控制器驱动与环境交互学习步行策略,并将生成的步行策略的性能在仿真环境中进行验证。（4）搭建真实实验环境,将仿真环境中生成的步行策略移植到机器人物理样机上进行步行实验,并对机器人步态的仿生性和鲁棒性等进行了分析比较,表明强化学习在双足机器人步态规划过程中的有效性。本文针对传统机器人步态规划控制方法存在的问题,利用强化学习步行控制器对其进行改进,并用仿真实验和真实实验证明了方案的可行性,得出了基于强化学习的步态控制方法可以生成具有一定仿生性和鲁棒性的双足机器人步态的结论。