仿人双足机器人具有与人类相似的外形,运动方式也更像人,对人类的生活场景具有更强的适应性,在现代社会中应用前景广阔。仿人机器人的控制系统是涉及自动化技术、传感器技术、电子电工技术、智能控制技术的一种非线性、强耦合的复杂系统。仿人机器人的运动性能和功能特点在很大程度上反映了机器人的先进水平,而其稳定行走的能力则是仿人机器人能为人类服务的必要前提,因此对于仿人双足机器人稳定行走的研究一直是机器人领域研究的重点方向之一。本文以实现小型仿人机器人在非平整地面上的稳定行走为研究目标,围绕仿人机器人在非平整地面上行走时的步行控制技术进行相关研究。为了解决传统动力学方法在解决此类问题时建模复杂、解析困难的问题,本文提出了基于强化学习算法的小型仿人机器人步行控制策略,并就此开展了系统深入的专门研究。首先,本文对19自由度小型仿人双足机器人的机械结构、性能指标、控制要求等内容进行了详尽分析,建立了仿人机器人硬件系统和软件系统的基本框架。其次,通过对硬件系统的核心控制器、运动控制器和传感器三部分元器件的器型选择和电路设计,完成了控制系统硬件部分的设计;经过认真分析与仔细思考,控制系统的软件部分以ROS系统为基础,通过节点(node)建立了主控系统、运动控制系统、传感器系统和通讯系统之间信息传递的桥梁,保证了相关信息与指令的顺利传递。再次,通过对仿人机器人的机械结构和自由度的设计、分析与讨论,建立了D-H坐标系,并对仿人机器人进行了正运动学和逆运动学分析,得出了足端轨迹和机器人质心与腿部各关节角度之间的关系。本文探讨的仿人机器人其运动速度低且加速度很小,属于准静态运动,依据这一前提,本文对仿人机器人进行了基于复合摆线的质心轨迹规划和基于贝塞尔曲线的足端轨迹规划。然后,本文对强化学习和相关算法进行了深入的理论分析,对Q-learning算法和DQN(Deep Q Network)算法进行了详细的算法理论、参数更新和决策的分析。通过对比二者的特点,选择了DQN算法作为步行控制器的核心算法,并对基于DQN算法的步行控制器的状态值、动作值、奖惩函数和网络结构进行了分析和设计,对步行控制器的学习和更新过程进行了分析。最后,为了对基于强化学习算法DQN设计的步行控制器进行实验验证,本文设计了仿真实验和实物实验,通过对不平整地面实验环境的构建,以及实验步骤的设计,得出了实验结果,并对实验结果进行了详细的讨论。研究进展和实验结果表明,本文设计的小型仿人机器人控制系统的硬件电路和软件系统均满足实验要求,达到了预期的控制效果。同时,基于DQN算法的步行控制器能够有效提高仿人机器人在非平整地面行走的稳定性,通过不断的学习和训练能够得出仿人机器人的姿态信息和质心调整的关系。本文的研究成果为仿人机器人步行控制技术的研究提供了借鉴和参考,也为复杂动力学模型问题的解决提供了新的思路和方法。