被动动态步行是双足步行研究领域的一个重要分支,其目的在于挖掘动态步行本质特征,充分利用自身动力学特性提高能效。由于机器人的结构多样性,动态特性具有较大差异,难以选用其他机器人的运动轨迹作为参考步态。而在机器人与地面的不断交互中,Q学习可以充分利用双足机器人自身的动力学特性,在试错中自主学习行走。本文针对五连杆欠驱动步行机器人行走控制,提出了基于神经网络的Q学习方法进行研究,实现了稳定连续的动态步行。本文完成的主要工作如下：1.采用了平面五连杆四驱动模型,并在已有的柔性驱动方式的基础上,为机器人选择了柔性驱动器。2.提出了一种基于RBF神经网络的Q学习控制方法。利用RBF网络的泛化能力,代替了离散的Q值表,实现了机器人连续状态到离散的Q值表的映射关系,解决空间信度问题；将资格迹思想融入到RBF神经网络中,解决Q学习时间信度分配问题；借鉴了等效倒立摆模型降低神经网络输入维度；提出了改进的ε贪婪算法来平衡Q学习中“探索”与“利用”的矛盾。仿真得到了稳定自然的周期动态步态,验证了基于RBF神经网络的Q学习算法的有效性。3.为了解决Q学习“无监督”、状态-动作空间大带来的学习速度慢的难题,本文采用了基于历史经验回放技术加速Q学习。仿真表明基于历史经验回放技术能提高Q学习效率。4.设计了ADAMS仿真平台。为得到更为实际的仿真效果,建立了ADAMS上的虚拟样机。在此基础上建立了ADAMS与MATLAB的联合仿真平台。仿真实验表明仿真平台能简化繁琐的操作,提高了仿真效率。