随着控制理论的日益完善,社会生产对于系统的性能以及控制成本提出了更高的要求,最优控制问题受到了越来越广泛的关注。传统的最优控制方法只能处理形式较为特殊的系统,当系统具有一般形式时,该类方法难以求解。强化学习是一种无模型的寻优方法,适用于求解一般系统的最优控制问题。本文在马尔可夫决策过程框架下研究基于强化学习的离散时间系统最优控制问题及其应用。每一章的主要内容如下:第一、二章总结和分析了强化学习与最优控制领域的研究现状,并介绍了本文所涉及的一些预备知识。第三章研究了状态空间不可数的马尔可夫决策过程。首先,本文定义了状态空间不可数的马尔可夫决策过程。其次,分别在期望累计奖励标准和平均奖励标准下,给出并证明了各自的最优性方程,其结构在不可数和可数状态空间下具有一致性。最后,在期望累计奖励标准下,若最优策略为确定性策略,则其具有保护性,故可以通过最优动作状态值函数寻找最优策略。第四章在第三章的基础上,针对一类含有状态噪声且系统更新时间间隔随迭代次数变化的随机离散时间系统,本文在马尔可夫决策过程框架下提出了基于强化学习算法的系统最优控制方法。首先,基于系统方程构造了状态空间不可数的马尔可夫决策过程,将最优控制问题转化为马氏框架下寻找最优策略问题。其次,利用平均奖励标准及其最优性方程,证明了原问题中的最优策略等价于平均奖励标准下的bias-optimal策略,并在此基础上设计平均奖励算法。最后,通过一个数值算例验证了算法的有效性。第五章利用平均奖励学习算法解决了一类离散时间多智能体系统的最优控制问题。本文给定控制器结构,分别设计基于平均奖励的同策略以及异策略强化学习算法,使系统以最快速度实现一致。通过数值仿真分别得到系统最优通信拓扑以及控制器参数。第六章总结了本文的工作,并对未来的研究进行展望。