在实际的控制过程中,控制对象往往是复杂的,存在不确定性的,其模型的参数可能在很大范围内发生变化。对于连续时间非、线性时不变系统的最优控制问题,由于控制有相对的条件,而实际情况可能随时不同,优化控制的过程需要不断更新完善,从而保证控制算法更加合理和精确。因此,开发一种自适应优化控制器,能够随时根据外部环境的变化而改变控制策略,使控制器一直处于最优的状态尤为重要。更多的是,当系统动态信息完全未知的情况下,如何运用设计的控制方法,使系统仍旧可以达到最优控制状态,这是眼前亟待解决的问题。鉴于以上情况,本文对基于策略迭代优化得一类非线性系统的自适应优化控制器展开研究,主要从以下几个方面进行:第二章中,主要针对仿射非线性系统的优化问题设计一种新的控制方案。基于神经网络结构,我们提出了一种有效的系统线性化方法,线性微分包含技术。这解决了目前由于高度非线性存在导致的“维数灾难”问题,接着,我们提出了一种在线策略迭代算法,当系统的动态信息A不可获取时,仍然可以通过状态和输入驱动信息来获取系统的最优控制。最后,通过仿真验证了所提方法的有效性和适用性。第三章我们主要研究非线性系统的信号跟踪问题。同样,在处理系统的非线性上,采用的是基于神经网络的线性微分包含技术。接着,通过给出的参考信号动力学信息,搭建了增广系统,推导该系统下的代数Riccati方程,提出了离线和在线两种策略迭代算法。在仿真部分,我们对在线算法和PID算法进行了比较,突出本节提出算法的优越性和可行性。第四章研究了一种强化学习方法来解决半车主动悬架系统的最优控制问题。根据相关运动学方程,构建了模糊动力学模型。同时,为了解决系统中的非线性项,我们采用一系列模糊规则将所考虑的非线性系统转化为Takagi-Sugeno模糊子系统。这样系统下的最优控制问题就变成了零和博弈的纳什均衡问题。通过使用积分强化学习,我们设计了相关算法来求得系统最优控制器。在这过程中,系统的动态信息可以完全忽略,最后通过仿真验证了我们设计的算法的实用性和可行性。最后,我们对本论文提出的方案进行了总结,并对未来的工作给出展望。