当前的工业过程控制系统中,线性控制器仍占绝大部分。然而真实的工业系统都是非线性的,工况切换,设备老化等等实际工业问题都对传统控制器带来挑战。研究更加智能的,具有自学习能力的控制算法具有重要意义。随着机器学习算法的不断发展,以深度学习、机器学习为基础的强化学习算法使得非线性系统自适应控制出现了新的研究方向。强化学习是具有自我决策能力的控制算法,通过探索与试错拥有类似人类的学习能力,通过学习不断改善自身策略,具有优秀的环境自适应能力。好比工厂培训新工人一样,强化学习算法在具有优秀控制能力之前,需要一个长时间的复杂的训练过程,虽然拥有自适应的能力,但学习过渡的过程中存在为控制系统带来负面影响的可能。同时,当被控对象具有时变特性的时候,纯强化学习算法的学习过渡过程会为算法带来鲁棒性问题。针对强化学习用于过程控制时的训练时间较长,过渡性较差问题,本文提出了基于强化学习的自适应补偿控制算法,讨论了其在非线性系统过程控制中的应用问题。本文的主要工作如下:首先,针对典型非线性系统,设计强化学习算法控制方案,研究不同深度强化学习算法在非线性系统优化控制中的表现,证明强化学习算法的有效性,同时引出其存在的问题。再次,研究利用前馈结构降低强化学习训练难度。通过前馈反馈结构,将强化学习作为外挂优化器,保留原过程控制系统的反馈回路。从而将控制问题简化为优化问题,加快强化学习收敛速度,通过与传统的强化学习方法对比,设计仿真实验证明该方法的优越性。同时,考虑过程控制中存在的时变特性问题,传统的强化学习算法会存在适应新对象的过渡问题。针对这一问题,本文所述方法中反馈回路的存在会提高控制系统的鲁棒性,同样设计仿真实验验证时变对象本方法的有效性。接着,考虑复杂的过程控制系统大多很难建立精确的仿真模型用于强化学习算法的训练,提出了一种基于网络监督控制的强化学习算法。利用网络监督控制方法,根据过程运行历史数据来求解基础的策略网络,结合强化学习方法对策略网络进行后续的优化,并通过仿真实验验证了该方法的有效性。最后,对全文内容进行总结并提出了本文所述方法仍存在的问题及未来研究的前景。