近年来,非线性动力学系统控制问题受到越来越多的关注和研究。非线性系统控制的多样性往往会伴随出现比较复杂的控制器优化问题,而控制器参数优化属于一项重要工作。反馈控制通常是为了满足多个相互矛盾相互冲突的指标函数同时取得最优值,例如峰值时间、超调量、稳态误差以及积分绝对误差等时域控制器评价指标,所以在多目标优化过程中折中思想贯穿始终。传统的控制器参数优化多针对于简单的线性系统,面对复杂的非线性控制器优化往往束手无策。如何有效地为非线性系统控制提供参数优化方法,已经成为一个亟需解决的重点问题。在本文中主要针对比较复杂的非线性系统采用比较流行的多目标优化方法进行控制器优化设计。本论文的主要研究内容是基于多目标优化方法进行控制器参数整定。多目标优化研究内容分两章介绍:第三章采用多目标粒子群算法对欠驱动旋转倒立摆系统多目标优化控制设计。倒立摆旋转臂跟踪复杂的追踪信号的同时保证摆杆在竖直向上的位置保持稳定。用多目标粒子群算法寻找帕累托解集和帕累托前沿,数值仿真和实验同时证明了多目标优化设计的有效性。第四章创新性地提出一种简单胞映射和细分算法混合的多目标优化算法,并采用并行运算用以解决高维多目标优化问题。采用所提出的算法寻找其帕累托前沿和帕累托解集。通过理论分析、数值仿真和实验验证了该方法的可行性。除了非线性系统多目标优化算法的研究以外,本文分别对基于模型和无模型控制方法进行了研究。论文第五章采用输出反馈线性化对二自由度直升机系统进行控制设计。我们提出一种基于代数方法的微分估计算法用以估计系统输出变量的导数。通过与现有的其他两种微分估计方法相比较,验证了所提算法的抗干扰能力强和鲁棒性强的特点。基于此微分估计方法,进行了输出反馈线性化控制方法的仿真和实验研究。通过定量和定性分析,展示了基于代数微分估计法的输出反馈线性化控制方法在减小跟踪误差和降低系统能耗方面的优势。最后,论文第六章对一种基于数据的无模型控制方法进行了研究。这种无模型控制方法不再需要系统具体的动力学模型,而是用系统的历史输入输出数据建立超局部模型,近似于原始系统。然后,根据近似模型和系统的输出数据更新控制器输入,进而实现对非线性系统的控制。将该无模型控制方法应用到多输入多输出的非线性系统控制中检验算法的有效性。仿真结果表明此控制方法对于难以建模或建模不准确的系统具有很好的应用前景。