本文研究了非线性系统的内模控制，主要内容如下： (1)研究了基于动态神经网络和模糊神经网络的非线性系统辨识问题。提出一种基于并联模式的动态神经网络，证明了存在建模误差和有界扰动的情况下，基于Lyapunov理论的自适应学习算法能保证辨识误差和权值误差的一致有界；提出一种T-S模糊神经网络的新的学习算法，首先采用模糊聚类算法得到网络的结构和前件参数的初始值，然后用LMF和LSM的混合算法分别对前件参数和后件参数进行优化求解。 (2)研究了仿射非线性系统的动态神经网络内模控制，首先将微分几何理论应用于状态可测的单变量仿射非线性系统的内模控制设计中，根据获得的动态神经网络模型动态逆构造内模控制律，从而将线性内模控制的分析、设计方法推广到非线性系统。分析了建模误差对闭环系统鲁棒稳定性和稳态性能的影响，研究了控制量饱和对内模控制系统性能的影响，引入跟踪误差反馈对内模控制进行改进有效克服了饱和的影响。将上述研究结果推广到状态可测的多变量仿射非线性系统，设计了基于解耦线性化的动态神经网络内模控制结构，着重分析了建模误差和残余耦合作用对闭环系统鲁棒稳定性和稳态性能的影响。进一步针对状态不可测的多变量仿射非线性系统，提出基于滑模观测器的动态神经网络系统辨识，完善了动态神经网络内模控制的研究。 (3)研究了基于模糊神经网络的非线性内模控制，针对一类开环稳定的非线性系统，通过理论分析指出其模糊神经网络模型可视为一类特殊的线性时变系统从而直接获得模型的解析逆，简化了非线性内模控制的设计。将建模误差视为结构不确定，引入μ分析方法判断闭环系统的稳定性，进一步采用μ综合方法优化滤波器的设计以保证闭环系统鲁棒稳定。 (4)研究了基于逆系统方法的模糊神经网络内模控制，将非线性系统的模糊神经网络逆系统与原非线性系统复合后再对存在非线性建模误差的“伪线性系统”引入内模控制，当未建模动态满足线性增长和慢时变条件时分析了闭环系统鲁棒稳定性和稳态性能。当未建模动态不满足线性增长条件时，应用Popov超稳定性理论分析了闭环系统的鲁棒稳定性。