由于谐波驱动系统具有结构紧凑、传动稳定和精度高等优良性能,被广泛应用于航天事业以及工业领域。但谐波驱动系统属于柔性系统,内部存在着运动误差、迟滞、摩擦等非线性动力学问题,严重地影响了谐波驱动系统在应用过程中的传动性能。研究谐波驱动系统的动力学特性,提出有效的控制策略实现对这些非线性动力学问题的高精度补偿,具有一定的理论研究意义及工程应用价值。本文首先基于反演法实现了忽略柔性的谐波驱动系统运动误差补偿,该方法基于Lyapunov函数反推的设计思路保证了系统跟踪误差的稳定性,相比PID控制拥有较高的控制精度。为了进一步减小稳态误差,采用状态扩张的方法推导了积分反演法的设计思路。设计了自适应积分反演控制器以应对模型参数未知的情况。其次,忽略柔性只能简化模型但不符合实际情况,本文提出了一种适用于迟滞非线性高阶系统的自适应积分反演滑模控制策略。迟滞现象被视作一类有界干扰,利用滑模控制抗干扰性好的优点加以控制,通过自适应律估计干扰上界,实现了谐波驱动系统的迟滞补偿。反演法基于Lyapunov函数的结构化设计思路,保证了这一类柔性耦合复杂系统的渐进稳定性。为了减弱滑模控制引入的抖振现象,以及反演法在高阶系统中应用带来的“计算膨胀”问题,进一步设计了自适应积分反演准滑模动态面控制器。再次,针对考虑模型参数不确定性和摩擦的谐波驱动系统,提出了一种自适应摩擦补偿方法。系统中的摩擦通过LuGre模型描述,基于非线性状态观测器进行估计并补偿,自适应控制用于解决动力学模型及摩擦模型参数不确定性问题,自适应律的设计通过稳定性分析给出,引入一阶滤波器来解决反演法带来的“计算膨胀”问题,设计了一种基于状态观测器的自适应积分反演动态面控制器。仿真结果验证了基于LuGre模型的摩擦补偿方法的有效性,自适应参数估计能解决积分反演方法易受参数不确定性影响的问题,所提方法拥有很好的跟踪性能。最后,研究了同时存在外界干扰、输入受限、非线性摩擦和建模误差等多种非线性传动问题的谐波驱动机械手高精度控制策略,设计了带有修正LuGre摩擦补偿器的自适应神经网络积分反演滑模控制器。应用滑模控制补偿复合外界干扰,通过基于修正LuGre模型的非线性状态观测器估计并补偿摩擦。双曲正切饱和函数将控制输入限定在规定范围之内,采用径向基神经网络估计超出饱和范围的部分,引入鲁棒项以消除神经网络的逼近误差,从而解决了输入受限问题。仿真结果说明所提控制算法能有效补偿系统摩擦且具有较强的鲁棒性和抗饱和能力。