针对柔性转子系统在临界转速下由于陀螺效应的作用会产生较强的回旋振动造成机械转子系统失稳的问题,本文以柔性转子系统作为研究对象,建立转子动力系统的数学模型,利用有限元建模方法,进行动力系统模态的仿真分析并进行试验验证。结合全频谱技术分析转子系统回旋振动信号,实现了诱发转子失稳故障的有效诊断。因此本文对船舶轴系的动力学特性的研究具有较高的学术价值。首先基于前人对转子动力学的研究成果,推导并总结出简单转子动力系统的数学建模过程;借助转子动力系统的数学模型,研究了其各阶模态的计算方法;利用转子动力系统的各阶模态绘制转子动力系统的坎贝尔图,坎贝尔图可以用于研究转子动力系统的临界转速以及正反进动现象。然后基于有限元理论,研究了柔性转子系统中十分重要的轴单元、圆盘单元以及轴承单元的有限元单元建模方法,基于Matlab平台,编写可以对柔性转子动力系统进行有限元建模的程序,同时开发出可以对柔性转子动力系统有限元模型进行分析的程序,该程序可以对柔性转子动力系统进行模态分析以及绘制坎贝尔图,实现了对较为复杂的柔性转子模型进行建模以及分析的功能。通过在某型柔性转子动力实验台上完成实验,将实验结果与有限元建模仿真结果进行了比对,对程序的可靠性进行了验证。最后研究了利用全频谱技术分析转子系统回旋振动信号的故障诊断方法,从全频谱技术的理论基础出发,讨论了全频谱技术的特点,以油膜诱发转子失稳这一故障为例,研究了利用全频谱技术对转子系统进行故障诊断的方法,并以某故障实验台对该诊断方法进行了验证,结果表明全频谱技术可以对油膜诱发转子失稳的故障进行有效诊断,提高了故障诊断的便捷性与准确度。