动力学系统稳定性的研究是科学与工程中一个十分普遍的重要课题，对研究实际动力学模型有着广泛的应用．早在19世纪末，Lyapunov就创立了运动稳定性的一般理论，奠定了稳定性的理论基础．自此以后，稳定性的理论和方法在数学、力学、物理学、非线性科学、航空、航海和高新技术中得到广泛的应用，发挥了越来越大的作用．分数阶动力学的研究是国际科学与工程领域的前沿课题，引起各领域科学家的广泛关注．1996年以来，国际上数学家们相继建立了分数阶Lagrange方程、分数阶Hamilton方程和分数阶非完整系统动力学方程；近年来，导师提出并带领研究生建立了新的分数阶Lagrange力学、新的分数阶Hamilton力学、分数阶广义Hamilton力学、分数阶Birkhoff力学和分数阶Nambu力学，并分别构建了它们的理论框架．但是，分数阶动力学系统稳定性的基本理论与方法还有待于进一步研究．　　本文基于Lyapunov稳定性、分析力学和分数阶微积分的理论与方法，主要研究了分数阶动力学系统稳定性的基本理论及其应用，包括分数阶Lagrange系统、分数阶Hamilton系统、分数阶广义Hamilton系统、分数阶Birkhoff系统和分数阶Nambu系统这五类分数阶动力学系统的平衡稳定性、平衡状态流形的稳定性和运动稳定性，并分别给出稳定性的判据．同时，作为应用，构造了实际的分数阶动力学模型并分别研究了它们的稳定性．　　第一章简要介绍了动力学系统稳定性和分数阶动力学的研究历史与现状，提出了本论文所要解决的问题．　　第二章首先，分别介绍了Riemann–Liouville、Riesz–Riemann–Liouville、Caputo和Riesz–Caputo四种不同分数阶导数的定义及其主要性质．而后，基于Riesz–Riemann–Liouville分数阶导数的定义，给出了分数阶Lagrange方程、分数阶Hamilton方程、分数阶广义Hamilton方程、分数阶Birkhoff方程和分数阶Nambu方程；并研究了构造分数阶动力学模型的分数阶Lagrange方法、分数阶Hamilton方法、分数阶广义Hamilton方法、分数阶Birkhoff方法和分数阶Nambu方法．　　第三章基于含有Riesz–Riemann–Liouville导数的分数阶Lagrange系统，给出了它的平衡方程、受扰运动方程、一次近似方程、特征方程和平衡状态流形，研究了它的平衡稳定性、平衡状态流形的稳定性和运动稳定性，并分别给出三类稳定性的判据．作为应用，构造了分数阶Duffing振子模型，分数阶Kepler模型和分数阶Emden模型，并分别研究了这三个模型的稳定性．　　第四章基于含有Riesz–Riemann–Liouville导数的分数阶Hamilton系统，给出了它的平衡方程、受扰运动方程、一次近似方程、特征方程和平衡状态流形，研究了它的平衡稳定性、平衡状态流形的稳定性和运动稳定性，并分别给出三类稳定性的判据．作为应用，构造了分数阶Hénon–Heiles模型，分数阶广义相对论Buchduhl模型和分数阶Emden–Fowler模型，并分别研究了这三个模型的稳定性．　　第五章基于含有Riesz–Riemann–Liouville导数的分数阶广义Hamilton系统，给出了它的平衡方程、受扰运动方程、一次近似方程、特征方程和平衡状态流形，研究了它的平衡稳定性、平衡状态流形的稳定性和运动稳定性，并分别给出三类稳定性的判据．作为应用，构造了分数阶Whittaker模型，分数阶相对论Yamaleev振子模型和分数阶Robbins–Lorenz模型，并分别研究了这三个模型的的稳定性．　　第六章基于含有Riesz–Riemann–Liouville导数的分数阶Birkhoff系统，给出了它的平衡方程、受扰运动方程、一次近似方程、特征方程和平衡状态流形，研究了它的平衡稳定性、平衡状态流形的稳定性和运动稳定性，并分别给出三类稳定性的判据．作为应用，构造了分数阶Hojman–Urrutia模型，分数阶Lorentz–Dirac模型和分数阶Lotka生化振子模型，并分别研究了这三个模型的稳定性．　　第七章基于含有Riesz–Riemann–Liouville导数的分数阶Nambu系统，给出了它的平衡方程、受扰运动方程、一次近似方程和平衡状态流形，研究了它的平衡稳定性、平衡状态流形的稳定性和运动稳定性，并分别给出三类稳定性的判据．作为应用，构造了三个涡旋的平面相对运动的分数阶三体模型、分数阶三种群Volterra模型、分数阶相对论Yamaleev振子模型、分数阶Euler–Poinsot模型和分数阶Robbins–Lorenz模型，并分别研究了这五个模型的稳定性．　　第八章归纳总结了本文的主要工作，提出了分数阶动力学系统稳定性进一步研究的一些建议．