近年来,由于分数阶算子在科学和工程技术许多领域中有着广泛的应用,许多研究者开始应用分数阶算子来解决动力学和控制问题。研究课题主要包括分数阶微分方程或系统解的存在性和唯一性以及稳定性等。这些结果为控制理论提供了依据。最近,分数阶混沌系统的控制吸引了各个科学领域的关注。对于分数阶控制方法的研究,许多学者提出了分数阶非线性混沌系统的控制方法。在依据分数阶稳定性理论来保证系统稳定性时,滑模控制是一种非常成熟且完善的控制方法。目前已推广到了变分数阶系统和无穷维分布参数系统当中。对研究分数阶算子具有一定的理论意义。主要研究内容如下:简要的论述了分数阶微积分的基础理论和变分数阶系统的基本理论,主要包括三种常见的定义、其重要的基本性质和常用函数。也给出了分数阶算子的数值实现方法。同时,阐述了李雅普诺夫意义下的稳定性和分数阶滑模控制的的相关理论,为以后几章的内容提供了基础。通过逼近方法,得到了Banach空间中具有因果算子的分数阶微分方程初值问题的解的存在性和唯一性,并用实例验证了研究结果。此外,采用不动点定理,研究了有界和无界区间上具因果算子的分数阶微分方程的Hyers-Ulam稳定性和Hyers-Ulam-Rassias稳定性问题,并通过两个实例验证了理论结果。基于变分数阶微分系统初值问题转化成的积分形式,采用了Arela-Ascoli定理,给出了系统解存在的条件。在常分数阶李雅普诺夫稳定性定理的基础上,通过常分数阶比较定理,提出了变分数阶形式的Mittag-Leffer渐近稳定性定理,并给出了证明过程。针对未受扰变分数阶微分系统,提出了变分数阶积分形式的滑模面,基于此滑模面,给出了相应的滑模控制器的设计,此控制器能有效的抑制抖振的产生。同时,给出了变分数阶导数形式的滑模面设计,此滑模面也适合受扰系统,并通过将符号函数转化为输入的变分数阶导数形式,抑制抖振的产生,设计出了相应的控制器。此外,在具有系统不确定项和外部干扰情况下,设计出了自适应滑模控制器,并通过将Barbalat引理推广到分数阶形式,以证明在此控制器下,受控系统的渐近稳定性性。最后,给出了数值仿真,验证了所设计控制器的有效性和可行性。针对在外部干扰和不确定项的情况下,Hilbert空间中的分数阶波动的控制问题。在外部干扰的边界是未知时,通过引入自适应率,给出了分数阶波动方程的自适应螺旋滑模控制器设计。在外部干扰的边界是已知的情况下,给出了分数阶滑模面和相应的二阶超螺旋滑模控制器设计,从而能够有效的抑制抖振的产生。另外,通过选择合适的李雅普诺夫函数,证明了相关稳定性定理。基于此定理,将滑模控制方法推广到了具有分数阶导数的波动方程中,实现了在这两种控制器下波动方程的渐近稳定性。给出了数值仿真,验证了控制器的可行性和有效性。此外,将滑模控制方法应用到了分数阶波动方程的边界控制问题中,设计出了边界控制器。并用分数阶全局渐近稳定性定理证明了此控制器的有效性,打开了滑模控制法在具有分数阶导数的分布参数系统的边界控制中的应用。通过将计算非线性系统的广义频率响应函数的递推算法推广到分数阶情形,确定了分数阶系统的广义频率响应函数,根据广义频率响应函数,得到了输出频率响应函数,进而表示出了输出频谱的表达式。在正弦输入下,通过采用输出频率响应函数的概念,建立了在频域中,与非线性参数包括非线性阻尼和非线性弹簧以及分数阶参数有关的系统力的传递率解析表达式。分析了非线性分数阶阻尼在不同频域范围内对力的传递率的影响。最后,通过数值仿真,验证了理论部分得到的结果。