光孤子是指能在具有色散或/和衍射效应的非线性介质中稳定传播的局域化电磁波,它始终是非线性光学的一个重要研究方向。调制不稳定性是自然界一种非常普遍的非线性现象,因为它的发生机制与孤子现象密切相关,所以常常作为孤子产生和稳定传输的一种先兆或判据。由于所有形式的孤子具有共同的物理本质和行为特征,因此研究光孤子的物理本质和机理,将帮助理解和探索其它领域孤子的物理研究和物理机制,促进这些孤子动力学研究的发展。此外,光孤子在未来的许多方面拥有巨大的潜在应用前景,如量子信息处理、超远距离光孤子通信、光开关、光存储、光学捕获等。光孤子是由传输介质中线性和非线性过程相互作用产生的。最近十几年,一种具有许多天然物质所不具有的独特超常性质的人工合成介质即超常介质成为材料学科的热点,并带动光脉冲尤其是光孤子在超常介质中传输的调控研究。由于超常介质的线性和非线性电磁特性可以由其人工组成结构人为调整,故其线性和非线性电磁特性比常规介质更多更丰富,使传输在超常介质中的孤子更容易实现,并且提供了操控孤子的更多手段,蕴含了丰富的孤子现象和孤子物理。超常介质蕴含许多新的效应,本论文研究了其中一些新效应对超常介质中调制不稳定性和光孤子传输特性的影响,这些研究结果将促进超常介质中光孤子动力学理论的发展,并为未来的光学器件的研制提供依据。本论文的主要创新结果如下:第一,超常介质的线性色散磁导率与非线性极化率结合,导致光束在超常介质中传输时出现反常自陡峭效应;非线性光子晶体(超常介质的一种)的非线性性和自准直的相互作用导致光束在近自准直频率处传输时出现非线性衍射效应,且可调的自准直频率会影响非线性衍射效应。本文揭示了超常介质中反常自陡峭效应、三阶非线性和五阶非线性效应在正折射区和负折射区导致的新的调制不稳定性产生条件和调控规律;发现了超常介质中非线性衍射效应和可调自准直频率导致的新的调制不稳定性。第二,通过Riccati方程法求解超常介质中的高阶非线性薛定谔方程,得到了不同条件下的亮孤子和暗孤子解。与常规介质相比,超常介质可能存在正折射区和负折射区,且在每个折射区内的自陡峭效应和二阶非线性色散效应其符号和大小可调,揭示了超常介质中反常自陡峭效应和二阶非线性色散效应分别在每个折射区的三种群速度色散情形对亮、暗孤子形成条件和传输的影响。此外,还得到高阶非线性薛定谔方程的大量其它行波解,如双曲函数型解、三角函数周期解、Jacobi椭圆双周期解和Weierstrass双周期解等。第三,研究了超常介质中光脉冲传输的另一类物理模型即短脉冲方程的孤子解和行波解,得到了其产生的物理条件和演化规律。发现短脉冲方程的有界行波解只可能存在于聚焦非线性,不可能存在于散焦非线性。在聚焦非线性情形,求得了短脉冲方程的有界行波解,包括两种周期(反)环有界解和一种周期(反)峰有界解,发现前两种周期(反)环有界解可以退化为一种(反)环孤立波解。