光是一种电磁波，是信息传播的终极载体，通常由电场和磁场两个分量来描述它的性质。然而，从某种意义上来讲，光只有“一只手”，因为当它与传统材料的原子相互作用时，通常只考虑电场的贡献，磁场的贡献由于太微弱而被忽略掉。超常介质的诞生打破了这一经典规则，超常介质的最小单元为人工设计的微纳结构，通常被称为“人造原子”，这种人造原子使得光的电场分量和磁场分量能够同时与其发生耦合，因而磁场的影响变得跟电场一样重要。更形象地说，在超常介质中，光的“左手”得到了解放，因此光的“双手”同时有了用武之地，最终使得超常介质表现出一系列迥异于常规材料的新奇电磁特性，这使得超常介质迅速成为一个热门研究领域，并且在过去十来年中，超常介质的应用研究也已经拓展到包括无线通信、光通信、雷达、超分辨率成像、微波吸收、电磁隐身等许多领域，并得到了快速的发展。　　近年来，非线性超常介质已可实现，由于色散磁导率的存在，超常介质具有丰富的非线性效应，并且其非线性系数人为可控，结合外场对超常介质的特征参数μ和ε的影响，可实现对光传输特性的真正意义上的“调控”。本文正是基于这样的研究背景，将传统的非线性光学理论结合超常介质的奇异电磁特性，研究超常介质中电磁波的非线性传输理论，包括电磁波的调制不稳定性、空间孤子对的形成和传输等，意在从理论上弄清楚超常介质中丰富的非线性效应对电磁波传输特性的影响，揭示新的非线性光学现象和机理，从而获得主动操控电磁波传输的新方法，为开发基于超常介质的新型光电器件奠定理论基础。主要创新点如下：　　首先，系统研究了超常介质中的一维空间孤子对的形成条件和传输特性。首先，通过广义双曲函数法求解空间(1+1)维耦合非线性薛定谔方程组，得到了三种不同类型的孤子对解，分别为亮-亮型、暗-暗型和亮-暗型空间孤子对解。此外，当两束不同频率的光在超常介质中沿同一方向传输时，即它们将可能同时位于正折射区或者同时位于负折射区，也可能一束光位于正折射区而另一束光位于负折射区。参照光纤中时间对孤子的分析，分别征对这三种情形分析了空间对孤子形成的条件并数值模拟了超常介质中亮-暗型空间孤子对的传输特性。研究结果表明：(1)当两光束同时位于正折射区时，超常介质表现为常规材料，耦合方程具有亮-亮型或暗-暗型孤子对解，这在常规介质中已有透彻研究。(2)当两光束同时处于负折射区时，负折射率会导致负的衍射效应，对于自聚焦非线性，耦合方程有暗-暗型孤子对解。对于自散焦非线性，耦合方程有亮-亮型孤子对解。(3)当两光束位于不同的折射区时，类比于光纤中两脉冲分别处于不同色散区的情形，对于自聚焦非线性，当不考虑交叉相位调制的影响时，空间亮孤子形成于正折射区，空间暗孤子形成于负折射区；有趣的是，当考虑交叉相位调制时，空间亮孤子将在负折射区传播，而空间暗孤子将在正折射区传播。与不考虑交叉相位调制的情形正好相反，此时两光束将以亮-暗孤子对的形式耦合传输保持它们波形不变。最后，我们基于Drude模型，利用分步傅里叶算法模拟了空间亮-暗孤子对的传输，仿真结果表明，交叉相位调制效应是维持亮-暗孤子对稳态传输的决定性因素，进一步验证了解析结果和理论预测。　　其次，研究了超常介质中超短脉冲的时域调制不稳定性。首先将超短脉冲在超常介质中的非线性传输模型推广到包含拉曼散射效应的情形，基于这个模型，利用线性稳定性分析法得到了调制不稳定性表达式，然后根据不稳定性增益谱表达式，通过增益谱图定性地分析了拉曼效应联合超常介质中特有的负的自陡峭效应以及二阶非线性色散效应对调制增益谱的影响。研究结果表明，对于自聚焦非线性，拉曼效应将使得脉冲无论在正常色散还是反常色散区都将产生无截止频率的增益区域，并且随着拉曼效应的增强，增益随频率单调递增的幅度将变大；其次，二阶非线性色散效应始终抑制调制不稳定性的产生；最后，负的自陡峭效应在正常色散区对调制不稳定性的影响很小，而在反常色散区，它将极大地抑制调制不稳定性的发生。超常介质中包含拉曼效应的调制不稳定性现象在以前的研究工作中还未曾报道过。该研究结果对将来超短光脉冲串的产生、孤子的操控等许多实际应用领域研究具有重要的指导意义。