调制不稳定性作为非线性光学中的一个重要而普遍的现象，从发现至今，一直受到国内外学者的强烈关注。特别是由调制不稳定性所引起的孤立波因为其在传输过程中能够保持较高的稳定性，也一直是光通信领域的研究热点。超常介质是一种新型的人工材料，其独特的电磁响应使得其介电常数和磁导率能够同时为负，这就使得其能够展示出许多独一无二的电磁特性。本文将在超常介质的特殊环境中，探索调制不稳定性在超常介质中的传输特性，试图揭示以超常介质为传输煤质，人为控制调制不稳定性现象的方法，为超常介质走向实际应用提供理论依据。　　本研究首先以Drude模型为基础，引入非线性电极化、非线性磁化以及线性损耗，重写了超常介质中的各类参数，并在麦克斯韦方程组的基础上推导出有损超常介质中的传输理论模型，将传输模型参数分别定义为非线性系数、非线性吸收系数。其次，分别探讨非线性极化、非线性磁化、介质损耗对非线性系数和非线性吸收系数的影响。发现，非线性磁化能够发挥同非线性极化相同的作用，对非线性系数、非线性吸收系数做出贡献；而在负折射区域中，非线性磁化对非线性吸收系数的贡献更为明显；介质损耗将降低非线性系数的取值，却可以对非线性吸收系数的增长做出贡献。由此我们得出结论，由于超常介质的可设计性，我们可以通过控制介质的基本参数以求控制介质中的非线性现象和非线性吸收现象。接着，以常规非线性光学原理为基础，我们在传输理论模型的基础上，分别假设介质中只存在非线性效应或者非线性吸收效应，推导出两种情况下的调制不稳定性增益表达式，分别研究正、负折射区的调制不稳定性现象。我们发现，由于介质中负折射率的影响，非线性磁化能够在负折射区域中取代非线性极化，为调制不稳定性现象在负折射区域内的产生做出贡献，这使得即使是在介质的自散焦区域，调制不稳定性现象也能发生，这是常规介质中无法想象的。同时，通过对比两种情况下的调制不稳定现象，我们也发现非线性效应对调制不稳定性的增益峰值和带宽将带来积极的贡献，而非线性吸收效应将抑制增益峰值和带宽。本文同时利用了最新的合流超几何函数法分析了两类系数对调制不稳定性增益峰值的影响，也得出了相应的结论。由此，我们可以通过控制介质中的非线性极化和非线性磁化，来得到不同的调制不稳定性现象。最后，对超常介质中损耗对调制不稳定性的影响也进行了探讨，随着损耗的增加，增益峰值和带宽将出现明显的减弱现象。