超常介质是一种新型的人工合成电磁材料，具有自然材料所不具备的电磁特性，且其性质可以根据需要人为调节。利用超常介质可以控制电磁波的传播方式，产生新奇的电磁现象。因此，研究超常介质与电磁波的相互作用不仅具有重要的科学意义，同时对于通信系统的设计等具有重要的实际应用价值。本论文结合传统非线性光学理论与超常介质的新特性，研究了超常介质中电磁波的交叉相位调制效应所导致的调制不稳定性现象，取得如下结果： 第一，推导出了两束不同中心频率的超短电磁脉冲在超常介质中同向传输的非线性耦合方程组，利用德鲁德色散模型，分析了两脉冲中心频率同时处于超常介质的正、负折射区和处于不同折射区时交叉相位调制不稳定性的特性。结果表明，在无群速度失配情况下，调制不稳定性的特性由两个脉冲所处折射率区域的群速度色散决定，而与两脉冲所经历的折射率符号无关；群速度失配对调制不稳定性起着很重要的作用，尤其是当脉冲中心频率靠近超常介质的电场或磁场等离子频率时。利用数值模拟方法验证了所得到的理论结果。 第二，揭示了超常介质中反常自陡峭效应对交叉相位调制不稳定性的影响。采用标准线性稳定性分析法得到了考虑自陡峭效应时交叉相位调制不稳定性的增益谱表达式，详细分析了在超常介质中由色散及可控磁导率所导致的反常自陡峭效应在两脉冲频率同时处于正、负折射区和处于不同折射区时对交叉相位调制不稳定性的影响，发现两脉冲同处于负折射区的正常色散区时自陡峭效应使增益先增大后减小，与处于相同折射区的其它几种情况中自陡峭效应所起抑制作用不同；最反常的现象在于当两脉冲处于不同折射区时，交叉相位调制不稳定性的临界频率不以零点为起点，移动至较高频率处。数值模拟验证了理论结果并进一步发现负的自陡峭效应使产生的超短脉冲中心向前沿发生偏移，正好与常规的正自陡峭效应情况相反。 第三，研究了超常介质中电场与磁场的交叉相位调制效应，发现当电磁波的频率远离超常介质禁带边界时，交叉相位调制促进了空间调制不稳定性的发生，而当电磁波的频率靠近禁带边界时只有非线性极化或非线性磁化单独作用，空间调制不稳定性的发生由自相位调制引起。此外，线性损耗与非线性损耗均使调制不稳定性的增益减弱并压缩其空间频谱范围。