随着密集波分复用(Dense Wavelength Division Multiplexing,DWDM)系统容量的不断提升,四波混频效应(Four Wave Mixing,FWM)成为影响系统性能的主要因素之一,高效评估FWM效应对DWDM系统性能的影响程度对此类系统的优化设计越来越重要。本文围绕四波混频噪声对大容量DWDM系统性能影响程度进行了一些理论和仿真研究。考虑到DWDM系统中的比特序列的随机性、信道间脉冲走离效应等多种因素的影响,详细推导了八进制幅度相位键控(8APSK)调制和八进制差分移相键控(D8PSK)调制的色散管理DWDM系统四波混频噪声方差的半解析理论计算模型。并利用该公式进行实例分析,计算结果表明,在给定的系统条件下,8APSK调制的中心信道的FWM容限虽比D8PSK差些,但当同时考虑一些线性噪声的影响时,8APSK调制的中心信道的性能仍然优于D8PSK调制的中心信道,这主要归于8APSK信号的星座图有着相对较大欧拉距离的缘故。基于OptiSystem和Matlab软件平台协同仿真,搭建了一种评估四波混频效应对正交幅度调制(QAM)相干DWDM系统影响程度的非线性分离仿真模型,并利用该模型分析了中心信道的误码率(BER)、误差向量幅度(EVM)与四波混频噪声大小之间的关系,比较了不同传输速率、信道数和信道间隔情况下,四波混频噪声对此类系统的影响程度。本文中所导出的适用于8APSK和D8PSK调制格式的四波混频噪声半解析理论计算模型以及评估四波混频效应对相干DWDM系统影响程度的非线性分离仿真模型都对加深四波混频效应对大容量DWDM系统性能的影响程度的认识提供了一种新的思路。