随着主干网络容量需求的快速增长，光纤通信系统正在向超高速率、超大容量、超长距离（3U）方向发展。滤波器在3U光纤通信系统具有频谱压缩、高速信号处理等重要作用。本论文通过理论分析和数值仿真，对3U光网络中的滤波器进行了研究，具体包括以下几点：通过研究有限脉冲响应（FIR）数字滤波器的相关理论，根据基于最小二乘准则而构建的维纳-霍夫算法，设计了处理码间干扰（ISI）的时域均衡器。使用Matlab对其特性进行了数值分析，并通过OptiSystem对均衡器码间干扰处理效果进行了验证。结果表明，通过三级时域均衡器就可以消除绝大部分由色散导致的码间干扰。预滤波是光纤通信系统中用于频谱压缩的重要技术。通过对预滤波技术中的失谐现象进行理论分析，首次揭示了滤波器失谐可改善码间干扰的根本原因在于失谐带来的基带频率特性平坦度降低。进一步的数值分析表明：在小失谐情况下，基带平坦度对系统性能起决定性作用；随着失谐增加，高低频率成分的比例失调导致系统性能迅速恶化。光格状滤波器可在光域中实现任意频率特性的有限脉冲响应滤波器，具有无速率限制、多通道共享等特点。本论文通过对格状结构光滤波器进行理论分析，构建了基于矩阵的格状光滤波器多级参数设计算法，并以切比雪夫滤波器为例，验证了算法的正确性。数值分析结果表明，二十级以上的格状结构级联可以实现高精度的频域信号处理。