随着光接入网的飞速发展，用户数量和带宽需求不断增加，可能需要为同一PON中的用户提供各种直接通信服务，如高清晰视频，电话会议等，而WDM-PON具有较高的接收灵敏度、巨大的带宽以及透明的传输协议，是下一代光接入网的主流技术之一。因此，研究在WDM-PON中如何建立光虚拟专用网具有重要的理论和现实意义。本文主要对在WDM-PON中提供光虚拟专用网服务的问题进行了研究。首先针对传统PON结构中ONU之间的通信必须经过OLT处理这一缺点，本文提出了一种新型的OVPN网络结构方案，该方案通过使用阵列波导光栅改造原有的ODN，实现了ONU-ONU的直接通信。与传统的ONU-ONU通信相比，减少了网络的互联时延，增加了通信的安全性，还提高了波长利用率，同时具有较高的网络生存性和较好的抗干扰能力。通过仿真分析显示当系统误码率为1×10^-9且有多路信号共存时，接收端的功率代价仅为0.5dB，表明系统具有较好的抗串扰能力。接着指出了原方案中存在的问题，通过分析现有的ONU无色化方案和再调制技术，对原方案的下行传输和ONU端进行了改进，设计了一种基于RSOA光环回再调制的方案，实现了ONU的无色化。与原方案相比，简化了网络的建设和维护，降低了设备的运营维护成本。通过仿真验证了改进方案的可行性，在成本预算允许的情况下，在ODN中只需增加一个EDFA就可以使得系统的再调制信号误码率性能最大提高3.4dB。