正交频分复用(OFDM)是通过多个子载波来并行传输信号的一种通信方式。因为OFDM的子载波的频谱是相互重叠的，跟频分复用系统(FDM)相比，它的频谱效率更高，而且还能更好地减小符号间干扰。　　根据接收端的检测方式，光OFDM系统可分为直接探测光OFDM和相干检测OFDM。相比于直接探测光OFDM，采用相干探测方式接收的光OFDM的频谱效率更高、接收机灵敏度更好、对色散的鲁棒性也更强，但是它的发射机和接收机的设计也更复杂。直接探测光OFDM的系统结构更加简单，成本也更低，使得它得到了更广泛的应用。本文研究的正是基于超奈奎斯特镜像混叠技术的强度调制/直接探测(IM/DD)的光OFDM系统。　　在光纤通信系统中，我们经常通过色散补偿算法或色散补偿光纤(DCF)来减小色散造成的功率衰落。本文提出一种采用超奈奎斯特镜像混叠技术，结合分数采样和逐子载波最大比合并(MRC)算法，来补偿色散造成的功率衰落。具体工作如下:　　第一，在采用双边带调制(DSB)的直接探测光OFDM系统中，我们通过仿真和实验，证明采用超奈奎斯特镜像混叠技术可以使接收端的信号得到显著的信噪比增强，可以有效对色散引入的功率衰减进行补偿。我们比较了采用超奈奎斯特镜像混叠技术的传统OFDM、DFT-SOFDM和CDM-OFDM的性能。实验结果表明DFT-SOFDM的性能是最好，因为它具有频谱展开特性和较低的峰均功率比。通过应用提出的色散补偿技术，基于 QPSK调制的且信号带宽为10GHz的OFDM-PON系统的传输距离可以达到90km。我们也通过实验验证了:在采用双边带调制的OFDM-PON系统中，通过把我们提出的技术和自适应调制技术结合起来，能有效地提高系统的传输速率;在不改变发射机结构的前提下，通过48.3km的单模光纤的信号的传输速率可提高10.5％，通过83.2km的光纤的信号传输速率可提高5.2％。在83.2km传输距离下，我们使得信号的传输速率达到40Gb/s。　　第二，在采用单边带调制(SSB)的直接探测光OFDM系统中，我们在仿真和实验上也验证了:在不同光纤长度下，通过采用超奈奎斯特镜像混叠技术，能很好地提高经过分数采样后的8GHz带宽接收信号的信噪比。与此同时，我们也通过仿真和实验探究了接收端过采样因子跟系统性能的关系，从而更好地降低了接收机的计算复杂度。最后，我们也结合自适应比特/功率分配算法，从而更好地提高系统的传输速率。　　第三，我们结合自相位调制引入的负啁啾和超奈奎斯特镜像混叠技术，通过实验实现了一个大容量、大功率预算的长距离无源光网络(LR-PON)系统。系统引入镜像混叠后，混叠部分的子载波将引入分集，并提出采用分数采样和逐子载波最大比合并(MRC)算法来获得分集增益。我们通过仿真和实验，证明通过使用大入纤功率和镜像混叠，可以将10-GHz带宽QPSK调制的OFDM信号的传输距离由45公里扩展至80公里。同样我们也使用自适应调制技术，实现了速率大于32Gb/s，功率预算超过32dB的LR-PON系统。　　在三种不同结构的光OFDM系统中，我们把超奈奎斯特镜像混叠技术、分数采样、MRC算法和自适应调制结合起来，通过仿真和实验验证了该技术在提高系统性能上的可行性和有效性。