传统强度调制直接检测技术在高带宽、长距离光纤通信系统中会受到功率周期性衰落现象的制约,而基于单边带调制直接检测技术的光纤通信系统不仅不受此影响,还能有效提升频谱效率,目前已被广泛应用在诸多领域,如数据中心通信、光接入网等等。单边带调制直接检测技术面对的核心问题是如何降低系统成本、消除信号与信号拍频串扰(SSBI)、提升传输容量等等。针对这些问题,本文开展了理论分析、方案研究、仿真与实验验证等工作,主要创新如下:(1)提出了一种低成本的单边带矢量信号调制方案,使用单一的双臂马赫曾德尔调制器(DDMZM)和频带搬移算法,完成了单边带矢量信号的调制。通过理论分析论证了方案的可行性,搭建了单边带16 QAM信号75 km标准单模光纤传输仿真系统,对提出的方案与传统基于光同相正交调制器(IQM)的虚载波单边带信号调制方案进行了对比,分析了两种方案在调制结构、参数调优原理以及传输性能上的异同。结果表明,两种方案在各自最优参数配置下有着近似的传输性能,所提出的基于单一DDMZM和频带搬移算法的单边带矢量信号调制方案比传统方案成本更低,更容易实现。(2)针对单边带信号在平方率探测下出现SSBI的问题,研究了基于克莱默-克朗尼格(KK)算法的信号恢复原理以及SSBI消除原理。通过搭建实验系统和仿真模型,分析了发送激光器线宽以及色散引起的相位转强度噪声对接收性能的影响。采用基于单一DDMZM和频带搬移算法的单边带矢量信号调制方案与KK接收机结合,成功地完成了42.5 Gbps速率16 QAM信号75 km标准单模光纤传输实验,证实了KK算法在所提出的低成本单边带矢量信号传输结构下应用的可行性。(3)提出了基于多子带双生单边带(Multi-Twin-SSB)调制和KK算法的无源光网络(PON)下行传输方案。Multi-Twin-SSB调制技术结合了多子带无载波幅度相位(Multi-CAP)和双生单边带(Twin-SSB)调制方法的优点,该技术的应用不仅能够满足PON系统多用户接入的需求,还能够解决色散和平方率探测带来的功率周期性衰落的问题。通过搭建4路各50 Gbps速率16 QAM信号50 km下行传输仿真系统,对所提出的方案进行了原理验证。结果表明,该方案在多用户接入架构下,不仅具有良好的传输性能,而且能够提升发送端DAC带宽利用率和系统频谱效率,KK算法的应用也有效地降低了SSBI的影响。(4)提出了基于零保护间隔(ZGB)Multi-Twin-SSB调制的双向PON传输方案。该方案利用上行光源分离一束连续光作为本振源,与经过滤波的下行边带信号耦合后再进行直接检测,解决了基于Multi-Twin-SSB调制的PON系统下行链路左右边带信号之间需要保护间隔的问题,进一步提升了发送端DAC的带宽利用率和系统的频谱效率。另一方面,所提出的方案采用上下行信号关于光载波对称的设计方式,避免了双向PON网络中出现的瑞利后向散射的影响。研究结果表明,提出的方案还能够有效地提升系统的光噪声容忍度和接收机灵敏度。(5)针对单边带调制直接检测技术在简并模复用系统中存在线性和非线性串扰的问题,提出了结合希尔伯特叠加项消除(HSC)算法和沃尔泰拉(Volterra)非线性多输入多输出(MIMO)均衡器的信道均衡方案。从理论上分析了信道串扰来源以及利用HSC算法和均衡器进行信道均衡的基本原理,并通过搭建基于单边带PAM 4调制的LP11a和LP11b简并模复用直接检测实验系统和仿真平台,论证了方案的可行性。仿真及实验结果与理论分析相符,证实了HSC算法和Volterra非线性MIMO均衡器能够有效地提升单边带PAM 4调制简并模复用直接检测系统的接收性能。