随着互联网业务的高速发展,移动和宽带用户不断增长。用户行为、地理分布和时间的不确定性使得传统固定带宽的网络已不能满足人们的生活需求。急需研究新一代智能的、网络资源利用率高、带宽等资源灵活度高、成本低的网络。作为光网络系统中重要的组成部分,软件定义光收发机能够通过DSP处理对器件、系统、网络进行监测并自动适应其工作条件,根据用户的QoS需求以及网络特性调整资源配置(子载波数目、调制格式以及信道带宽),实现波长间隔、以及载波间隔的最优化选择映射,在满足QoS的要求下,降低系统功耗。本文主要针对软件定义光收发机中的高谱效率传输及灵活的复用技术展开研究。首先,为了提高带宽利用率,实现低成本高速率的信号传输,本文研究了带宽受限系统中的数字均衡技术,提出了一种简化的Volterra-DFE均衡器,并通过逐阶的优化进一步降低了均衡器的复杂度。实验研究了基于3-dB带宽约为6 GHz和8.5 GHz光模块的50-Gb/s PAM4传输,给出最佳的抽头数目和系统误码性能曲线。实验对比结果表明,在同样均衡效果下,简化Volterra-DFE均衡器比传统DFE和Volterra-FFE均衡器所需抽头数更少。其次,针对软件定义光收发机中的复用技术,本文通过使用数字正交滤波器复用方式,利用希尔伯特变换和凸优化的算法,设计出一组多维的数字正交滤波器,不仅能够实现多个用户同时共用同一物理信道,而且能够灵活地调整信号调制格式改变传输速率。为提升带宽的利用率,本文进一步研究了降采样对系统性能的影响及其优化方案。结果显示,两维与多维正交滤波器的传输性能基本相同,降低采样率带来的滤波器正交性变差会引起信噪比降低,通过使用交叉信道干扰抵消(CCIC)算法能够很好地改善系统的性能。